12256 次浏览

大熊龙之介

他还没有填写个人简介

2020-05-28 加入搜外
未设置 现居
1,051 回答
227 赞同
2334 浏览

robots.txt必须要做吗? Robots 404

robots文件就是给蜘蛛指路的,告诉它抓哪里的页面,不抓哪里的页面,如果网站不大,没有不想被抓取的页面,也可以不做……