搜外网>搜外问答>问答页面

大佬，这个有没问题，不说网站不能有robots吗？悬赏1元已结束

微信

<p></p>

Robots 举报 本帖由用户发布，如有侵权联系删除 2022-03-03 发布829 次浏览

交换友情链接，就用搜外友链，方便！

14 人参与回答

简单

就这种吧应该的

猫腻

Robots这个最好是要有的，是用来告诉搜索引擎哪些可以抓取

十六夜 · 气象站-气象监测传感器-农业观测站设备-全自动气象站

你这个屏蔽的是不是太多了啊，正常来说没这么多啊

Air

Robots就是你网站给蜘蛛定的规矩，告诉蜘蛛哪些页面能抓，哪些页面不能抓。disallow后面才是禁止的，比如一些你不希望蜘蛛爬取的页面，可以用这个规则告诉蜘蛛别去抓。

AA广告投

正常的，可以正常抓取不影响

互联网推广

这个是正常的，没有问题

PE管厂家 · pe管生产厂家18956729555，专业生产pe给水管、钢丝网骨架复合管、mpp电力管、燃气管、ppr管

Robots txt是个文件，文件里可以禁止蜘蛛访问，也可以不禁止访问。
当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
如果没有这个文件，默认蜘蛛是可以直接访问的！