搜外网>搜外问答>问答页面

robots是屏蔽访问路径的吗？

微信

是屏蔽访问路径，和禁止指定目录抓取，不让别人看到，禁止目录？nofollow还是robots，这两个不清楚是哪一个禁止的了？

Robots Nofollow 举报 本帖由用户发布，如有侵权联系删除 2019-10-19 发布1,539 次浏览

11 人参与回答

顺时

是给蜘蛛看的

华南喜 · 喜小茶

只是屏蔽蜘蛛，不会屏蔽访问路径的

郑州宝胜 · 主营阿迪达斯耐克折扣店加盟业务

如果你哪些文件不想要蜘蛛爬取抓取就用禁止

屏蔽蜘蛛抓取的

岁月神偷

屏蔽和允许，相当于路标，此路可通行此路不通就这样

同&步ㄘ

如果你有不想被蜘蛛抓取到的页面，也可以在Robots里面屏蔽掉的

不忘初心

可以告诉蜘蛛哪些页面不抓取

艾塔SEO · 艾塔SEO五年专注于网络营销行业。

关于Robots文件，robots.txt文件是给各个搜索引擎的蜘蛛看的，蜘蛛在抓取你的网站之前第一个抓取的就是robots.txt文件，查看是网站否允许抓取，查看网站中哪些文件允许抓取，哪些文件不允许抓取。

A 荣泽给

是给蜘蛛看的

是引导蜘蛛进你网站的，告诉蜘蛛抓取什么路径，什么路径不抓取，就这样

鲁梓源1号 · 成都软装公司,精装房样板房软装，别墅装修公司，同行业换友链加Q ：524595840

robots是给蜘蛛看的哦