robots是屏蔽访问路径的吗？

Question

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

Answer 1

顺时

是给蜘蛛看的

Answer 2

华南喜 · 喜小茶

只是屏蔽蜘蛛，不会屏蔽访问路径的

Answer 3

郑州宝胜 · 主营阿迪达斯耐克折扣店加盟业务

如果你哪些文件不想要蜘蛛爬取抓取就用禁止

Answer 4

屏蔽蜘蛛抓取的

Answer 5

岁月神偷

屏蔽和允许，相当于路标，此路可通行此路不通就这样

Answer 6

同&步ㄘ

如果你有不想被蜘蛛抓取到的页面，也可以在Robots里面屏蔽掉的

Answer 7

不忘初心

可以告诉蜘蛛哪些页面不抓取

Answer 8

艾塔SEO · 艾塔SEO五年专注于网络营销行业。

关于Robots文件，robots.txt文件是给各个搜索引擎的蜘蛛看的，蜘蛛在抓取你的网站之前第一个抓取的就是robots.txt文件，查看是网站否允许抓取，查看网站中哪些文件允许抓取，哪些文件不允许抓取。

Answer 9

A 荣泽给

是给蜘蛛看的

Answer 10

是引导蜘蛛进你网站的，告诉蜘蛛抓取什么路径，什么路径不抓取，就这样

Answer 11

鲁梓源1号 · 成都软装公司,精装房样板房软装，别墅装修公司，同行业换友链加Q ：524595840

robots是给蜘蛛看的哦