robots是屏蔽访问路径的吗?

是屏蔽访问路径,和禁止指定目录抓取,不让别人看到,禁止目录?nofollow还是robots,这两个不清楚是哪一个禁止的了?

追加问题
    11 人参与回答
鲁梓源1号
鲁梓源1号 · 成都软装公司,精装房样板房软装,别墅装修公司,同行业换友链加Q :524595840

robots是给蜘蛛看的哦   

是引导蜘蛛进你网站的,告诉蜘蛛抓取什么路径,什么路径不抓取,就这样

是给蜘蛛看的

立峻博客
立峻博客 · 立峻博客分享织梦cms仿站、开发教程,seo教程。

关于Robots文件,robots.txt文件是给各个搜索引擎的蜘蛛看的,蜘蛛在抓取你的网站之前第一个抓取的就是robots.txt文件,查看是网站否允许抓取,查看网站中哪些文件允许抓取,哪些文件不允许抓取。

可以告诉蜘蛛哪些页面不抓取

如果你有不想被蜘蛛抓取到的页面,也可以在Robots里面屏蔽掉的

屏蔽和允许,相当于路标,此路可通行此路不通就这样

屏蔽蜘蛛抓取的

博软开发
博软开发 · 网站优化,网站建设,APP开发

如果你哪些文件不想要蜘蛛爬取抓取就用禁止

SEO运营
SEO运营 · 東喜茶

只是屏蔽蜘蛛,不会屏蔽访问路径的

熊掌号
熊掌号 · 熊掌号登录官网 百度熊掌号官网 百度熊掌号登录入口

是给蜘蛛看的