搜外网>搜外问答>问答页面

现在搜索引擎都不去抓爬robots.txt了吗

访问了四个网站几天的网站日志,但都没发现百度、360、搜狗这些搜索引擎有爬取robots.txt的痕迹,现在都不抓爬了?

追加问题
    3 人参与回答
A 0湖北楚胜汽车.谢非
A 0湖北 · 环卫洒水车、垃圾车、压缩式垃圾车、扫路车、清扫车等专用车销售

需要提交的啊

香港服务器租用
香港服务器 · 磐石云天海外服务器 香港服务器租用 美国服务器租用 香港站群服务器租用

需要提交的

Robots.txt主动提交啊

SEO培训招生中
188