搜外网>搜外问答>问答页面

现在搜索引擎都不去抓爬robots.txt了吗

微信

访问了四个网站几天的网站日志，但都没发现百度、360、搜狗这些搜索引擎有爬取robots.txt的痕迹，现在都不抓爬了？

Robots 网站日志搜狗

本帖由用户发布，如有侵权联系删除 2021-03-30 发布977 次浏览

举报

交换友情链接，就用搜外友链，方便！

3 人参与回答

用户157263 · 环卫洒水车、垃圾车、压缩式垃圾车、扫路车、清扫车等专用车销售

需要提交的啊

用户148684 · 磐石云天海外服务器香港服务器租用美国服务器租用香港站群服务器租用

需要提交的

用户185395

Robots.txt主动提交啊