搜外网>搜外问答>问答页面

百度后台显示robots没问题，为啥其它搜索引擎显示爬虫被封禁？

微信

<p></p><p>百度后台显示robots没问题，为啥其它搜索引擎显示爬虫被封禁？</p>

追加问题
Robots 索引
本帖由用户发布，如有侵权联系删除  2021-06-28 发布1,093 次浏览
举报
其他问题
 
    5 人参与回答
用户6183

Robots贴出来看看

4 年前
IP属地：福建
赞同 0 评论 0
收藏 举报
评论取消
用户189229

贴出来看看

4 年前
IP属地：海南
赞同 0 评论 0
收藏 举报
评论取消
用户129396

看看站长后台抓取有没有错误

4 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消
用户184427 · 12365信息网-生活帮助知识库

你Robots没写对吧

4 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消

收录宝

86399 93401 01373 03761 10220 21967 29011 36686 43649 52963 60930 70996 78588 15695 24674 33272 42077 51011 59906 68627

蜘蛛池

堆友
搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司