百度蜘蛛爬取分页目录返回404页面 悬赏1元 已结束
<p><br></p><p><br></p><p>网站日志中百度蜘蛛爬取网站分页的格式是错误的吗？还是分页代码写的有问题呢？大量的返回404状态码。有没有什么办法可以改正</p>
相关问题
- 看了下网站日志，百度老去抓取404页面，需要在robots文件里面屏蔽吗？(3 个回答)
- 关于网站只收录新闻栏目页问题及robots屏蔽后台问题(7 个回答)
- 各大搜索引擎蜘蛛都指着网站的登录后台目录和系统文件目录抓取(3 个回答)
- 访问404页面的人数过多，怎么处理？(2 个回答)
- pbootcms tag的问题，哪位大神有遇到过(12 个回答)
- 有没有懂帝国CMS TAG标签插件规则的大佬呢？遇到个TAG链接转换规则的问题(9 个回答)
- 看了下网站日志，百度老去抓取404页面，需要在robots文件里面屏蔽吗？(1 个回答)
- url被删除返回404后还用robots屏蔽吗？(2 个回答)
