搜外网>搜外问答>问答页面

百度蜘蛛老是抓取网站没有的目录，并返回404是什么原因 悬赏1元 已结束

微信

百度蜘蛛老是抓取网站没有的目录，并返回404是什么原因，关键是特别多，几百条www.hdtdwl.cn

追加问题
404 百度蜘蛛
本帖由用户发布，如有侵权联系删除  2022-01-24 发布1,460 次浏览
举报
其他问题
 
    12 人参与回答
最佳回答
用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、真实的蜘蛛只会去抓取网站里面真实存在的页面，而不会去抓取不存在的栏目和页面；
2、抓取返回码是404，这种也不会被搜索引擎收录，如自身并未改版，URL也并未变更，这种抓取不存在页面URL可直接忽略，很多时候是模拟蜘蛛抓取，不是真的蜘蛛。
ps：有死链被搜索引擎放出收录，做好404页面，整理已收录死链做死链提交删除

3 年前
IP属地：天津
赞同 0 评论 0
收藏 举报
评论取消
用户112001 · 器物有魂

直接去提交一下死链

3 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
用户195267 · 奈斯导航为广大网民精心筛选、整理国内外各类优秀的网站大全，各位站长可以免费提交收录。==》

https://didi.seowhy.com/ip.html
可以用这个查查是否真实蜘蛛。

3 年前
IP属地：海南
赞同 0 评论 0
收藏 举报
评论取消
用户188307 · 苹果企业签名 ios签名 企业签名

提交一下死链就不会再抓取了

3 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
用户106747

扫站的,刷一些泛目录的路径，看看有没有漏洞。说明你的网站被盯上了，做好防护。

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户118646 · 泰海科技12年服务经验，专注于服务器租用

不是自己的网站链接，就可以忽略，是自己的及时提交死链

3 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
用户201383 · 气象站-气象监测传感器-农业观测站设备-全自动气象站

会不会是假蜘蛛啊

3 年前
IP属地：北京
赞同 0 评论 0
收藏 举报
评论取消
用户210154 · 重庆不孕不育医院相关的不孕治疗及诊疗服务

把蜘蛛抓取的404链接都提交一下死链

3 年前
IP属地：重庆
赞同 0 评论 0
收藏 举报
评论取消
用户148493

提交一下死链就不会再抓取了@！

3 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
用户194079

是扫站的吧，模拟蜘蛛

3 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消
用户130395

提交一下死链就不会再抓取了

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户172122 · 素材网，网站模板，网站素材，视频教程，sucaipro。com

来看看的

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消

收录宝

18315 18404 18403 18401 18400 18398 18396 18395 18394 18393 18392 18391 18482 18481 18479 18477 18476 18475 18474 18471

蜘蛛池

AI绘画
搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司