搜外网>搜外问答>问答页面

百度蜘蛛老是抓取网站没有的目录，并返回404是什么原因悬赏1元已结束

微信

百度蜘蛛老是抓取网站没有的目录，并返回404是什么原因，关键是特别多，几百条www.hdtdwl.cn

404 百度蜘蛛举报 本帖由用户发布，如有侵权联系删除 2022-01-24 发布1,205 次浏览

广告位出租

广告位出租-排名优化

交换友情链接，就用搜外友链，方便！

12 人参与回答

最佳回答

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、真实的蜘蛛只会去抓取网站里面真实存在的页面，而不会去抓取不存在的栏目和页面；
2、抓取返回码是404，这种也不会被搜索引擎收录，如自身并未改版，URL也并未变更，这种抓取不存在页面URL可直接忽略，很多时候是模拟蜘蛛抓取，不是真的蜘蛛。
ps：有死链被搜索引擎放出收录，做好404页面，整理已收录死链做死链提交删除

阿尔帕西诺 · 器物有魂

直接去提交一下死链

qwoey · 奈斯导航为广大网民精心筛选、整理国内外各类优秀的网站大全，各位站长可以免费提交收录。==》

https://didi.seowhy.com/ip.html
可以用这个查查是否真实蜘蛛。

瑶瑶超开心 · 苹果企业签名 ios签名企业签名

提交一下死链就不会再抓取了

陛下之寿三

扫站的,刷一些泛目录的路径，看看有没有漏洞。说明你的网站被盯上了，做好防护。

梦梦 · 泰海科技12年服务经验，专注于服务器租用

不是自己的网站链接，就可以忽略，是自己的及时提交死链

十六夜 · 气象站-气象监测传感器-农业观测站设备-全自动气象站

会不会是假蜘蛛啊

柠檬树上 · 重庆不孕不育医院相关的不孕治疗及诊疗服务

把蜘蛛抓取的404链接都提交一下死链

凌波微步

提交一下死链就不会再抓取了@！

柠檬酸人心

是扫站的吧，模拟蜘蛛

互联网推广

提交一下死链就不会再抓取了

素材网 · 素材网，网站模板，网站素材，视频教程，sucaipro。com

来看看的