搜外网>搜外问答>问答页面

百度蜘蛛老是抓取网站没有的目录,并返回404是什么原因 悬赏1元 已结束

百度蜘蛛老是抓取网站没有的目录,并返回404是什么原因,关键是特别多,几百条www.hdtdwl.cn

追加问题
    12 人参与回答
最佳回答
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、真实的蜘蛛只会去抓取网站里面真实存在的页面,而不会去抓取不存在的栏目和页面;
2、抓取返回码是404,这种也不会被搜索引擎收录,如自身并未改版,URL也并未变更,这种抓取不存在页面URL可直接忽略,很多时候是模拟蜘蛛抓取,不是真的蜘蛛。
ps:有死链被搜索引擎放出收录,做好404页面,整理已收录死链做死链提交删除

阿尔帕西诺
阿尔帕西诺 · 器物有魂

直接去提交一下死链

qwoeyhoii333
qwoey · 奈斯导航为广大网民精心筛选、整理国内外各类优秀的网站大全,各位站长可以免费提交收录。==》

https://didi.seowhy.com/ip.html
可以用这个查查是否真实蜘蛛。

瑶瑶超开心
瑶瑶超开心 · 苹果企业签名 ios签名 企业签名

提交一下死链就不会再抓取了

扫站的,刷一些泛目录的路径,看看有没有漏洞。说明你的网站被盯上了,做好防护。

梦梦
梦梦 · 泰海科技12年服务经验,专注于服务器租用

不是自己的网站链接,就可以忽略,是自己的及时提交死链

十六夜
十六夜 · 气象站-气象监测传感器-农业观测站设备-全自动气象站

会不会是假蜘蛛啊

柠檬树上
柠檬树上 · 重庆不孕不育医院相关的不孕治疗及诊疗服务

把蜘蛛抓取的404链接都提交一下死链

提交一下死链就不会再抓取了@!

是扫站的吧,模拟蜘蛛

提交一下死链就不会再抓取了

素材网
素材网 · 素材网,网站模板,网站素材,视频教程,sucaipro。com

来看看的

SEO培训招生中
189