搜外网>搜外问答>问答页面

这个页面一直被高频率的404抓取，我昨天早上的时候就已经设置死亡链接了，可是晚上还在抓取悬赏1元已结束

微信

网站：www.gdjinglan.com，这个奇怪的、从来不存在的页面，一直被404抓取，这个影响严重吗？该怎么办啊？我已经设置了死亡链接，并且生效了，为啥还在抓取这个页面，而且频率十分的高，会不会对网站造成不利？

404 举报 本帖由用户发布，如有侵权联系删除 2020-06-09 发布1,695 次浏览

10 人参与回答

最佳回答

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

鑫晟豪、权重蜘蛛-池出租等 2 人赞同该回答

1、蜘蛛为何会执着于一个死链接这点我也很好奇；

2、页面已404了，这种页面一般不会被抓取和收录，这种也不会影响你的网站；

3、死链接被收录才会影响网站排名和质量，这种不会收录的不会影响，如果是真的蜘蛛在爬，最多是影响网站的抓取；

4、如果是真的蜘蛛一直在抓无效链接，你可以选择Robots屏蔽，屏蔽后用百度站长后台的抓取诊断看看是否生效，生效即可，如果操作了还抓取，这种不是真实的蜘蛛。

搜外公民 · ❀ → 看这里 → → → → → → 5118 优惠码 6C1516 ← ← ← ← ← ← 看这里 ← ❀

权重蜘蛛-池出租等 1 人赞同该回答

我的也一样，Robots里写上禁止抓去那个目录下的所有文件就好了。

小棋

权重蜘蛛-池出租等 1 人赞同该回答

同样几十万条链接，蜘蛛老喜欢抓那几条404的

佰草 · SEO，建站，仿站

权重蜘蛛-池出租等 1 人赞同该回答

弄清楚具体是哪个ip抓的吧

陈深沉?

把这几个给提交死链

凉凉 · 奢侈品回收|名表包包黄金回收等

1、蜘蛛为何会执着于一个死链接这点我也很好奇；

2、页面已404了，这种页面一般不会被抓取和收录，这种也不会影响你的网站；

3、死链接被收录才会影响网站排名和质量，这种不会收录的不会影响，如果是真的蜘蛛在爬，最多是影响网站的抓取；

收录宝