搜外网>搜外问答>问答页面

一晚上蜘蛛跑过来抓了一大堆的垃圾,而且全是404,好烦,这要怎么办? 悬赏1元 已结束

<p><br></p><p><br></p><p>蜘蛛跑到plus里面抓了一堆不知道哪里来的链接,一大堆的404,这是百度自己的原因么,还是因为别的?</p>

追加问题
    9 人参与回答
最佳回答
HalleLuka 等 1 人赞同该回答

有些是伪装的百度蜘蛛,采集或者想看你的网站能否被攻击的,ip地址你反ping一下会发现并不是百度的。这一类的抓取特征就是同一个ip在集中的时间段内爆发式的抓取一堆链接并且都是404,比较好辨认。你打开日志找到这些ip反ping一下,不是百度的直接封掉。或者找技术支持一下,多少时间,多少次访问就屏蔽ip一段时间,不过要看你网站具体情况,有可能会伤害到一定的用户体验和影响正常蜘蛛抓取。如果这些404的抓取ip反ping确实是百度的,去站长平台反馈一下。

窝窝李
窝窝李 · 12

这不是百度蜘蛛,模拟的ua,搞你网站的。

濮阳
濮阳 · 搜你所想,搜你所问!

做好404页面。

屏蔽这些不想被蜘蛛爬取的页面。

祖传优化
祖传优化 · 从业互联网8年:SEO/SEM/媒体广告,免费咨询合作【微信:13959853105】

1、你可以去Robots文件添加不让他抓到的PHP文件。(或者没有用的目录也可以)

2、做一个404页面,这样不导致蜘蛛的爬取丢失,跟流量的丢失(记得规则:5秒后跳转回原域名)

首先你看一下,这些404的文件是不是你网站的文件,如果不是,很有可能是黑客在寻找漏洞想要入侵,然后留下的访问日志。只有蜘蛛的404需要处理,其他的404很多时候并不是网站问题,而是外部的因素。

独活
独活 · seo爱好者,愿与搜外的广大网友共同学习交流。www.whct.com.cn www.5j5.com.cn

你这是织梦做的网站,去把网站的Robots写一下,不让蜘蛛爬取你的一些敏感目录,比如模板目录templets

,plus,include,uploads,special,data,

还有很重要的目录admin,admin是你网站登录后台地址吧,它就别让蜘蛛抓了。

天冰
天冰 · 【免费教程】新站快速收录,排名快速进前十页!(被降权网站也有效) 微信号:tbstudy123

蜘蛛无目的抓取确实很烦且做了无用功,诊断建议:

文件中禁止抓取指定文件夹。您Robots文件可以添加 Disallow:/plus/ ,就不会出现抓取/plus/文件夹时大量404错误。

2.添加404页面。模板参考地址:

施先生
施先生 · 资深的SEO/SEM工作者和管理者

你把404页面做好 或者你去把这些多余的删除。。这个工程量有点大

崔家大院
崔家大院 · 网站诊断、建站、快速排名

这个不用管 只要你做好404页面就可以

SEO培训招生中
189