搜外网>搜外问答>问答页面

蜘蛛总是抓取网站不存在的页面,希望遇到过这种情况的高人解决?

网站之前收录都很正常,某一天,突然不正常,抓取各种404,这些url,根本就不存在。

还出现其他错误,是403,而这些403 的地址,已经写在root 文件不允许抓取的,不是外链,也不是原创,也不是降权的事,请问有没有人遇到过同样的问题。



追加问题
    3 人参与回答
王红红
王红红 · 行业网站seo主管

我们网站有和楼主一样的情况,我也一直没有找到什么原因,求解中。

聂旭超
聂旭超 · 红墙母婴SEO主管 做了这么多年突然感觉有些虚浮。

你最好查下你的外链,是否有这种页面的外链。
一般造成这种情况的原因就是这种网页有外链引蜘蛛进入然后抓取的。
别的情况造成这种原因本人还没遇到过。

林峰
林峰 · 我是个卖灯的,B2C站长!

如果是谷歌,站长后台去清理抓取的404页面,告诉谷歌这些已经修复,他就不会再去爬了,然后301或者robot屏蔽。百度不知道怎么弄。

SEO培训招生中
155