数据库已经清空,重新做的网站。为什么蜘蛛还在每天爬以前的网页
之前是做spa的网站,但是没有排名,所以就把网站数据库清空了,然后在重新建其它类型的非敏感行业的网站,但是蜘蛛为什么还会经常爬到之前的网页上去啊,
1,之前的网页有1000多页,现在做的网站文章才写到100多,我每天提交的链接也就是1-100啊,也就是说200-1000这之间是没有文章的,但是网站日志上显示蜘蛛还会爬到200-1000的链接,
33 人参与回答
有缓存
应该没有吧?可能是死链,提交一下。
还是需要时间的
我的网站也是一样的情况
膜拜下大神的回答,提交下死链不错
跟我这个一样 慢慢就好了 缓存不干净的事吧
缓存没有完全去除,蜘蛛还有之前网页数据
再等等吧,等更新
还没更新吧过一段时间就没有了
来我这里发外链,带动你的网站权重。
可能通过其它的方式爬取你的网站,例如外链
我们的网站框架必须要是合情合理的,这样蜘蛛才会更加的喜欢,我们平时也得多做一下抓取诊断保证咱们的网站没有异常现象,内容要做到定期的更新和推送,外链坚持做慢慢的首页就会被释放出来的。
可能通过其它的方式爬取你的网站,例如外链