<p>老域名建的2个月新站,蜘蛛还是隔天就访问一次老网站的死链接(差不多30条)</p><p>网站已经设置了404,站长后台也提交了死链,真不知道该怎么搞啦???</p><p></p>
先看看返回的状态码,有时候百度会不停抓取404页面。
直接把页面删掉算了
可以根据网站日志分析蜘蛛爬取404页面的路径,从pc端进入还是移动端,是从html代码还是从css进入,只有彻底删除404链接才能从根本上杜绝蜘蛛爬取,光提交链接基本上没用。
提交死链啊 或者加Nofollow
404做好 就不会被收录的,不影响
把死链接清除掉,然后写个协议禁止搜索引擎抓取
可以重新反馈一下试试。
百度提交死链,即可
再投诉反馈一下、
提交死链,还爬吗
后期就不会爬行,即使爬行也不会收录。
死链接败絮资源提交一下,ro禁止抓取。
1、死链接的返回码必须是404,看截图里面有500和200,没404; 2、死链接返回码404,蜘蛛抓取识别,后期就不会爬行,即使爬行也不会收录。
让更多人参与回答