网站几乎不来蜘蛛,不抓取文章,反而抓取一大把奇奇怪怪的文件,求大佬解决! 悬赏3元 已结束
<p>网站如下<a href="https://www.coscc.com/" data-url="www.coscc.com" class="show-5118-data" rel="nofollow" target="_blank">https://www.coscc.com/</a>。最近文章都不收录了,蜘蛛的ip也是千奇百怪。怎样才能使蜘蛛正常抓取呀!</p><p><br><br></p>
29 人参与回答
假蜘蛛,让它爬
你要喂他点好吃的东西他就会经常来了。
可能是假蜘蛛
写进robtes屏蔽掉吧
假蜘蛛了,可以直接屏蔽
可能是假蜘蛛
多更新内容
多更新下内容啊
把奇怪的网址给禁止爬
高质量优化,多发外链
高质量优化,多发外链
多更新内容,买点友情引流一下