对爬虫和收录有些疑问,望高手解答一下。 悬赏1元 已结束
对爬虫和收录有些疑问,望高手解答一下。
网站每天更新7,8篇左右,抓取频次每天也有10次以上。而且所有网址都有api提交到百度。
这样的情况下,爬虫应该可以100%覆盖新增的文章,甚至1次就可以把新增的文章全部爬到了。
这种情况下还有必要增加外链和友链吗?
28 人参与回答
蜘蛛爬取了不一定抓取的。
爬虫来的次数越多越好
多爬取就好了啊
爬虫来的次数越多越好
谁会嫌弃蜘蛛来的频次多呢?多发外链还是好的