对爬虫和收录有些疑问,望高手解答一下。 悬赏1元 已结束
对爬虫和收录有些疑问,望高手解答一下。
网站每天更新7,8篇左右,抓取频次每天也有10次以上。而且所有网址都有api提交到百度。
这样的情况下,爬虫应该可以100%覆盖新增的文章,甚至1次就可以把新增的文章全部爬到了。
这种情况下还有必要增加外链和友链吗?
28 人参与回答
爬虫来的次数越多越好
爬虫来的次数越多越好
蜘蛛爬取了不一定抓取的。
爬虫来的次数越多越好
多爬取就好了啊
爬虫来的次数越多越好
谁会嫌弃蜘蛛来的频次多呢?多发外链还是好的
看看推推蛙大佬是怎么说的吧
蜘蛛爬取了不一定抓取的。
有必要啊,提交也不一定收录的,每天10次抓取,感觉太少了。
外链还是要一直建设的。
外链任何时候都是需要的
当然有必要了,
提交了不一定就被抓取,但是增加了机会。
过来学习的,而且很认真的
爬虫不多或者内容不行,再或者网站本身权重不高
可以的,还是不错的