蜘蛛抓取页面重复率太高怎么处理？

Question

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

Answer 1

51sen

多抓没什么问题吧

Answer 2

海阔天空 · 315防伪标签办理中心-全国315产品防伪查询中心

抓取是好处呀，

Answer 3

天行健咨询 · 精益生产管理与六西格玛管理咨询，培训机构

被抓取多次并没有什么问题啊，如果你看的是蜘蛛访问记录抓取多次也可以是某条连接过来的，比如随机随机推荐的链接，或者外部广告。

如果你查的出来源，还是发现多次短时间内同时抓取，那么有可能这个页面当时访问受限，或者打开不流畅，应该考虑优化服务器，或者换个空间，具体原因需要你自己查

Answer 4

Plum · 聚乙烯醇缩丁醛-天元化工网-小小站长,兢兢业业！

没办法，就让抓呗

收录宝