蜘蛛爬取页面重复多次怎么处理?
网站蜘蛛每天是爬取多次,每次爬取页面都是正常的,为什么没有爬取记录痕迹,有时候爬取页面重复太高了,这是什么原因导致的,如何引导蜘蛛爬取页面正常?蜘蛛特别奇怪爬取不正常呢?
3 人参与回答
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭