蜘蛛总是抓取重复页面怎么处理蜘蛛?
网站蜘蛛来的也规律,按时经常来网站,问题是来了爬取的都是重复的页面,反复这样好多次了,怎么引导蜘蛛抓取爬取其它页面?不爬取别的页面,也没有作用,蜘蛛为什么反复抓取一个页面?
3 人参与回答
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭