网站蜘蛛反复抓取一个页面怎么处理?
网站蜘蛛反复抓取一个页面每次重复的页面,这样继续抓取也没有用,怎么才能处理蜘蛛引导蜘蛛抓取正常的页面,各位大佬帮忙解答疑问蜘蛛问题,咋处理?
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭
网站蜘蛛反复抓取一个页面每次重复的页面,这样继续抓取也没有用,怎么才能处理蜘蛛引导蜘蛛抓取正常的页面,各位大佬帮忙解答疑问蜘蛛问题,咋处理?