网站蜘蛛抓取页面重复太多怎么处理?
网站反复蜘蛛抓取页面重复的太多,很多次数都是抓取重复的页面,怎么禁止蜘蛛抓取问题,为什么大量蜘蛛抓取页面重复的太多,有什么办法可以解决蜘蛛的问题?让蜘蛛爬取正常,我们需要怎么做呢?
2 人参与回答
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭