蜘蛛抓取重复的页面不抓新页面怎么解决?
蜘蛛每天来网站次数挺多,就是每次爬取重复的页面,不抓取新页面,怎么让蜘蛛不要爬取重复的页面,指定的页面让蜘蛛爬取,我应该怎么做?给点建议吧!谢谢啦!!!
6 人参与回答
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭