怎么禁止蜘蛛不爬取页面?
最近蜘蛛总是爬取重复的页面,来的次很多,其他页面却不被爬取,就是网站一些页面不想被爬取抓取的,我怎么不让蜘蛛抓取重复的页面?谢谢哥哥姐姐指点一二谢谢。
7 人参与回答
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭