最近蜘蛛总是爬取重复的页面，来的次很多，其他页面却不被爬取，就是网站一些页面不想被爬取抓取的，我怎么不让蜘蛛抓取重复的页面？谢谢哥哥姐姐指点一二谢谢。
Robots.txt
可以Nofollow一下
写Robots文件，禁止爬取不想让蜘蛛爬取的页面，但是切记不要写错了 之前我写robots文件写错了把所有页面都禁止爬取了
页面Nofollow
Robots在设置下
在robot文件里设置
单独设置
让更多人参与回答
