曾经看搜外有人说过，没有参与排名意义的垃圾页面都禁止抓取掉，翻页要不要禁止？分享下自己是怎么处理的 悬赏1元 已结束
<p>翻页和主页描述一样，标题就变成这种了，说实话没有参与排名的意义，要不要禁止掉？</p><p><br></p>
10 人参与回答
不要禁止的好 下面的你不想让他爬了
把不需要收录的页面写个TXT文件，然后丢到网站更目录下，写个蜘蛛文件禁止了
学习学习
肯定不禁止啊，这样蜘蛛可以往下页抓取。
收录不多的情况下，不用禁止的。
不要禁，还是又些用的
直接禁止
其实可以不用禁止的，收录不多的情况下
