我的robots写的有点多，这样会不会不利于爬取？ 悬赏1元 已结束
<p>如下图，因为网站有很多页面的内容是完全一样的，只不过url不一样，为了避免搜索引擎重复收录内容，我写了这个robots，写的条目有点多，不知道这样会不会给搜索引擎打来判断上的工作量？不知道像这样条目太多会不会影响搜索引擎对不禁止内容的收录？（这个robots通过百度站长工具检查是正确的，没有错误，这一点注明一下）</p><p><br></p>
31 人参与回答
不影响的，都是一样
不影响吧
不会你可以看看知呼的
不影响的
不会的
没什么影响，不是禁止抓取
不影响
你想让蜘蛛抓取的内容足够好就行，不让抓取的内容管他干嘛，都不抓取能有什么影响
只要没有屏蔽蜘蛛就行
不影响 我的也很多
没什么影响的 这样可以
这样节省了蜘蛛爬取你网站的时间了，重复内容爬取也不太好
不会有影响！
这个不影响，不禁错了就行
蜘蛛抓取的页面比你这个复杂多了，你这个才哪到哪，肯定不影响的
没有什么影响的
不会影响蜘蛛抓取
蜘蛛是不会在意的，
不会的，这样还可以让爬虫省事
第一次看见这么长的
不能再简化吗？
太多蜘蛛记不住
