我的robots写的有点多，这样会不会不利于爬取？ 悬赏1元 已结束
<p>如下图，因为网站有很多页面的内容是完全一样的，只不过url不一样，为了避免搜索引擎重复收录内容，我写了这个robots，写的条目有点多，不知道这样会不会给搜索引擎打来判断上的工作量？不知道像这样条目太多会不会影响搜索引擎对不禁止内容的收录？（这个robots通过百度站长工具检查是正确的，没有错误，这一点注明一下）</p><p><br></p>
31 人参与回答
不影响的，都是一样
不影响吧
不会你可以看看知呼的
不影响的
不会的
没什么影响，不是禁止抓取
不影响
你想让蜘蛛抓取的内容足够好就行，不让抓取的内容管他干嘛，都不抓取能有什么影响
只要没有屏蔽蜘蛛就行
不影响 我的也很多
没什么影响的 这样可以
