网站首页、分类等列表页是否有必要用robots.txt禁止收录翻页？ 悬赏1元 已结束
欧美的个人博客网站首页、分类表、标签页等都有很多分页，标题、关键词、描述等内容基本上相同，最多加上“第几页”之类的。有些站长说为了集权要屏蔽掉其他分页，只保留第一页，可通过robots.txt实现；有些站长说不用理会。所以我们是否有必要禁止收录这些列表页的分页？？？？
6 人参与回答
用户204937 等 1 人赞同该回答
你禁止收录翻页后，页面下的内容也会被同样禁止吧！所以还是把心思花在优化翻页标题上吧。
