关于网站只收录新闻栏目页问题及robots屏蔽后台问题 推荐热议 悬赏3元 已结束
最近公司网站收录遇到一些问题，就是一直重复收录新闻栏目页，问题大概了解到是蜘蛛抓取的链接是重复累加的链接
如“/news/news/show/id/480/news/show/id/509/news/show/id/565/news/show/id/UWB”。
期初以为是服务器带宽问题，后来升级了带宽其用了腾讯云的节点加速服务。可是问题还是没有解决。
目前有打算做以下几个动作，看是否值得做
1 原来新闻目录链接页不是伪静态，应该是通过调参数“https://www.nicerf。Cn/news?category_id=135”。这个有必要换成静态的吗（要花钱请人改）
2 /news/news/show/id/480/news/show/id/509/news/show/id/565/news/show/id/UWB 抓的这个链接状态码是200，应该最好是跳404是吧。（也要花钱，但个人感觉很必要）
3 在新闻列表页的模版文件下 head下加 <meta name="robots" content="noindex, follow"> （这个是查GPT给的建议，不让搜索引擎索引这个页面）
4 想通过robots屏蔽后台admin文件，这个其实和本问题可能不太相关，但我看很多网站都做了这一步。目前问题是robots文件是在跟目录文件public文件下。 而admin文件不是在public下，是在和public同层级的application下（application/admin/）。
那写成Disallow: /application/admin/ 会不会让蜘蛛误以为 “application/admin”是在public文件下？这里我改如何下才能屏蔽admin文件？
就是前面3点是不是有必要做或者还有什么其它地方可做的? 第4点怎么屏蔽admin文件 这个网站问题真的是让我头疼，希望能在这里找到正确答案。
最后附一下上次那发的那链接问题的帖子https://ask.seowhy。Com/question/276315
