关于log日志的问题

请问,我的网站为什么每天都有大量的相同URL有这种情况?这种情况怎样导致的?该如何解决,希望大家能帮忙看看。

追加问题
    2 人参与回答
姬成
姬成 · 搜外论坛技术区版主

先确定是真正的蜘蛛爬取的吗
用nslookup ip.
然后在看一下,其他原因.

叶景
叶景 · 欢迎参加搜外的SEO系统培训,报名微信:seowhy2021

蜘蛛对这个页面频繁的重复抓取造成的。
到百度站长平台调整一下蜘蛛对该页面的抓取频次
如果不是很重要的话可以在robors.txt先屏蔽一下。