<p><br></p>
优先抓取首页
应该是其他原创不够,转载采集内容多,我就遇到这情况
爬虫优先抓取权重高的页面,至于为何总抓取首页,一般就是现在网站已没什么新内容可抓的
那你可能就这个网页有东西抓,其他网页没有,不抓取你这个,抓取哪个
我的都不知道怎么查看呢
你可以Robots屏蔽它。
你这个IP不是百度蜘蛛啊,是网络蠕虫在扫描,很正常,有时一天扫几千次的
百度IP段:
(百度蜘蛛电信段IP)
(百度蜘蛛联通段IP)
*
首页权重高些
不清楚 看看大佬怎么回答的
咱也不懂,过来学习下
或许是好事
确实,因为你别的页面没什么可抓的
不懂
我之前也是这样,给网站做了301,和URL标准化就好了
首页的权重比内页要高,所以会一直抓取首页
让更多人参与回答