24 人参与回答
光景?
光景? · 解决情感问题,挽回爱情、快速脱单、挽救婚姻、恋爱技巧都可以点击链接进网站,有大量干货等你来!

优先抓取首页

应该是其他原创不够,转载采集内容多,我就遇到这情况

我叫猫先生
我叫猫先生 · 谷歌海外推推广

爬虫优先抓取权重高的页面,至于为何总抓取首页,一般就是现在网站已没什么新内容可抓的

王
· 开开心心做自己,活在当下就好,擅长实验室建设规划,医院建设,净化工程

那你可能就这个网页有东西抓,其他网页没有,不抓取你这个,抓取哪个

A 0湖北楚胜汽车.谢非
A 0湖北 · 环卫洒水车、垃圾车、压缩式垃圾车、扫路车、清扫车等专用车销售

我的都不知道怎么查看呢  

无本创客
无本创客 · 股票投机博客,包含短线炒股、低佣开户、游资心法、无本创业等内容

你可以Robots屏蔽它。

墨尔本机器
墨尔本机器 · 大咖赚-手机兼职赚钱app_试玩软件分享平台

你这个IP不是百度蜘蛛啊,是网络蠕虫在扫描,很正常,有时一天扫几千次的

百度IP段:

(百度蜘蛛电信段IP)



(百度蜘蛛联通段IP)



*





*



*



*



*



*



*



*



*



*


首页权重高些

开发公司
开发公司 · 环创传媒是一家集企业网站建设和推广、品牌设计、微信小程序开发,影视后期,在线智能平台等于一体的传媒公司。

不清楚 看看大佬怎么回答的

咱也不懂,过来学习下

汤加先生
汤加先生 · 深圳中海时代电商SEO专员,3年前入行。

或许是好事

行星减速机
行星减速机 · 行星减速机品牌厂家

确实,因为你别的页面没什么可抓的

不懂

lzb
lzb · 专注SEO优化,有需要的朋友会尽我所能力解答,或有需要优化网站的朋友也可以过来了解下

我之前也是这样,给网站做了301,和URL标准化就好了

上海口腔名医中心综合科钱医生
上海口腔名 · 口腔名医中心是汇聚了来自全国各地及日韩等国际上具影响力的几十位资深口腔专家,医院开设牙齿种植、牙齿正畸、牙齿美容、牙

首页的权重比内页要高,所以会一直抓取首页

加载更多