搜外网>搜外问答>问答页面

蜘蛛爬取网站内容但是不收录的原因?

蜘蛛是爬取页面次数挺多的,每次爬取页面内容了,但是没有被收录是什么原因,为什么爬取是正常的,但是没有被收录起来,网站反复无常总是这样呢?为什么爬取页面内容就是没有被收录起来?

追加问题
    11 人参与回答
利美医疗
利美医疗 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

可能和网站内容质量有关系,提高质量再观察一段时间看看

内容质量

泉水溪溪
泉水溪溪 · 鑫盛主营包装机设备,粉剂包装机,颗粒包装机,可用于面粉、粮食、化工、肥料行业

可能跟内容质量有关吧

晓迪
晓迪 · 鲜丰水果加盟

并不是说抓取了就一定会收录,抓取时抓取收录是收录,抓取后还得看你文章的质量才行,质量差或者直接抄的即便抓取了也不会收录

有以下几个可能的原因导致蜘蛛爬取网站内容但不收录:

  1. 网站被设置了Robots.txt文件,阻止了搜索引擎的访问。蜘蛛会按照robots.txt文件中的规则来判断是否能够访问和爬取网站内容。
  2. 网站页面的meta标签中可能有noindex指令或者X-Robots-Tag头部信息,告诉搜索引擎不要将该页面收录。
  3. 页面存在重定向或严重的技术问题,例如错误的HTTP响应状态码、页面加载速度过慢等,导致蜘蛛无法正常爬取到内容。
  4. 内容质量不佳,包括重复内容、浅尝辄止的内容、低质量的用户生成内容等,这些内容可能不符合搜索引擎的抓取与收录标准。
  5. 网站被搜索引擎处以惩罚,如被手动操作或遭受算法更新的影响,导致网站的排名下降或者被移除索引。

综上所述,以上是一些常见的原因,导致蜘蛛爬取网站内容但不予以收录。具体情况可能因网站的设置、技术、内容质量和搜索引擎的政策等方面而有所不同。

这种不奇怪,只要是抓取了,后面一般都会放出来的

格栏特铝合金脚手架
格栏特铝合 · 广州格栏特是一个铝合金脚手架的出租售卖的公司,量大从优!需要的联系138-2600-2184微信同步

多观察几天看看

读诗人
读诗人 · 介绍自己及个人品牌,还可含微信、QQ、站点品牌、名称!

新站有三个月的观察期,保持住就好。

半岛铁盒
半岛铁盒 · 国际学校丨出国留学丨雅思托福丨小语种辅导

这种不奇怪,只要是抓取了,后面一般都会放出来的

梦梦
梦梦 · 泰海科技12年服务经验,专注于服务器租用

如果是老域名,有蜘蛛抓取不收录,那就是文章质量不够高,如果是新域名,有抓取就很好,保质保量的更新,首页的收录会比较快,过了考核期后慢慢会放出内页收录

小天儿
小天儿 · 优惠中 交易高质量友情链接 强引各大搜索引擎蜘蛛 增加收录排名

持续更新,新站过了考核期收录很快的,建议BA