DHD东晖
话题优秀回答者
1640 问题
657 浏览

百度为什么这几天不抓取我的站点内容了,连蜘蛛都不来了? 抓取频次 百度蜘蛛

官方解答:1、网站封禁——自查站点是否封禁或者屏蔽了百度蜘蛛。2、质量筛选——抓取频次和页面收录是根据网站内容质量和用户需求综合判断的 。3、抓取失败——抓取失败的原因很多,需要注意保证网站的稳定性。4、配额限制——答:新站配额限制肯定低,……

655 浏览

页面抓取优先级问题,百度蜘蛛抓取页面是,先title然后是h1,然后是怎么抓取的呢,详细问题看下描述 H1标签 百度蜘蛛

问题的意思就是:一个网页开头肯定是TDK,然后可能在网页中间位置出现了H1标签,那么蜘蛛在进入这个页面时候,它的抓取规则是什么样的,首先抓取title,然后是H1标签,然后呢。是返回头部title位置由上而下的抓取,还是跳过了title和h……

653 浏览

网站被大量假冒的蜘蛛抓取,应该怎么解决? 排名 百度蜘蛛 索引

网站从27号开始,就一直被攻击,找了几天没有发现原因,昨天晚上发现,有人冒充百度蜘蛛对网站进行抓取,从而导致服务器崩溃,现在网站的流量、排名、索引都下降了。第一,假冒的蜘蛛应该如何屏蔽,禁止掉一个ip会不会换另外的ip来攻击?第二,网站应该……

650 浏览

一直有个疑问,关于百度蜘蛛抓取??@推推蛙 百度蜘蛛 文章 索引

一个网站,百度蜘蛛没有爬取,或者只抓取首页,没爬过内页,那他是怎么判断文章是采集的还是原创的??另外,都说发布的文章要高质量,那么这个高质量又是怎么样的一个标准呢?即便文章是高质量的,蜘蛛没爬过,又有什么意义。同样的文章,别的搜索引擎会抓取……

648 浏览

如何让百度快速抓取内页 Robots Site Sitemap 百度蜘蛛

今天看了百度日志,百度蜘蛛有200多个抓取网站,但是主要主要抓取robots和sitemap文件,像产品内页和新闻内部都不抓取。这是怎么回事?有没有大神指点一下。www.snow-china.com……

644 浏览

百度蜘蛛不来网站抓取咋回事? 网站优化 引蜘蛛 百度蜘蛛

网站优化最近蜘蛛就是不来啦,导致蜘蛛不来网站的主要原因有哪些呢?为什么网站不被蜘蛛的爬取,如何才能吸引蜘蛛,增加蜘蛛的到来?平时我们要怎么吸引蜘蛛的来,麻烦各位大神指点一下,如何吸引蜘蛛呢?……

644 浏览

网站改版后百度蜘蛛就不爬内页怎么解决? 死链接 网站改版 网站恢复 百度蜘蛛

网站从我改版后,蜘蛛彻底不来爬取内页了,首页偶尔还会来几次,是我改版导致哪里不对吗?为什么蜘蛛不来爬取内页了,我应该怎么解决让网站恢复正常?我怎么检测改版后网站存在死链接吗?也许死链接蜘蛛爬取不了,我也不知道什么原因了。……

642 浏览

百度蜘蛛抓取网站首页时返回大量304 百度蜘蛛

我的nginx 的访问日志中查看到,百度spider访问我网站首页的时候,返回的是大量的304状态码,是服务器配置的原因吗,我想让他返回200 ,例如:220.181.108.75 - - [22/Jan/2013:02:24:53 +08……