用户172767
话题优秀回答者
1640 问题
913 浏览

抓取的时候一直提示robots封禁怎么办? Robots 百度蜘蛛

网站robots.txt文件已经删除里面所有的内容,现在是一个空文件。站长后台 robots检测更新 都是没有问题,校验网址是否被阻止 是允许。反馈中心也反馈了,也不给回复。我该怎么办?来个官方的帮忙处理一下吧。(补充一下,网站新搭建的时候……

909 浏览

怎么才能让百度避开新手期?现在的百度新手期是一个月 百度蜘蛛

百度蜘蛛论坛目前百度对于一个新站点的抓取十分的不给力,每天的抓取更新可能只有100不到。不收录首页,它就不会对发动猛烈的攻势。这样的一个情况,需要到处的去发外链来吸引别的大佬站点的蜘蛛来抓取你站点的内容。想要以后快速的收录,大家先来帮我把我……

905 浏览

百度蜘蛛重复抓取一个页面怎么解决? 百度蜘蛛

最近一直蜘蛛抓取重复的页面,每次来网站都是重复的多次,日志可以查看到一些数据,怎么引导蜘蛛爬取正确的页面不要重复的多次爬取,各位大佬在优化中有什么经验可以分享一下?谢谢了。……

904 浏览

SEO内容输出过程中需要掌握哪些技巧? 用户体验 SEO优化 百度蜘蛛 索引

当网站进入到seo优化阶段的时候,都是需要大量的输出内容,为的就是提高网站的活跃性,并且满足了用户来体验阅读的习惯。所以说,这在seo内容输出的过程中,要贴合搜索引擎的习惯,那么在这方面的优化效果上才能够不断的提高。那么,在这个过程中需要掌……

902 浏览

百度蜘蛛长时间不爬取页面怎么办? 引蜘蛛 百度蜘蛛

一个网站内,百度蜘蛛就是不来了,怎么吸引蜘蛛的到来,为什么蜘蛛不来网站了,蜘蛛不来了后我怎么把蜘蛛引导过来,网站真的没有蜘蛛,不被爬取页面怎么更新都没有用,这是什么情况,如何吸引蜘蛛让蜘蛛过来呢?网站提升蜘蛛的数量要怎么办?……

901 浏览

网站被大量假冒的蜘蛛抓取,应该怎么解决? 排名 百度蜘蛛 索引

网站从27号开始,就一直被攻击,找了几天没有发现原因,昨天晚上发现,有人冒充百度蜘蛛对网站进行抓取,从而导致服务器崩溃,现在网站的流量、排名、索引都下降了。第一,假冒的蜘蛛应该如何屏蔽,禁止掉一个ip会不会换另外的ip来攻击?第二,网站应该……

891 浏览

百度蜘蛛抓取网站首页时返回大量304 百度蜘蛛

我的nginx 的访问日志中查看到,百度spider访问我网站首页的时候,返回的是大量的304状态码,是服务器配置的原因吗,我想让他返回200 ,例如:220.181.108.75 - - [22/Jan/2013:02:24:53 +08……