用户172767
话题优秀回答者
1640 问题
867 浏览

百度蜘蛛重复抓取一个页面怎么解决? 百度蜘蛛

最近一直蜘蛛抓取重复的页面,每次来网站都是重复的多次,日志可以查看到一些数据,怎么引导蜘蛛爬取正确的页面不要重复的多次爬取,各位大佬在优化中有什么经验可以分享一下?谢谢了。……

867 浏览

百度蜘蛛不来网站抓取页面了怎么办? 百度蜘蛛

自从上周开始,网站的蜘蛛不来网站抓取页面了,是突然之间就不来网站抓取,究竟是哪里情况导致网站蜘蛛不来访问网站,怎么把蜘蛛吸引过来,有什么办法吗?感谢回答问题的大神!……

863 浏览

百度蜘蛛长时间不爬取页面怎么办? 引蜘蛛 百度蜘蛛

一个网站内,百度蜘蛛就是不来了,怎么吸引蜘蛛的到来,为什么蜘蛛不来网站了,蜘蛛不来了后我怎么把蜘蛛引导过来,网站真的没有蜘蛛,不被爬取页面怎么更新都没有用,这是什么情况,如何吸引蜘蛛让蜘蛛过来呢?网站提升蜘蛛的数量要怎么办?……

862 浏览

百度蜘蛛抓取网站首页时返回大量304 百度蜘蛛

我的nginx 的访问日志中查看到,百度spider访问我网站首页的时候,返回的是大量的304状态码,是服务器配置的原因吗,我想让他返回200 ,例如:220.181.108.75 - - [22/Jan/2013:02:24:53 +08……

861 浏览

百度蜘蛛长时间没有过来网站怎么办? 网站优化 百度蜘蛛

网站优化就是不来蜘蛛了,长时间没有蜘蛛的爬取,怎么引导蜘蛛来网站呢?提升蜘蛛的抓取次数,有哪些方法把蜘蛛吸引过来,蜘蛛不来是什么原因导致的,可以分析检查原因吗?好对症下药解决被蜘蛛的问题?……

858 浏览

网站被大量假冒的蜘蛛抓取,应该怎么解决? 排名 百度蜘蛛 索引

网站从27号开始,就一直被攻击,找了几天没有发现原因,昨天晚上发现,有人冒充百度蜘蛛对网站进行抓取,从而导致服务器崩溃,现在网站的流量、排名、索引都下降了。第一,假冒的蜘蛛应该如何屏蔽,禁止掉一个ip会不会换另外的ip来攻击?第二,网站应该……

857 浏览

百度蜘蛛没有爬取页面如何吸引蜘蛛? 引蜘蛛 百度蜘蛛

有哪些可以吸引蜘蛛的方法,最近蜘蛛就是不来网站爬取访问了,有什么方法可以让网站蜘蛛爬取页面,增加页面的收录量,怎么突然就不来网站访问抓取内容了?如何查询看看是什么原因导致的,前段时间可以,就是这两天的事。……