333
浏览
某段时间我的网站做大幅调整，导致百度蜘蛛抓取压力非常 百度蜘蛛
某段时间我的网站做大幅调整，导致百度蜘蛛抓取压力非常大，我们想先拒绝百度蜘蛛访问，又不能进行封禁，该怎么办……
百度蜘蛛
相关话题
536
浏览
432
浏览
百度蜘蛛抓取页面有问题怎么办？ 引蜘蛛 百度蜘蛛
百度蜘蛛有时候来网站，有时候不来了，来去不正常的蜘蛛，爬取也没有数据增加，总是觉得不是真实的蜘蛛呢？为什么蜘蛛爬取不正常，有什么好的吸引蜘蛛的办法，把蜘蛛吸引过来怎么引蜘蛛来网站？用什么工具可以查询到准确的？……
371
浏览
402
浏览
404
浏览
387
浏览
多城市分站怎么统计百度蜘蛛 泛解析 百度蜘蛛
我们是做多城市的，域名开启了泛解析，每个城市都做了一个分站域名 一个后台，请问下 怎么统计这些分站的蜘蛛抓取情况呢？……
456
浏览
请问百度第一天百度蜘蛛还比较多，第二天就没有了，是怎么回事呢https://www.hllzk.cn 百度蜘蛛
请问百度第一天百度蜘蛛还比较多，第二天就没有了，是怎么回事呢https://www.hllzk。Cn/
360
浏览
百度蜘蛛怎么稳定提升？ 百度蜘蛛
最近查看日志发现，蜘蛛来的次数多了就是没有抓取记录，蜘蛛有爬取没有痕迹，是不是虚拟蜘蛛没有记录？一次次的爬取也没有什么作用，蜘蛛爬取不正常，怎么稳定提升蜘蛛量？各位有什么好的办法？……
338
浏览
采集站突然百度蜘蛛减少 排名 百度蜘蛛
我做了个采集站，半个月收录了4800，一天3W+蜘蛛，突然百度蜘蛛减少，没有天级收录了，排名和收录都没掉，是怎么回事，要如何恢复……
456
浏览
如何提高蜘蛛抓取频次 搜狗 抓取频次 百度蜘蛛
网站每天就十几个百度蜘蛛来，但是搜狗蜘蛛却能达到一千多，请问如何能够提高百度蜘蛛抓取频次。谢谢……
493
浏览
百度蜘蛛访问频繁，确认下是不是百度蜘蛛 网站日志 百度蜘蛛
173.82.66.210 这个IP我查是美国的 网站日志说是百度蜘蛛，是真的百度蜘蛛吗？
282
浏览
百度蜘蛛访问量有一点少那里问题？ 友情链接 百度蜘蛛
百度蜘蛛有点少了，没有之前多了怎么增加蜘蛛，为什么蜘蛛越来越少了，是什么情况下导致蜘蛛少了？发外链交换友情链接可以帮助蜘蛛吗？一般是怎么把蜘蛛增加多些，网站越来越好需要怎么做？……
381
浏览
百度蜘蛛访问只访问首页，内页都不访问，是因为什么呀？有什么优化措施可以改变这问题？？ 百度蜘蛛 索引
1、百度蜘蛛访问只访问首页，内页都不访问，是因为什么呀？有什么优化措施可以改变这问题？？2、其他搜索引擎蜘蛛就没这问题，百度蜘蛛这么特立独行吗？？……
384
浏览
你的的百度蜘蛛都是什么时间爬行。 百度蜘蛛
我观察我的网站，百度蜘蛛爬行的时间是晚上11点30到凌晨4点30之间。白天一律不爬
317
浏览
百度蜘蛛，你对得起我的每天辛苦吗 百度蜘蛛
<p></p><p></p>
330
浏览
244
浏览
百度蜘蛛抓取不正常咋回事？ 百度蜘蛛
百度有时候来网站，有时候不来网站了，反反复复的有时候抓取也是重复的页面，怎么让蜘蛛抓取页面不要重复，平时优化如何管理好蜘蛛的情况？让蜘蛛抓取正常点，有什么好的方法？……
369
浏览
使用nslookup命令来识别真假百度蜘蛛出现了问题 浏览器 百度蜘蛛
最近发现大量IP段冒充百度spider的useragent来抓取我们网页内容，有的甚至直接通过浏览器刷新来实现。……
494
浏览
百度蜘蛛能识别视频中图片及文字吗？ 视频 百度蜘蛛
百度蜘蛛能识别视频中图片及文字吗？
428
浏览
百度禁止网站广告弹窗，我用爱番番把百度蜘蛛ip屏蔽了会怎么样？ 百度蜘蛛
百度禁止网站广告弹窗，我用爱番番把百度蜘蛛ip屏蔽了会怎么样？蜘蛛抓取的时候是不是就不会抓到违规了……
688
浏览
376
浏览
不同ip点击怎么没有蜘蛛到访啊？ 同IP 百度蜘蛛
不同ip点击怎么没有蜘蛛到访啊？昨天有几十个真实点击，但是没有检测到百度蜘蛛，怎么回事？？？http://www.fangshenmo.cc/……
439
浏览
为何百度抓取链接都会带上/$loadimg_url 宝塔 404 百度蜘蛛
<p>以前没有装宝塔的专业版不知道现在装了宝塔的专业版后可以看到百度蜘蛛爬行链接很多带/$loadimg_url<br>凡是带/$loadimg_url 的都显示抓取404<br>这是怎么一回事<b……
446
浏览
百度蜘蛛访问频繁，确认下是不是百度蜘蛛 网站日志 百度蜘蛛
173.82.66.210 这个IP我查是美国的 网站日志说是百度蜘蛛，是真的百度蜘蛛吗？
459
浏览
81.71.60 这个IP 段冒充百度蜘蛛啊？？一直爬 百度蜘蛛
81.71.60 这个IP 段冒充百度蜘蛛啊？？一直爬 81.71.60 这个IP 段冒充百度蜘蛛啊？？一直爬 81.71.60 这个IP 段冒充百度蜘蛛啊？？一直爬有没有遇到的……
629
浏览
高手帮忙看看，上线一个月首页都还未收录 搜狗 必应 百度蜘蛛
我的站点，www.ksrmyy。Com 上月30号上线，现在一个月了，百度只收录内页（内页已日收）但百度不收录首页、列表页。360、搜狗、必应也是未收录。百度蜘蛛每天爬取一两百次，搜狗 360一天五六次（每日来访），请问这是什么情况？需要怎……
402
浏览
466
浏览
465
浏览
314
浏览
robots设置只抓取指定目录和首页 Robots 百度蜘蛛
虽然百度识别出了都是无效页面，但大量的抓取严重影响了服务器性能，因此通过robots设置只允许百度蜘蛛抓取指定的目录和首页，来解决这个问题。……
351
浏览
百度蜘蛛爬取页面不正常怎么解决？ 百度蜘蛛
网站正常优化情况下，发现百度蜘蛛抓取页面不正常，每次不是重复的页面，就是蜘蛛爬取了没有痕迹查询不到，这是什么原因为什么蜘蛛不正常，究竟哪里问题这样的，怎么进行分析？……
392
浏览
发现百度搜索喜欢抓我网站用户名页？ 百度蜘蛛
<p>发现百度搜索喜欢抓我网站用户名页？</p><p>百度蜘蛛大部分都是在抓我用户主页</p><p>这样会导致权重变低吧？</p><p>毕竟这样的网页爬了没……
411
浏览
企业站的百度蜘蛛，每天只有10来个是不是太少了？ 企业站 百度蜘蛛
企业站的百度蜘蛛，每天只有10来个是不是太少了？
438
浏览
百度蜘蛛抓取问题，只为发外链的请勿扰，谢谢 宝塔 宝塔面板 百度蜘蛛
我两个网站在一个服务器，用的宝塔面板，百度在A网站抓取的时候偶尔会抓取B网站的url路径，域名还是A的域名，路径确是B的,这是什么情况，求大神指点……
