727
浏览
robots设置只抓取指定目录和首页 Robots 百度蜘蛛
虽然百度识别出了都是无效页面，但大量的抓取严重影响了服务器性能，因此通过robots设置只允许百度蜘蛛抓取指定的目录和首页，来解决这个问题。……
百度蜘蛛
相关话题
1640
问题
727
浏览
727
浏览
724
浏览
百度蜘蛛无法对网站正常索引爬行? Robots 百度蜘蛛 索引
百度蜘蛛无法对网站正常索引爬行，抓取诊断显示“未解析到IP或有Robots封禁 ”我的网站屏蔽蜘蛛三天之后又重新开启了，但是百度蜘蛛都不来网站爬行，后台使用抓取诊断显示“未解析到IP或有Robots封禁 ”，robots文件检测也没有问题，……
724
浏览
723
浏览
722
浏览
这些都是百度蜘蛛吗，为啥我工具查的都是假的 百度蜘蛛
<p>最近看日志，全站的蜘蛛IP全部都变了，基本都没有见过，用第三方工具啥的都是假的百度蜘蛛<br></p><p><br></p>……
721
浏览
光年日志拆分工具怎么用@推推蛙 404 百度蜘蛛
<p>光年日志拆分工具怎么用，我想把百度蜘蛛和状态码为404的提前出来，404我会提，但百度蜘蛛应该要怎么写呢？</p><p></p>……
721
浏览
求一个好用的百度蜘蛛池/平台也行，能收录的 蜘蛛池 百度蜘蛛
求一个好用的百度蜘蛛池，能收录的，不是用了一个月一条都没收录，天天割韭菜。
721
浏览
robots阻止抓取死链有效吗 Robots 百度蜘蛛
死链目录放到robots里面了 为什么还有百度蜘蛛来爬
720
浏览
719
浏览
百度蜘蛛一般多久会爬取网站内页啊 百度蜘蛛
<p>今天百度又是只爬取了首页 https://www.medin.cc，这太奇葩了</p><p></p>
719
浏览
百度蜘蛛不来网站的怎么回事？ 引蜘蛛 百度蜘蛛
百度蜘蛛已经有一段时间没有来网站里了，长时间都没有蜘蛛的爬取次数，我更新的内容都没有收录了，我怎么更好的吸引蜘蛛来到我的网站，有哪些可以吸引蜘蛛的技巧，为什么蜘蛛一次次的不被抓取爬取页面了，一般怎么做呢？多谢各位朋友们解答疑问！……
719
浏览
百度蜘蛛长时间不来怎么回事呢？ 网站优化 百度蜘蛛
网站优化发现蜘蛛已经不来网站里了，我更新很多就是没有蜘蛛的爬取页面，为什么突然最近蜘蛛都不来网站里，我怎么引导蜘蛛过来让蜘蛛抓取我的站页面，有什么好的抓取方法，如何才能提升蜘蛛的数量？多谢各位朋友们解答！……
718
浏览
百度蜘蛛一直抓取小程序不抓网页？ 小程序 百度蜘蛛
搞了个百度小程序，现在一天有百度蜘蛛爬小程序，tmm的就是不爬网页。请问下大佬这个能怎么破？……
717
浏览
采集站突然百度蜘蛛减少 排名 百度蜘蛛
我做了个采集站，半个月收录了4800，一天3W+蜘蛛，突然百度蜘蛛减少，没有天级收录了，排名和收录都没掉，是怎么回事，要如何恢复……
717
浏览
717
浏览
用什么代码可以吧一个老站百度蜘蛛引到新站里面去抓取？ 悬赏 1 元 代码 百度蜘蛛
用什么代码可以吧一个老站百度蜘蛛引到新站里面去抓取？
716
浏览
百度蜘蛛不来抓取能被收录吗？ 百度蜘蛛
最近是怎么了啊！百度蜘蛛不来网站访问，不被抓取也不访问，这样还会收录吗？怎么才能让蜘蛛爬取内容，提高内容的抓取，怎么引导蜘蛛来网站里？谢谢各位解答。……
714
浏览
老站改版百度蜘蛛终于不爬老链接，爬新链，是不是快放出来了。 百度蜘蛛
一直只收录了首页。。。疯狂爬老链。最近看后台都在爬新页面了。
713
浏览
各位大佬，这是本人今年最后一次发外链了 百度蜘蛛
转生成百度蜘蛛才是最强的选择：www.mengchuangweiye.cn
713
浏览
百度蜘蛛不来网站抓取页面怎么回事？ 引蜘蛛 百度蜘蛛
最近是什么情况，百度蜘蛛不来网站抓取页面了，百度蜘蛛不来网站了怎么吸引蜘蛛来到，让蜘蛛更好的来网站抓取页面，蜘蛛不来了收录量就停止了，怎么解决蜘蛛的问题呢？为什么蜘蛛长时间不过来，是网站出问题了吗？纠结咋处理呢？……
711
浏览
各位站长的网站百度蜘蛛访问量一天大概是多少？ 百度蜘蛛
各位站长的网站百度蜘蛛访问量一天大概是多少？
711
浏览
711
浏览
708
浏览
百度蜘蛛都是假的怎么办 百度蜘蛛
<p></p><p>本来百度蜘蛛就很少来，一周来一次，结果天天还都是假蜘蛛折腾，这5个野蜘蛛全特么是假的，也不知道来小破站干什么。</p><p>这个IP，<span>2……
708
浏览
708
浏览
什么意思？？？用插件检测百度蜘蛛是127.0.0.1 百度蜘蛛
什么意思？？？用插件检测百度蜘蛛是127.0.0.1这是什么情况
707
浏览
怎样查看百度蜘蛛的抓取情况?? 百度蜘蛛
我想看看百度蜘蛛有没有按时来网站，有时候觉得来的次数挺多，抓取频率怎么样，怎样查看百度蜘蛛的抓取情况？用什么工具查询还是咋查看？谢谢帮我解答！……
707
浏览
网站换服务器后百度蜘蛛变为0 百度蜘蛛
上周六更换了网站服务器，之后这两天百度蜘蛛就变为0了，旧服务器还没关闭，这是什么原因所导致的，后续会恢复吗？恢复周期大概多长？……
707
浏览
百度蜘蛛不来网站怎么回事？ 引蜘蛛 百度蜘蛛
百度蜘蛛长时间都不来网站里，是什么原因导致的蜘蛛不来网站了，有哪些可以吸引蜘蛛的方法，怎么吸引蜘蛛来到网站里，我的网站需要蜘蛛爬取，有了蜘蛛爬取网站才被收录了，怎么提高蜘蛛的抓取方法，为什么蜘蛛就是不来了呢？真的奇怪极了。……
706
浏览
705
浏览
百度蜘蛛爬取页面错误怎么解决？ 百度蜘蛛
最近一直蜘蛛不正常了，大量的蜘蛛有来爬取过，但是多数蜘蛛爬取页面都是重复率太高，导致也没有什么效果，如何引导蜘蛛爬取页面正常，解决错误的问题？大家有什么好的看法分享一下谢谢回答。……
705
浏览
蜘蛛爬取页面没有任何记录怎么办？ 百度蜘蛛
百度蜘蛛有来过站内爬取页面的，当我查询看看没有记录痕迹，没有看到蜘蛛的爬取页面，为什么蜘蛛爬取页面却没有记录了，当网站被蜘蛛爬取没有爬取痕迹，是什么原因导致的？从哪里查找原因解决蜘蛛的问题，蜘蛛爬取没有记录咋回事？……
705
浏览
705
浏览
网站标签优化需要掌握的核心要点有哪些？ 百度蜘蛛 索引
一般来说，一个网站的标签必须要醒目，让用户在搜索到之后，都有着想要来浏览的欲望。因此，在标签优化过程中需要掌握的要点越来越多，必须要全方位的去掌握好之后，才能够给整站带来的优化效果上会更加不错的。其中，主要有着这几个核心要点上要全方位去掌握……
704
浏览
百度蜘蛛长时间不来网站怎么解决？ 引蜘蛛 百度蜘蛛
为什么百度蜘蛛就是不来网站抓取，不来网站抓取页面，我们怎么引导蜘蛛过来，都有哪些可以吸引蜘蛛的方法，蜘蛛一次次的不来了，为什么会蜘蛛不来是不喜欢我的内容，还是怎么回事，导致蜘蛛不来了哪里原因呢？还有办法让蜘蛛过来吗？……
704
浏览
提交死链但是百度蜘蛛每天还去抓取，怎么解决？ 百度蜘蛛
提交死链但是百度蜘蛛每天还去抓取，怎么解决？
704
浏览
备案网站和不备案的网站，百度蜘蛛抓取频率完全不一样？ 备案 百度蜘蛛
<p></p><p></p><p>不知道你们的抓取频率如何？备案的和不备案的有区别吗？</p>……
703
浏览
百度蜘蛛在哪里可以看的出来来过没有？ 百度蜘蛛
百度蜘蛛在哪里可以看的出来来过没有？
