844
浏览
想问下取消禁止抓取需要多久生效 Robots 网站日志
<p>我之前网站没弄好的时候在robots.txt加了Disallow:/禁止搜索引擎抓取。网站做好之后就取消了。但是现在都过去一个月了为什么还没收录啊。是不是取消得过一段时间才能生效。网站都做好一个多月了。百度一次也没来抓取。……
网站日志
网络设备、系统及服务程序等，在运作时都会产生一个叫log的事件记录；每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。
相关话题
634
问题
844
浏览
为什么网站日志有百度抓去记录，搜索资源平台抓取批次没有记录 网站日志
<p>http://www.huazicaozi.com企业网站，为什么网站日志有百度抓去记录，搜索资源平台抓取批次没有记录，最关键的网站发布是都快半月了，还没有收录</p>……
843
浏览
网站现在的百度录入量在70左右，但是每一次分析网站日志，百度蜘蛛的记录显示为0，这是怎么回事~求大佬 网站日志 百度蜘蛛
网站现在的百度录入量在70左右，但是每一次分析网站日志，百度蜘蛛的记录显示为0，这是怎么回事~求大佬指点……
842
浏览
网站两天没收录了，一看日志，基本全是其他流量来的 网站日志 百度统计
<p><br>这网站日志抓取是不是有问题啊，基本全是其他来源，看了百度统计来源也是正常的，前天开始查收录就没有了，有没有大佬能给个解答呀www.gc-zb。Com</p>……
839
浏览
新站一直不收录内页是怎么回事？ 网站日志 索引
<p>新站每天有蜘蛛爬行，但是一直不收录内页，索引一直是1。分析网站日志里面蜘蛛有抓取过栏目和内页，这是怎么回事？</p><p><br></p><p><br>……
833
浏览
网站日志图片的返回值为什么都是301 网站日志
<p><br></p><p><a href="https://www.shennongqianxiu.com/" data-url="www.shennon……
832
浏览
蜘蛛来网站后为什么只抓取首页和css js这些，内页它不香吗，为啥不抓取？ 网站日志 JS
看网站日志里面抓取都是这种情况：首页 css js 然后走了一会又来了→首页 css js 然后走了一会又来了→首页 css js 然后走了一会又来了....各种提交啥的也做了，内链结构啥的也没问题，请问是怎么回事？……
831
浏览
网站能正常访问但是蜘蛛抓取不到内容，是什么原因？ 网站日志 日志分析
通过网站日志分析，没有看到有蜘蛛正常抓取到url模拟抓取也不行。。。网站是可以正常访问的。。。这样的情况，一般是什么导致的呢？……
830
浏览
829
浏览
828
浏览
百度蜘蛛不爬行网站的话，网站上更新的文章是不是不会被录入？ 网站日志 代码 文章
百度蜘蛛不爬行网站的话，网站上更新的文章是不是不会被录入？刚刚用工具分析十月份网站日志，发现日志中没有Baiduspider代码，是不是代表本月没有蜘蛛爬行过网站，但是本周文章录入3篇，要是蜘蛛不爬行网站的话，文章又是怎么被百度录入的呢？有……
823
浏览
网站文章被大量抓出htm页面，htm是打不开的404死链。html才是正常的 网站日志 404 文章
是网站URL设计原因吗？访问网站日志发现搞了半天一直爬的都是死链，天天发文章也没收录。@推推蛙……
823
浏览
有懂网站日志怎么看的么？给指点一下 网站日志
咋一看还以为是谷歌蜘蛛来访问网站了，仔细一看，感觉不对。222.76.2.183这个ip地址是国内的。这些信息单独看，都知道是什么意思，但是一组合起来，就什么都看不懂了。……
821
浏览
网站日志上出现的动态链接点击后出现bug，是一种什么样的错误？ 网站日志 动态链接
<p></p><p></p>
821
浏览
大家分析网站日志都用什么工具分析呢？ 网站日志
大家分析网站日志都用什么工具分析呢？
818
浏览
百度权重蜘蛛来了只抓这种图片，不抓文章的url这是怎么回事？@推推蛙 网站日志 百度权重 文章
<p>愁死了，每次查看网站日志都发现百度蜘蛛老是抓这种图片的URL。不抓文章的URL。这到底是怎么回事啊？</p>……
817
浏览
816
浏览
815
浏览
网站日志ip后缀不停的变化，属于正常吗？ 网站日志
<p>查看我网站的日志，发现有很多IP后缀不停的变化访问，属于正常吗？</p><p></p>……
813
浏览
宝塔apache删除网站日志后，重启apache日志文件没有重新生成是什么原因？ 网站日志 宝塔
因为日志文件太大了，删除了准备重新生成，结果apache重启后日志文件没有生成，请问如何才能重新生成log日志！……
811
浏览
网站日志中显示网站异常是什么问题？ 网站异常里面全是我的内页文章 网站日志 文章
<p> 网站异常里面全是我的内页文章 但是内页文章蜘蛛一条也没抓 www.99yecw.com</p><p><br></p><p></p>&l……
809
浏览
话说抓取频率和网站日志中的蜘蛛是一个什么关系？ 网站日志
为何百度后台看到一天有200-300次抓取，然后看了下网站的日志，百度来的蜘蛛只有十几个，我还以为两者关系是对等的。……
802
浏览
是否能通过查看网站日志，外链是否有效？？？ 网站日志
是否能通过查看网站日志，外链是否有效？？？
802
浏览
网站日志显示有蜘蛛抓取，为什么百度站长平台的抓取频次那里显示为0,【网站首未收录】 网站日志 站长平台 网站提交
<p>网站提交20多天了，网站日志显示有蜘蛛抓取，为什么百度站长平台的抓取频次那里显示为0,</p>……
802
浏览
网站日志分析一般用什么工具 网站日志 日志分析
网站日志分析一般用什么工具
799
浏览
网站日志每天都有蜘蛛爬取就是不收录怎么办，上个月底才转换到国内空间 网站日志
网站日志每天都有蜘蛛爬取就是不收录怎么办，上个月底才转换到国内空间www.shiymx.com
792
浏览
网站日志分析，应该用什么工具？ 网站日志 日志分析
网站日志分析，应该用什么工具？
790
浏览
网站日志看到了很多这样的 记录会不会有影响？ 网站日志
<p></p><p>百度爬取很多的是首页，内容页爬取的很少。</p>
790
浏览
今天看了网站日志，百度蜘蛛条数才40条，要怎么增加蜘蛛的访问量？ 网站日志 百度蜘蛛
网站的百度蜘蛛量太少了，要怎么才能增加呢？http://www.snow-china.com
790
浏览
网站日志中显示有搜索引擎蜘蛛抓取，但为什么索引一直没有？ 网站日志 文章 索引
网站在百度站长工具里面没有索引是怎么回事？网站已经上线快2个月啦，怎么百度索引都没有，文章虽然不多，但是谷歌还是蛮多的，为什么百度站长工具连索引都没有呢？看网站日志还是有百度蜘蛛抓取的，这是为什么呢？……
788
浏览
网站日志显示很多404爬取怎么解决？ 网站日志 404
做了404链接提交，但是发现近期还是有很多爬到这个入口的，无疑是浪费了蜘蛛资源，怎么解决呢？……
