1959
浏览
网站在robots文件做了sitmap，但是网站日志识别成了404这是为什么呢 Robots
<p></p><p></p><p></p>
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
1951
浏览
请问有没有大神知道如何用Robots文件禁止百度蜘蛛抓取异常链接？ Robots 抓取异常 404
<p>是这样的一个情况，我每次提交404死链的时候，我都会发现有一个异常链接，而这个链接是跟在我的域名后面的，我不知道为什么递交了好几次404死链，删除了，要不了了解就又有了，我查询过那个域名是一个养鱼的网站，于是我被百度反馈，……
1948
浏览
急求大神帮解答，搜索关键词时候网站描述说的是robots指令了，这个怎么解决 Robots
<p><br></p>
1945
浏览
百度蜘蛛一直不断地爬取：/plugins/weshare/index.html 这个页面是什么问题 Robots APP 百度蜘蛛 公众号
百度蜘蛛一直不断地爬取：/plugins/weshare/index.html 这个页面是什么问题这个目录打开是：{"appid":"wxa6f5faf9d4f44ca","timestamp":168586068,"nonceStr":"……
1932
浏览
关于robots中，屏蔽二级域名的写法？ Robots 二级域名
关于robots中，屏蔽二级域名的写法？
1928
浏览
谷歌蜘蛛一直都在，而且访问搬家前的虚拟主机路径？（网站谷歌收录被劫持了13w多的垃圾收录怎么解决？） 云主机 Robots 谷歌收录 阿里云
<p>1.我是网站搬家，以前这个网站在阿里云虚拟主机上的，现在搬到腾讯云服务器。但现在谷歌蜘蛛还在不停的抓这个链接，每秒都有，这个链接是原来阿里云主机的网站路径，已经在robots里加了Disallow: /data/ 但他还……
1922
浏览
网站被人黑了，我改如何解决 Robots 关键词排名 网站标题 排名
我网站关键词排名首页的时候，有人修改我网站Robots文件，网站标题，关键词，描述都给我改了，我改怎么办，报警有用吗，这都已经好几次了……
1916
浏览
1915
浏览
网站抓取失败，显示“更新IP和Robots”，请问大神这是什么意思？ Robots
<p>网站这几天发布的东西一直显示流量数为零，跟之前一发就有浏览数反常，并且收录也只有几条，</p><p>今天看下抓取，结果都是抓取失败，点进去就是“更新IP和Robots”，请问下需要处理吗？</……
1902
浏览
求助：请问下站长显示：您的robots文件设置了重定向跳转,暂时无法查看。这个是怎么回事呀 Robots 跳转
www.weileit。Com 网站改版后一直不收录，友情链接也检测不到，站长提示：您的robots文件设置了重定向跳转,暂时无法查看，请问下哪里有问题呀……
1893
浏览
查看robots.txt Robots
User-agent: *Crawl-delay: 10 无论使用哪种用户代理， 都应该在两次下载请求之间给出10秒的抓取延User-agent: GooglebotDisallow: /loginDisallow: /logoutDisa……
1892
浏览
新站无蜘蛛抓取，未放出合理的首页 推荐热议 Robots 老域名 备案 404
新站建设周期一直是robots封闭着呢，现在打开后且长期更细内容、发布外链，但还是一个百度蜘蛛都不来，来的基本都是自己在百度站长平台检测模拟的蜘蛛，现状：新站是用了老的域名，新的服务器新站有采用https，且是顶级域名跳https://ww……
1891
浏览
Robots自动修改是怎么回事 推荐热议 Robots
通常我设置的是允许所有搜索引擎抓取，可是过半个月就会自动变成禁止所有搜索引擎抓取，已经自动修改2回了，这个网站我接手一个月就两会了，谁知道怎么回事，请教各位大佬了。……
1886
浏览
1878
浏览
菜鸡求助：百度蜘蛛每天来爬，但就是不收录是咋回事…… CMS Robots Site Sitemap
大神好，菜鸡俺用某cms模板做了个网站，www.sdxince.com，阿里云挂上去已经两个多月了……前期没注意优化，最近两周才开始在百度站长工具里提交链接，robots、sitemap都设置了，几乎每天坚持写原创or伪原创，每次写完都去爱……
1873
浏览
网站 robots是禁止抓取？ Robots
我以前有个站，建站期间robots禁止了所有抓取，百度还把我首页收录了。
1871
浏览
谷歌蜘蛛抓取网站搬家前的路劲？而且访问量过高？ 云主机 Robots 阿里云 虚拟主机
<p>我是网站搬家，以前这个网站在阿里云虚拟主机上的，现在搬到其他地方。但现在谷歌蜘蛛还在不停的抓这个链接，量很大，每秒都有，这个链接是原来阿里云主机的网站路径，已经在robots里加了Disallow: /data/ 但他还……
1870
浏览
robots中sitemap.xml 这个需要禁止吗？ Robots Site
就是在robots中文件中需要加上Sitemap: https://www.awind.com.cn/sitemap.xml吗？
1869
浏览
站内文章收录不稳定，请问下各位是怎么回事？求解答 Robots
公司网站http://www.tonghanglawyer.com/昨天收录71，今天再去查看是收录57，网站地图、robots文件也有上传，文章也有更新的，求救各位seo朋友帮帮忙，感激不尽……
1865
浏览
如何设置robots才利于百度蜘蛛收录？ Robots 提升排名 百度蜘蛛（baiduspider）
如何设置robots才利于百度蜘蛛不爬取错误链接，促进收录？
1864
浏览
app.lzdxedu.com的robots.txt好像出问题了？文件应该禁封了所有网页， Robots Site APP
<p>但实际site：app.lzdxedu.com有收录，怎么回事？</p><p><br></p><p><br></p><p>&l……
1860
浏览
1855
浏览
1855
浏览
如何解决Discuz 域名后面带?+乱码可以访问网站而且被百度大量收录呢 Robots 乱码 Discuz 404
<p></p><p></p><p><br></p><p>这个问题很早就发现了 也在robots.txt 做了Disallow: /*?*屏蔽 但……
1852
浏览
百度抓了网站根目录没有的文件？ 推荐热议 Robots 根目录
<p>网站土工布tugongbu369.com，最近百度一直在抓一个叫card的文件，但是根目录并没有这个文件，然后robots.txt禁止了还是在抓，隔两天来一次，一词抓取2000次左右，然后查了路径是以card/ShareL……
1851
浏览
怎么在robots.txt 文件中添加代码告诉搜索引擎Sitemap的位置？ Robots Site
怎么在robots.txt 文件中添加代码告诉搜索引擎Sitemap的位置？
1850
浏览
站长工具检测robots提示错误，检测别人的网站也是这样，你们呢？ Robots 站长工具 APP
站长工具robots检测，你们试一下，看看能不能检测？网址https://www.znbchina.cn 支农宝APP昨天还好好的，今天突然就检测不出来了……
1848
浏览
今天百度的蜘蛛是不是抽风了？抓取诊断一直是抓取失败 Robots
<p>如题，就连落地检测都提示链接失败。但是直接访问网站 http://www.jiuyao66.com 是正常的。</p><p><br></p><p><br&g……
1848
浏览
每天对网站进行诊断哪些结构？ Robots Site 排名 代码
每天要诊断网站服务器、关键词排名变化、索引量、sitemap、robots.txt、新收录链接、网站结构、友情链接、抓取频次、代码结构，老铁们，除了这些你们还诊断哪些呢……
1845
浏览
大家帮我看看百度蜘蛛抓取的目录 有很多都是ftp里没有的目录名字 Robots 搜狗
<p>大家帮我看看百度蜘蛛抓取的目录 总共抓取了119个目录 有很多都是ftp里没有的目录名字 谁知道是啥问题? 需要每个目录都设置robots吗? 搜狗抓取的就没问题 另外360的蜘蛛完全不来咋搞?</p>……
1845
浏览
1844
浏览
网站用了robots屏蔽了，现在解开了，怎么快点让百度收录啊？ Robots 百度收录
http://www.9999cyw.com 网站用了robots屏蔽了，现在解开了，但是现在一直不收录，怎么快点让百度收录啊？已经提交了。……
1840
浏览
网站robots怎么写了 Robots
<p><br></p><p>www.3sjtw.com www.aiidol.com www.nanry.com 三个网站的robots.txt都是这个问题，该怎么搞啊</p……
1840
浏览
robots文件打开是乱码 Robots 乱码
<p></p><p>打开是这样，正常吗？还是我打开的方式不对？<br></p>
1839
浏览
网站Robots：www.eshewang.com Robots
User-agent: * Disallow:是因为robots文件设置有误的原因？
1838
浏览
robots屏蔽蜘蛛，导致收录网页内容消失 推荐热议 网站收录 Robots 收录率
<p><font color="#ff0000" size="5"><b>主要问题就是网站收录基本都消失了，如何恢复？</b></font>……
1835
浏览
进来分析一下Robots文件为何检测不到？？有遇到过这情况吗？ Robots
<p><br></p>
1832
浏览
哪位大神来解答一下，，这是何解， Robots 站长工具
<p>网站打开速度很快，robots没有屏蔽蜘蛛，同一个网站360抓取正常，百度抓取失败，http状态查询，爱站返回正常，站长工具竟然是解析错误，，什么情况</p><p><br></p&……
1828
浏览
1827
浏览
我这个网站由于在做之前做了robots.txt限制抓取，现在解封了还是不能恢复过来。 Robots
我这个网站（www.vikxcx.com）由于在做之前做了robots.txt限制抓取，现在解封了还是不能恢复过来。请问大家有好的方法处理吗？……
