969
浏览
捉取诊断失败，显示Robots封禁 ，可我们没有封禁百度蜘蛛，这到底是是怎么回事呀？？？？ Robots 百度蜘蛛 索引
<p>利用百度资源平台捉取诊断，显示失败，查看了抓取详情 ，显示Robots封禁 ，可我们没有封禁百度蜘蛛；而且网站地图提交也显示失败，可在别的搜索引擎是能成功提交的的，也能正常捉取，就是百度不行</p><p&……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1110
浏览
百度站长网robots错误码：500 Robots
前几天网站变慢，更新把环境和程序装了一下，之后查看百度站长网更新robots，出现，您的服务器配置有误，百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500。是什么意思？……
776
浏览
有没有大佬，站长后台发现抓取失败，检测robots显示服务器配置有误是因为什么？怎么解决 Robots
<p></p><p></p>
659
浏览
lists_2_2.html这种格式robots怎么写 Robots
lists_2_2.htmllists_2_3.htmllists_2_4.html像这样的格式怎么写屏蔽？
613
浏览
1369
浏览
wordpress短链接相关问题 Robots 伪静态 排名 静态
最近我发现网站收录了很多短链接：www.***。Com/?p=123,并且在收录的过程中也会收录www.***。Com/123.html。双收录对seo不好，所有想把这个短链接用robots文件屏蔽了，但问题是短链接很多排名都很高，比伪静态……
1889
浏览
网站突然被降权，这种情况应该怎么办？ 网站收录 Robots 移动端 索引
<p>6月12号开始发现网站百度来路在下降，但是网站我未进行过任何修改，只是每天正常更新。不知道什么原因。</p><p>中途发现网站服务器占用高，我就优化了下服务器。网站收录内收录了很多用户登录界面，我就……
960
浏览
robots语法请教！！！ Robots 动态链接
https://www.***。Com/?type=post&orderby=like想把这一类型的链接都屏蔽了，但是又不想屏蔽所有的动态链接（Disallow：/*?*），所以语法该怎么写……
605
浏览
1611
浏览
百度蜘蛛一直不断地爬取：/plugins/weshare/index.html 这个页面是什么问题 Robots APP 百度蜘蛛 公众号
百度蜘蛛一直不断地爬取：/plugins/weshare/index.html 这个页面是什么问题这个目录打开是：{"appid":"wxa6f5faf9d4f44ca","timestamp":168586068,"nonceStr":"……
1028
浏览
为什么网站安装了微一个微信分享的插件，百度就不停地访问 网站收录 Robots 百度蜘蛛
<p>为什么网站安装了一个微信自定义分享的插件</p><p>，百度就不停地访问 /plugins/weshare/index.html 这个目录</p><p>这个目录打开是：<……
820
浏览
489
浏览
1035
浏览
网站收录两个相同页面的链接，一个动态一个伪静态 Robots 排名 静态
网站收录两个相同页面的链接，一个动态一个伪静态，现在想将动态页面用robots协议屏蔽，但现在有一部分动态页面有了对应的关键词排名，这种如果禁止访问动态页面会不会影响那部分有排名的动态页面……
510
浏览
robots文件禁止抓取，解禁后多久可以恢复抓取？ Robots
robots文件禁止抓取，解禁后多久可以恢复抓取？
1141
浏览
百度站长抓取诊断问题！ Robots
<p><br>提示其他错误，然后报错了IP喝更新IP和robots 过几分钟，再次诊断，又正常了，不是一个链接这样，基本都这样！</p>……
738
浏览
谷歌搜索网站名称显示没有此网页信息，按谷歌教程说有可能被robots屏蔽？ Robots
<p>谷歌搜索网站名称显示没有此网页信息。</p><p><br>然后按谷歌教程查找原因，说有可能被robots屏蔽了，下面是我网站的robots文件截图，请教大家是不是被robots文件屏蔽了……
838
浏览
谷歌搜网站名称“没有此网页的信息”，提示我robots文件屏蔽了首页？ Robots 宝塔 宝塔面板
<p>谷歌搜网站名称“赤道365论坛”，显示“没有此网页的信息”。<br><br><br><br></p><p>网站带www和不带www的域名都进行了解析，……
2061
浏览
网站没有robots文件有没有什么影响？ Robots
网站没有robots文件有没有什么影响？
559
浏览
谷歌搜网站名称“没有此网页的信息”，提示我robots文件屏蔽了首页？ Robots 宝塔 宝塔面板
<p>谷歌搜网站名称“赤道365论坛”，显示“没有此网页的信息”。<br><br><br><br></p><p>网站带www和不带www的域名都进行了解析，……
732
浏览
https://你的域名/robots.txt 打开显示404起什么作用 有什么后果吗 Robots 404
<p><strong></strong><strong></strong>https://你的域名/robots.txt 打开显示404起什么作用 有什么后果吗<……
1159
浏览
站长提示robots文件被设置重定向跳转，对网站的抓取会有影响吗 Robots 跳转
<p></p>
824
浏览
robots屏蔽问题 Robots
问下兄弟们像下面的链接 有没有比后面这个更简单点的写法 Disallow: /author-1.html xxxxx/author-1.htmlxxxxx/author-1_1.htmlxxxxx/author-1_2.htmlxxxxx……
405
浏览
459
浏览
1007
浏览
大神帮忙看一下这个现象！！！ Robots 站长工具
<p></p><p><br></p><p>站长工具说是服务器不稳定导致，可是网站一直访问都是属于正常状态，所以跑到站长工具测试了一下抓取诊断，提示拒绝访问，可是robo……
414
浏览
546
浏览
443
浏览
399
浏览
447
浏览
435
浏览
501
浏览
robots设置，你们都是怎么设置的，需要让蜘蛛抓取哪些 Robots
robots设置，你们都是怎么设置的，需要让蜘蛛抓取哪些
