278
浏览
网站收录突然间被全部被百度屏蔽展现了 推荐热议 网站收录 Robots Site
今天检查网站时,突然发现site+域名 收录全部没有展现了，测试了一下抓取正常,robots也正常,网站基本是每天正常维护，没有使用任何违规手法，这种情况除了反馈还有没有办法解决呢？……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
268
浏览
robots这样写是否正确？搜外小伙伴麻烦指点下正确写法 Robots
搜外小伙伴帮看看robots写法对不对，屏蔽SEKA这个目录，允许其中的几个栏目页被蜘蛛抓取
3225
浏览
死链删除后处理的办法 推荐热议 Robots 404页面 站长工具 404
网站前几个月被挂了大量的bo彩页面，现在已经整理并提交了百度站长工具的死链提交里面，但是为什么已经提交并且提示已删除，蜘蛛好像还在抓取呢？现在弄得每天蜘蛛抓取1500次 有1200次是404页面，这种情况怎么处理呢？ robots也不……
79
浏览
Baiduspider抓取网站临时域名，SEO优化规范该如何做？ Robots 网站日志 网站运营 SEO优化
在日常网站运营中，观察网站日志经常看见百度蜘蛛抓取网站主机地址为“默认绑定网站主机的临时域名”，在状态301或200下返回正常解析URL链接！问题：多数状态301的抓取下，是否引起搜索引擎蜘蛛的信赖感;应该用什么样的方式避免这种问题，rob……
36
浏览
网站之前上传了robots 百度站长平台也可以检测到但是网站关停了一段时间之后 Robots 站长平台
在解析到之前的服务器上，在检测都显示“服务器配置错误 403” 这个是什么情况
40
浏览
搜狗的蜘蛛怎么引，robots都已经全部可以爬的，怎么搜狗的排名一个都没有的？ Robots 搜狗
搜狗的蜘蛛怎么引，robots都已经全部可以爬的，怎么搜狗的排名一个都没有的？
33
浏览
robots修改后，百度要多久后更新？ Robots
更新robots.txt 添加了新的禁止抓取目录，百度要多久更新？已经更新robots三周了，之前抓取的动态地址还是没有禁止。……
91
浏览
真假蜘蛛怎么分辨，查询到百度老抓取一些不存在的文本路径怎么处理？ Robots 真假蜘蛛
robots文本都已经屏蔽掉这些路径了，为什么还是不断的有在爬，主要还是有478条数据！
533
浏览
72
浏览
robots文本如何屏蔽带?结尾的链接，怎么编写？ Robots
robots文本如何屏蔽带?结尾的链接，怎么编写？
73
浏览
网站更换备案，期间用robots屏蔽蜘蛛可以吗？ Robots 备案
网站更换备案，期间用robots屏蔽蜘蛛可以吗？
80
浏览
搜狗的蜘蛛怎么引，robots都已经全部可以爬的，怎么搜狗的排名一个都没有的？ Robots 搜狗 排名
搜狗的指数那么大，怎么就没有排名呢？
85
浏览
百度最近是不是又抽风了？？？ Robots
百度最近是不是又抽风了？？？robots 检测失败 索引多天都不更新
38
浏览
关于robots代码问题 Robots 代码
想要禁止蜘蛛抓取/user下的所有页面 不知道这样写是否正确呢但是提交给百度总是提示请求失败……
62
浏览
123
浏览
145
浏览
121
浏览
不是自己的网站发布文章被收录了，这个需要如何的禁止收录呢？ Robots Nofollow 文章
在网上看了很多回答。url+Nofollow和 修改robots.txt。后者是需要自己网站才能这样修改吧？前者怎么做呢？新人不是很明白……
129
浏览
关于robots的写法，对先后顺序有没有要求，如图 Robots 百度蜘蛛
如只允许百度蜘蛛，禁止其他一切蜘蛛，这两种写法哪种是正确的呢？1、先允许后禁止2、先禁止后允许这两个哪种写法是正确的呢？还是都一样呢？……
155
浏览
新站上线之前需要做哪些优化？ Robots 404页面 404 SEO优化
总结一下：目前做的优化 一、 网站地图添加二、robots 添加，三、404页面设置四、三大标签已设置五、百度站长提交【百度统计没装】问： 还需要做哪些优化呢，站点：成都seo优化：www.tusijm.cn……
151
浏览
网站用robots屏蔽了所有蜘蛛，但是还是没变化 Robots
User-agent: *Disallow: /这个应该没错啊
87
浏览
DZ论坛屏蔽动态链接可以吗？ Robots PHP 文章 静态
我的网站一个文章收录了俩。。一个是动态的，一个是伪静态。可以把动态链接用robots屏蔽吗？具体应该是 Disallow: / /forum.php?mod=viewthread&tid=* 这样可以把？这是动态的，我设置伪静……
121
浏览
怎么回事啊？网站老域名重新改版后1个月只收录首页（百度、360都不收录） Robots 老域名 文章
9月份的时候打算建立一个网站，看了看手里的域名，有一个15年的老域名，因为网站主题和域名相匹配就拿过来用了。9月5号网站重新改版上线了，网站服务器放在linode日本服务器，网站地图、robots.txt、关键词、导航之类都已经建立完善。每……
101
浏览
为什么robots中设置了禁止百度收录我网站的内容，为何还出现 Robots 百度收录
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？
998
浏览
百度站长抓取诊断robots是能抓取的，但是robois检测工具500是为什么？ 推荐热议 Robots WordPress
这是什么鬼，明明能打开，百度也能抓取到，是wordpress站点
75
浏览
百度收录出现几千个首页，这样写robots可以吗？ Robots 百度收录
Disallow:http://www.szmaguan.com/?*这样写robots可以吗？
1526
浏览
这个站炸了，百度抓取的全是404，是不是和被人刷流量有关 推荐热议 Robots 刷流量 404
这个站炸了，百度抓取的全是404，是不是和被人刷流量有关 www.chayeyangsheng.com我需不需要robots禁止一下 禁止了也不一定管用吧……
72
浏览
新网站被收录以后，设置robots禁止抓取，对以后有没有影响 网站收录 Robots
新网站被收录以后，因为一些原因，网站不想公开，于是设置robots禁止抓取，现在网站可以公开了，把robots改成可以抓取后，网站收录会不会有影响……
90
浏览
各位我这样设置robots应该没有错的吧？ Robots
星号就是垃圾符号。。
443
浏览
网站被篡改后，批量生成了很多首页快债 Robots 动态链接
网站前段时间被挂链接了，篡改页面了，持续了几天才完全清除，但是首页生成了很多动态链接 类似https://XXX.cn/?id=rqswv，robots也屏蔽了动态链接，内页也更正了，但就是这些首页动态的快照一直删除不掉有没有小伙伴有心得可……
73
浏览
sitemap.xml抓取失败，怎么解决，求帮助 Robots Site DNS
其他的一切正常，robots 也没做什么限制，抓取测试pc和手机都是正常的，但是一直就这个网站的sitemap.xml抓取失败，dns解析ip那里是我以前一个服务器，这个很早就没有用这ip了，这个情况有很久了 这个需要怎么解决呢 ……
112
浏览
百度站长后台验证robots 显示错误500怎么回事？ Robots
百度站长后台验证robots 显示错误500，多点几次 检测并更新也不行，我网站可以打开，这是怎么回事额？请问要怎么解决？……
93
浏览
现在搜索引擎都不去抓爬robots.txt了吗 Robots 网站日志 搜狗
访问了四个网站几天的网站日志，但都没发现百度、360、搜狗这些搜索引擎有爬取robots.txt的痕迹，现在都不抓爬了？……
428
浏览
买的老域名已收录2W多页面，怎么提交死链？ Robots Site 老域名
买的老域名已收录2W多页面，怎么提交死链？收录的都是动态URL，百度站长后台也不提供通配符提交。百度 site:采集也只能采集到700多条链接，后面的就不是展现。robots文件也屏蔽了，百度不管，还是去抓取……
163
浏览
网站百度快照抓取不到CSS样式，怎么修改？ Robots 百度快照
robots文件也没有限制抓取，但是抓取不到CSS样式，是百度的问题还是网站的问题
