665
浏览
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
664
浏览
664
浏览
移动端如何写robots文件 Robots 移动端
移动端的robots也跟pc端的一样么？
664
浏览
求助！！！问题描述如下 Robots
现有网站www.abc.com，登陆页为account.abc.com/login?_ag=1234，登陆页为动态，如何书写www.abc.com的robots文件呢？……
662
浏览
659
浏览
robots设置只抓取指定目录和首页 Robots 百度蜘蛛
虽然百度识别出了都是无效页面，但大量的抓取严重影响了服务器性能，因此通过robots设置只允许百度蜘蛛抓取指定的目录和首页，来解决这个问题。……
659
浏览
robots文本如何屏蔽带?结尾的链接，怎么编写？ Robots
<p><br></p>
653
浏览
653
浏览
robots文件屏蔽的栏目，搜索引擎还是去抓取，怎么办？ Robots 404 索引
robots.txt 写了不让爬某栏目 结果它还是去爬 还404 有啥办法啊?
653
浏览
652
浏览
网站管理后台路径要不要写进robots.txt？ Robots
网站后台路径要不要写进robots.txt？不写进去，搜索乱爬，写进去，等于公之于众。
651
浏览
Robots1处错误是什么意思？ Robots
<p></p>
650
浏览
大家帮我看看我的robots.txt有没有问题 Robots Site Sitemap
大家帮我看看我的robots.txt有没有问题User-agent: *Disallow:Sitemap: https://www.sclmbh.com/sitemaps.txtUser-agent: MJ12botDisallow: /……
650
浏览
647
浏览
百度蜘蛛无法对网站正常索引爬行? Robots 百度蜘蛛 索引
百度蜘蛛无法对网站正常索引爬行，抓取诊断显示“未解析到IP或有Robots封禁 ”我的网站屏蔽蜘蛛三天之后又重新开启了，但是百度蜘蛛都不来网站爬行，后台使用抓取诊断显示“未解析到IP或有Robots封禁 ”，robots文件检测也没有问题，……
646
浏览
robots文件怎么弄？ Robots 404
服务器里没有robots文件，但蜘蛛经常抓取，导致显示404。没有robots文件可不可以，如果不可以的话，应该怎么设置。……
645
浏览
请教一个社交站点SEO优化及url设置问题 Robots 同IP SEO优化 索引
主站商城A，在做个网站B，B仅做目录页面，将目录页中的产品链接到相应A中的产品页面。社交网站中一个账号只能一个域名，现在注册10个不同的域名，分别做301，这样社交中的链接点击后先到B，客户再点击产品后导到主站A。如果A和B放在同一服务器下……
645
浏览
网站首页总间隔一段时间就收录消失，是什么情况？ Robots 友情链接 排名
站首页收录总是隔段时间就消失一回，并没有做改动，也符合搜索算法内容,robots.txt检查没问题，服务器稳定，全站排名稳定，友情链接没问题，只有首页隔段时间就不收录了。。请问，这样是什么原因呢？……
645
浏览
关于网站分页链接的处理，大家一般是怎么解决？ Robots
比如网站域名/page/2 分页我觉得无意义,那么我用robots屏蔽带page的页面,那么我之前的收录的page对网站有什么影响,而且这些页面是不能删除的,只是以后更新的page页面不在抓取.请各位大神指教!……
641
浏览
正常网站用百度资源Robots监测提示404怎么办？ Robots 404
<p>网站访问没问题，而且用百度资源“抓取诊断”也正常。</p><p>但是，百度资源“Robots”监测提示：您的服务器配置有误，百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常……
640
浏览
robots.txt文件怎么写比较好，请大神分享一下 Robots
robots.txt文件怎么写比较好，请大神分享一下，http://www.puai999.com/
640
浏览
640
浏览
频繁更改robots，会导致降权吗？ Robots
如果一个月调整了两次robots文件，会有什么影响？
640
浏览
robots阻止抓取死链有效吗 Robots 百度蜘蛛
死链目录放到robots里面了 为什么还有百度蜘蛛来爬
639
浏览
百度蜘蛛抓取服务器连接超时是几个意思？ Robots 二级域名 同服务器 404
蜘蛛爬取日志全部是404，就连robots文件都是404，请问是什么原因另外，我的站有除了www，还有另外一个二级域名，这两个二级域名都在不同服务器上，我的在这两个域名下我都设置了robos文件，就是说我有两个robots，这样是否可以？……
639
浏览
到底哪些是不想被抓取的页面，都有哪些呢？ Robots 索引
robots屏蔽问题我一直不解，可能是因为我不会设置robots.txt文件的原因。其他人都说可以用robots去屏蔽不想被搜索引擎抓取的页面，但我很迷糊，到底哪些是不想被抓取的页面，都有哪些呢？求告知，我也希望自己能够提升这块的操作能力。……
639
浏览
robots设置，你们都是怎么设置的，需要让蜘蛛抓取哪些 Robots
robots设置，你们都是怎么设置的，需要让蜘蛛抓取哪些
633
浏览
网站地图的txt格式放robots里有用吗？ Robots
网站地图的txt格式放robots里有用吗？
633
浏览
633
浏览
633
浏览
网站参数空白页面总是被蜘蛛抓取怎么办 Robots PHP
<p>网站参数空白页面总是被蜘蛛抓取，也写了robots了，但还是有蜘蛛挺多抓取这些空白参数页面（返回码200）好像当成了首页（也可能是假蜘蛛），怎么解决？</p><p>/index.php?m=Home……
633
浏览
404需要在robots文件中屏蔽吗？ Robots 404
看了下网站日志，百度老去抓取404页面，需要在robots文件里面屏蔽吗？今天流量直接无征兆滑铁卢了，救命……
631
浏览
百度站长工具的Robots不能用了吗 Robots 站长工具
百度站长工具的Robots不能用了吗？显示“请求失败，我们已记录此问题并将尽快处理，请刷新页面或稍后再试。”……
630
浏览
关于nofollow问题 Robots Nofollow 索引
部分网页已经添加了nofollow，而且robots协议里面也禁了，但是搜索引擎还是不停的抓取，有的甚至还收录了，应当如何处理？……
630
浏览
630
浏览
不写robots.txt文件有什么影响？ Robots
不写robots.txt文件有什么影响？
625
浏览
我在robots.txt中设置了禁止百度收录我网站的内容 Robots 百度收录
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？
