953
浏览
robots屏蔽目录抓取，这样写是否正确？ Robots 根目录 索引
我不想让搜索引擎抓取收录网站根目录下english和admin文件夹里面的所有页面，robots.txt的文件这样写对不对？请高手指点一下User-agent: *Disallow: /english/Disallow: /admin/……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
952
浏览
网站优化时是不是robots.txt必须存在？还是没有这个要求？看了很多网站都存在。 Robots 网站优化
网站优化时是不是robots.txt必须存在？还是没有这个要求？看了很多网站都存在。
952
浏览
我想问一下robots这样设置对吗 Robots Site Sitemap 404
Disallow:/index.html Disallow: /404.html Disallow: /newOffical/joinus Disallow: /sitemap/
951
浏览
robots.txt文件写法规则是怎么的？ Robots
robots.txt文件写法规则是怎么的？其中写了Disallow:/*_gaoqi/意思是Disallow:/123_gaoqi/Disallow:/eee_gaoqi/Disallow:/9e9_gaoqi/这种类型的都拒绝蜘蛛抓取吗？……
948
浏览
网站改版期间把robots.txt关闭，会不会影响网站复通之后的抓取？ Robots 网站改版
网站改版期间把robots.txt设置为：User-agent: * Disallow: /时间久了，百度会不会产生一种习惯？即使网站复通了，它也不来抓取？……
946
浏览
robots.txt我这么写错了吗？为什么网站2个月了只收录了首页？ Robots Site PHP 404
User-agent: * Disallow: /data/Disallow: /dede/Disallow: /images/Disallow: /include/Disallow: /plus/Disallow: /special/Di……
944
浏览
有个网站一直不收录，同时期做的其他网站早收录了 Robots 网站标题
www.syyuga.com抓取诊断，robots确定都没问题，同样的服务器，模板后台都差不多，都是新域名，其他网站都收录了，就这个网站，3个月了一直不收录，不知道什么问题。网站标题：YUGA优伽瑜伽--沈阳瑜伽教练培训|沈阳孕妇瑜伽|沈阳……
944
浏览
网站上线两个月多几天，百度只收录了首页，然后百度蜘蛛每天只来怕各种js库和robots，为什么不深入 Robots JS
网站上线两个月多几天，百度只收录了首页，然后百度蜘蛛每天只来爬各种js库和robots就走，为什么不深入爬取呢？……
944
浏览
织梦做的独立m移动站,根目录下的robots屏蔽m二级目录会不会影响移动站 Robots 根目录
织梦做的独立m移动站,网站根目录下的robots中屏蔽掉/m二级目录，会不会影响移动站
944
浏览
网站索引量持续下降，怎么分析原因？ Robots Site 404 排名
<p>当我们提到索引量时，尽量以百度搜索资源平台的索引量为准，而不是百度上直接“site”，site不太准确。<br></p><p>当遇到网站索引量连续多天下降的情况（如下图），该如何分析原因……
942
浏览
网站因为是支持后台的网站，怎么让蜘蛛不要抓取？ Robots
网站www.zyxgjt。Com，是作为其他功能支撑的网站，所以不想让蜘蛛抓取，但是在服务器里写了robots，会跳到其他的内容上，和写的robots文件内容不同，返回服务器里又没有相对的文件。想问一下除了robots还有什么办法能让蜘蛛不……
942
浏览
941
浏览
不是自己的网站发布文章被收录了，这个需要如何的禁止收录呢？ Robots Nofollow 文章
在网上看了很多回答。url+Nofollow和 修改robots.txt。后者是需要自己网站才能这样修改吧？前者怎么做呢？新人不是很明白……
941
浏览
robots修改后，百度要多久后更新？ Robots
更新robots.txt 添加了新的禁止抓取目录，百度要多久更新？已经更新robots三周了，之前抓取的动态地址还是没有禁止。……
939
浏览
将网站地图写入robots文件中有什么好处？一定要写入吗？ Robots
最近遇到一个纠结的问题，网站地图一定要写入robots文件吗，写入是不是要好一些。
938
浏览
如果网站有大量的同内容不同标题的页面，应该怎么处理，网站收录了26w的内容，但是只有1万2左右的索引 网站收录 Robots 索引
如果网站有大量的同内容不同标题的页面，应该怎么处理，网站收录了26w的内容，但是只有1万2左右的索引，并且存在部分标题相同链接不同的问题。这种是删除呢？还是用robots屏蔽掉www.zyktservice.com。麻烦大神们给出出主意……
937
浏览
搜狗的蜘蛛怎么引，robots都已经全部可以爬的，怎么搜狗的排名一个都没有的？ Robots 搜狗 排名
<p>搜狗的指数那么大，怎么就没有排名呢？</p><p><br></p>
936
浏览
935
浏览
怎么设置通过 robots.txt 允许、禁止搜索引擎收录方法？？ Robots 索引
我这个网站的robots文件，这样写会对吗？网站：https://www.icarexm.com/
933
浏览
新网站上线后，首页被收录，但是提示robots不对 Robots
<p></p>
932
浏览
robots.txt禁一些不存在的文件夹对seo有影响吗 Robots
因为用的织梦，所有系统文件名已经改了，但在robots里要禁这些文件夹，我怕被人一个一个摸出来，所以想多禁一些不存在的文件夹，对seo有影响吗……
932
浏览
以自动刷新方式更改内容页时间因子算不算作弊？ Robots 排名 文章
<p>某网站的内容页时间因子没有固定在发布日期，而是每被访问一次就自动刷新到当前时间，这样算不算作弊？还是这样有利于优化排名？</p><p><br></p><p>案例：……
932
浏览
如何屏蔽已经收录的页面 Robots
想在robots里面屏蔽 plug/comment/?id=59 plug/comment/?id=80 plug/comment/?id=81 这种类似的页面怎么写规则……
931
浏览
织梦robots怎么写？ Robots
织梦robots怎么写？是用织梦默认的那个吗还是自己写？
931
浏览
蜘蛛抓取robots.txt 为什么404 是正常的吗 Robots 404
<p>网站：www.chlbh.cn</p><p></p>
931
浏览
robots该不该屏蔽这个目录？ Robots
我的站点手机版主要使用m.tfw66.com 网站目录绑定的是M/但是我的http://www.tfw66.com/m/ 也是手机端。 这个目录是否需要robots 屏蔽掉蜘蛛的抓取？设置了是否冲突？应该如何处理？……
931
浏览
robots怎么查，大神们帮看下我的网站加robots了吗 Robots
https://chaojibao.com.cn/
930
浏览
关于百度收录存在相同收录的问题。 Robots 百度收录 ajax PHP
<p><br><br></p><p>网站存在相同的收录，这个在程序中没法用301来实现，因为有AJAX的调整用路径也是那个，如果用301可能会出问题。</p><p……
930
浏览
网站一些图片内容需要屏蔽了吗? Robots 文章
网站里一些图片内容，我不想让搜索引擎抓取，只抓取文字就可以，是不是需要屏蔽，屏蔽后我的内容还能正常显示吗？robots.txt，需要屏蔽图片吗？一篇文章如果已经有收录了，修改后还会重复收录吗？……
930
浏览
求大神分享robots.txt比较全面的文本 Robots
求求大神分享robots.txt比较全面的文本
930
浏览
929
浏览
麻烦帮忙看下robots ,写的有错误吗？ Robots
是不是因为我写错 robots 所以才不收录的www.chlbh.cn/robots.txt
928
浏览
关于robots的骚操作带来一个血的教训 Robots 百度知道
前几日发现很多国外的垃圾蜘蛛，还有bing msn等等这些蜘蛛来我网站特别的多，所以就想着把垃圾蜘蛛给屏蔽掉，User-agent：AhrefsbotDisallow: /但他娘的一时不慎，把这行复制在了robots文件的最后面，放上去后忘……
928
浏览
paper写作网站的robots文件怎么写？ Robots
在使用谷歌页面分析工具的时候显示我的paper写作网站有robots错误，我去查看文件才看到没有这个文件。想问问大家这个robots文件应该写哪些内容呢？……
927
浏览
百度蜘蛛长时间不来网站怎么处理？ Robots 引蜘蛛 百度蜘蛛
我也检查了robots.txt没有任何问题，没有屏蔽蜘蛛怎么蜘蛛完全不来网站了，长时间未来网站特别担心，是什么原因为什么蜘蛛不来访问网站，一个星期一次蜘蛛的痕迹都没有，究竟怎么回事为什么蜘蛛不来了，有什么办法可以引蜘蛛？……
926
浏览
复制淘宝、天猫的产品详情内容，如何能更好的被收录？ Robots 淘宝 Site
像淘宝，天猫都是用robots.txt协议禁止搜索引擎抓取收录。这样的话我把淘宝天猫的产品及产品介绍详情复制出来，放到自己网站上。测试过是收录的，就是收录量太少，我用的Wordpress程序做网站，而且基本的seo也会去做，sitemap也……
926
浏览
926
浏览
网站收录的低质量页面，通过robots屏蔽是否可以？ 网站收录 Robots 404
之前收录的低质量页面，我在robots.txt中Disallow了一下，这个页面百度会自动删除吗？ 因为很多页面带参数的，后台删掉这个内容，这个页面还是存在的，只是内容为空了，不存在404这种情况，我只是在robots.txt中Disall……
