1497
浏览
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
1497
浏览
网站一个栏目一直都没有被收录现在权3? Robots 静态
我是dede搭建的，都是纯静态页面，robots也没有，主要是关键词多，还有就是靠时间养的，我是仿的站，对seo角度不是很友好啊！但是内容不是采集的都是原创的。我想知道怎么提升收录？……
1497
浏览
robots.txt 禁止了百度抓取指定连接没有作用，怎么处理？ Robots
<p>robots.txt 禁止了百度抓取指定连接没，但是每天还还是有大量的蜘蛛来抓取。各位大佬你们一般怎么处理的？<br></p>……
1493
浏览
robots.txt屏蔽特定页面怎么写？ Robots
老哥们，我想问个问题，就是假如我网站下面有:a.com/1.html a.com/2.html ... a.com/1000.html 要屏蔽以8开头的html页面，robots.txt Disallow应该怎么写？ ……
1490
浏览
请教大侠，网站地图原因？ Robots Site Sitemap
网站地图SitemapX制作网站地图时需要上传robots文件吗？
1488
浏览
请问这种情况该如何设置robots文件？ Robots Nofollow 5118
这个网站，比如 http://www.qiuxue88.com/pages_13/是关于我们栏目，但是还存在另外一个url多了一个问号www.qiuxue88.com/?pages_13/也就是 www.qiuxue88.com/page……
1486
浏览
robots.txt文件 里可以有空行吗？ Robots
robots.txt文件 里可以有空行吗？比如：Disallow: /plus和 Disallow: /data中间隔了几行User-agent: * Disallow: /plus Disallow: /data……
1484
浏览
site无数据，有索引量，被降权的现象！急 Robots Site 索引量
网站突然被降权的现象，索引量800多万，但site数据没有，包括首页数据没有，服务器一直运行正常、robots.txt文件也正常。不知道哪里出了问题。……
1483
浏览
discuz程序robots直接屏蔽掉所有动态页面怎么样？ Robots Discuz
discuz程序robots直接屏蔽掉所有动态页面怎么样？
1481
浏览
1480
浏览
这样设置robots 有问题吗？？ Robots 404
我的robots是这样设置的，目前文章页面不抓取，不知道哪里设置有没问题，懂得人帮我看下哈 谢谢User-agent: * Disallow: /storage/ Disallow: /data/ Disallow: /so? Disall……
1480
浏览
新站robots.屏蔽后为什么还是被抓取收录？ Robots
新站robots.屏蔽后为什么还是被抓取收录？
1478
浏览
lumen框架开发的网站，robots主要限制哪些文件 Robots
如题，有大佬告知吗？？？
1478
浏览
为什么百度快照更新了好几次就是不更新，还是原标题跟描述。兄弟们有遇到过这个问题吗？ Robots 百度快照 快照更新 百度资源平台
robots没有拦截，访问网站时确实是改了，但快照就是更新不成功，还有百度资源平台那个robots更新一直提示请求失败。……
1475
浏览
网站收录突然间被全部被百度屏蔽展现了 网站收录 Robots Site
今天检查网站时,突然发现site+域名 收录全部没有展现了，测试了一下抓取正常,robots也正常,网站基本是每天正常维护，没有使用任何违规手法，这种情况除了反馈还有没有办法解决呢？……
1475
浏览
关于双端站的pc站的robots写法 Robots 根目录
大佬们，我是第一次做双端的站点关于robots有个问题啊因为m端是放在了pc端的根目录下面，就意味pc的robots不禁止m目录的话 那抓取会变成主域名 +m+内容html，这样的话岂不是和镜像一个意思，百度直接会说我是作弊啊。。。咋办啊 ……
1474
浏览
可以用robots.txt 文件禁止搜索引擎访问 上传的图片文件夹吗 ？会对网页的正常收录有影响吗？ Robots
可以用robots.txt 文件禁止搜索引擎访问 上传的图片文件夹吗 ？会对网页的正常收录有影响吗？……
1471
浏览
meta robots标签中 NOFOLLOW是告诉搜索引擎不要跟踪本页面上的链接，对吗？ Robots Nofollow
meta robots标签中 NOFOLLOW是告诉搜索引擎不要跟踪本页面上的链接，对吗？
1463
浏览
之前犯了个错误，ROBOTS把图片给禁了，昨晚刚刚改回来，这样会有利于收录吗？ 推荐热议 Robots 收录率 Site
请教一下大家，我的站 猫猫狗狗趣事 。之前犯了个错误，ROBOTS把图片给禁了，SITE没法出图，收录率也不高，昨天晚上改回来了，这样收录会有改善吗。……
1463
浏览
robots.txt文件已经删除了，但是网站显示被限制抓取了怎么办？ Robots 站长工具
<p>robots.txt文已删除，什么时候搜索引擎才会再抓取我们网站，我看站长工具已经好几天没有来抓取了</p><p><b></b><i></i><……
1462
浏览
robots.txt协议问题？ Robots
Disallow: /adminDisallow: /images与Disallow: /admin/Disallow: /images/有区别吗？
1462
浏览
百度站长网robots错误码：500 Robots
前几天网站变慢，更新把环境和程序装了一下，之后查看百度站长网更新robots，出现，您的服务器配置有误，百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500。是什么意思？……
1460
浏览
新站点，二十多天不收录站点，然后没有蜘蛛访问？？ Robots 网站日志 站长平台
<p>新站点，二十多天不收录站点，然后去站长平台弄自动推送后<a href="http://www.wanjiadenhuo.com/" target="_blank" data-u……
1459
浏览
百度很久都不收录我网站，大家帮我看看啊 Robots 熊掌ID 代码 索引
<p>以前我网站发东西都是秒收录。</p><p>上次改一个测试站的robots.txt ，想把全部搜索引擎都禁了，不小心改到主网站的了，后来发现后就修复了。</p><p>好像就是从……
1458
浏览
请教百度收录伪静态的问题！ Robots 伪静态 PHP
我的站是用php动态做的，最近改成了伪静态，请问我要怎么让百度只收录伪静态呢，我现在的robots是这样写的 大家看看这样可以吗User-agent: *Disallow:/*.php$ ……
1456
浏览
robots.txt 文件如何禁止搜索引擎访问某个子目录下某个页面之外的其他所有页面？ Robots
robots.txt 文件如何禁止搜索引擎访问某个子目录下某个页面之外的其他所有页面？
1452
浏览
1452
浏览
robots更新问题，从禁止所有蜘蛛抓取，到允许蜘蛛抓取已经调整过了。快照未更新 Robots 百度收录 索引
新站长时间使用robots禁止所有蜘蛛抓取，但还是被百度收录了，快照显示，网站标题下方，提示由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述 ，，robots.txt已经更换为允许蜘蛛抓取，……
1450
浏览
请问，需要把网站.js及.css后缀写入robots么 Robots JS
比如网站路径xxx.xxx/skin/css/model.css还有xxx.xxx/skin/js/jquery-1.8.3.min.js这种路径得需要写入robots么？需要得话格式要怎么写呢？是这样写么？Disallow: /skin/……
1449
浏览
robots文件问题咨询 Robots 文章
robots文件问题咨询robots文件既然分Allow: /和Disallow: / 我的问题是我先要被抓取的很简单只有首页、栏目页、文章页，除此以外各种图片、会员、任务、等等目录都没有收录价值而且非常杂乱，禁止起来比较麻烦。那么我只书……
1448
浏览
robots.txt可以设置只抓取html文件么？ Robots PHP JS
像这样：User-agent: *Disallow: /*?*Disallow: /*.php$Disallow: /*.js$Disallow: /*.css$Disallow: /includeDisallow: /templets……
1445
浏览
robots是通过什么来阻止蜘蛛爬取网站的？ Robots
robots标记如何影响搜索引擎抓取/索引/显示网页资料呢?
1444
浏览
网站robots文件常规怎么设置？ 推荐热议 Robots
直接允许全部吗？还是说有什么特殊目录需要限制？# robots.txt generated at https://meimeifa.com/robots/ User-agent: * Disallow: ……
1443
浏览
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？ Robots 百度收录
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？
1442
浏览
修改robots之后多久生效? Robots
修改robots之后多久生效?
1438
浏览
robots协议通配符问题 Robots 百度百科
<p>关于robots协议到底能不能用通配符呢？百度百科说不能。到底能不能呢？？？</p><p><br></p><p><br></p><p……
1438
浏览
空压机行业网站只收录新闻页面不收录栏目页面 CMS Robots PHP phpcms
网站程序PHPCMS，原来页面都是动态的地址带?那种，全站作静态化 生成HTML页面后，发的新闻正常收录，栏目页面一个都没收录，已经持续3个月了。大家帮我找下原因谢谢了啊 www.whsoar.comrobots这样写的：# # robot……
1437
浏览
1434
浏览
为什么我的站排名词一直在掉呢 Robots 排位 排名
<p>经过我2个月的优化，前100从30多个增加到了90多个，不过不知道为啥，最近一直在掉，索引量也在掉，一天掉了一百多。而且最近收录也不行了，之前都是小时级收录，最快18分钟收录。淦。快排没做过。我个人觉得可能的原因：<……
