1360
浏览
sogou 蜘蛛 robots.txt 400状态码，自测正常，百度抓取也正常都是200状态 Robots
<p><br></p>
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1359
浏览
1359
浏览
为什么我的robots.txt检测显示错误码：404？ Robots Site 404
<p>robots.txt不是sitemap.xml文件吗</p><p></p><p>www. molihuawang. com</p>
1356
浏览
请问这种情况该如何设置robots文件？ Robots Nofollow 5118
这个网站，比如 http://www.qiuxue88.com/pages_13/是关于我们栏目，但是还存在另外一个url多了一个问号www.qiuxue88.com/?pages_13/也就是 www.qiuxue88.com/page……
1355
浏览
1353
浏览
robots.txt 文件提交网站地图，网址里需要加 http:// 吗？ Robots
robots.txt 文件提交网站地图，网址里需要加 http:// 吗？
1350
浏览
大家帮忙解决我站爱跨境论坛robots.txt的问题 Robots
我的网站robots.txt www.ikuajing.com/robots.txt 里面禁止了/data/但是我想让搜索引擎允许收录这个图片,又要禁止搜索引擎抓取DATA其他的文件的内容，该怎么写 我的图片地址是：www.ikuajin……
1350
浏览
当百度site第一个出现首页的index该怎么解决？ Robots Site
1、有什么办法可以更好的解决？2、不解决会有什么影响？3、使用robots的方法会不会有影响？……
1350
浏览
robots.txt文件 里可以有空行吗？ Robots
robots.txt文件 里可以有空行吗？比如：Disallow: /plus和 Disallow: /data中间隔了几行User-agent: * Disallow: /plus Disallow: /data……
1347
浏览
网站用了robots.txt，禁止所有搜索引擎访问网站，之前是有效的，但今天看到site Robots Site APP
但今天看到site:app.lzdxedu.com有结果，robots.txt内容没变，出什么问题了？一下是robots.txt地址https://app.lzdxedu.com/robots.txt……
1346
浏览
这样设置robots 有问题吗？？ Robots 404
我的robots是这样设置的，目前文章页面不抓取，不知道哪里设置有没问题，懂得人帮我看下哈 谢谢User-agent: * Disallow: /storage/ Disallow: /data/ Disallow: /so? Disall……
1343
浏览
Robots问题？这样写有没有问题？【听说标题长的问题回答的人就特别的多？？】 CMS Robots JS
<p>帝国的CMS默认的Robots</p><p><br></p><p><br></p><p>但是我看了一下，网站的源码，CSS和一……
1343
浏览
meta robots标签中 NOFOLLOW是告诉搜索引擎不要跟踪本页面上的链接，对吗？ Robots Nofollow
meta robots标签中 NOFOLLOW是告诉搜索引擎不要跟踪本页面上的链接，对吗？
1343
浏览
百度的robots到底怎么了，一直说我是robots限制？ Robots 搜狗 吐槽
我从来没限制过robots文件。从4月27号开始，百度搜索结果莫名其妙就变为robots限制。 我进百度站长平台，检测robots，模拟抓取都是正常。然后把robots文件彻底清空，然后每天重新检测，模拟抓取，每天手动提交链接。期间还听从别……
1342
浏览
discuz程序robots直接屏蔽掉所有动态页面怎么样？ Robots Discuz
discuz程序robots直接屏蔽掉所有动态页面怎么样？
1338
浏览
1338
浏览
您的robots文件设置了重定向跳转，暂时无法查看 Robots 跳转
更新robots时，出现这个问题，但是我在网站上打开对应的robots，却能够打开，没毛病，检测http状态，返回的也是200，……
1337
浏览
1336
浏览
1334
浏览
请问，需要把网站.js及.css后缀写入robots么 Robots JS
比如网站路径xxx.xxx/skin/css/model.css还有xxx.xxx/skin/js/jquery-1.8.3.min.js这种路径得需要写入robots么？需要得话格式要怎么写呢？是这样写么？Disallow: /skin/……
1334
浏览
只允许抓取首页，robots.txt怎么写？ Robots
我想让百度只抓取我的首页，robots.txt怎么写？
1333
浏览
robots.txt 文件如何禁止搜索引擎访问某个子目录下某个页面之外的其他所有页面？ Robots
robots.txt 文件如何禁止搜索引擎访问某个子目录下某个页面之外的其他所有页面？
1329
浏览
提一个百度收录很理想而搜狗收录和索引均少的问题 诚心等解答 推荐热议 Robots 搜狗 文章
<p>提一个百度收录很理想而搜狗收录和索引均少的问题。</p><p>我们是企业官网，属于建材行业的陶瓷砖企业，网站名称是“玛布里瓷砖”，建设到现在超6年，一直以来所有搜索引擎的收录、索引数据都挺好看的，但……
1328
浏览
网站上线一个月，谷歌已经收录，百度、360、搜狗都不收录，什么原因？ Robots 搜狗 百度抓取诊断
网站上线一个月，一直可以正常访问，百度抓取诊断也能成功抓取，robots文件也没问题，可就是没有收录，难道是域名问题？www.deyun.online域名不行吗？……
1326
浏览
之前犯了个错误，ROBOTS把图片给禁了，昨晚刚刚改回来，这样会有利于收录吗？ 推荐热议 Robots 收录率 Site
请教一下大家，我的站 猫猫狗狗趣事 。之前犯了个错误，ROBOTS把图片给禁了，SITE没法出图，收录率也不高，昨天晚上改回来了，这样收录会有改善吗。……
1326
浏览
site无数据，有索引量，被降权的现象！急 Robots Site 索引量
网站突然被降权的现象，索引量800多万，但site数据没有，包括首页数据没有，服务器一直运行正常、robots.txt文件也正常。不知道哪里出了问题。……
1325
浏览
为什么我的网站已经加了robots.txt，还能在百度搜索出来? Robots 百度蜘蛛（baiduspider）
为什么我的网站已经加了robots.txt，还能在百度搜索出来? 这是怎么原因？
1323
浏览
今天用百度站长工具测试一下robots出现问题了，大家会不会这样还是只有我这样？ Robots 站长工具 百度站长工具
<p><br></p>
1322
浏览
网页被robots了，为什么还会被百度收录 Robots 百度收录
网页被robots了，为什么还会被百度收录
1319
浏览
需要制作xml和html两种格式的网站地图吗？xml提交到robots文件，hmtl放到网站上。 Robots
需要制作xml和html两种格式的网站地图吗？xml提交到robots文件，hmtl放到网站上。
1318
浏览
robots允许所有搜索引擎抓取，但是百度提示禁止抓取，怎么解决 Robots 百度收录
<p>网站在开发的时候robots禁止了所有搜索引擎抓取，上线后解除了禁止，但是百度收录后的摘要一直显示禁止抓取，已经持续一个多月了，各位大佬有办法解决吗？</p><p><br></p&……
1316
浏览
网站robots应该怎么写？ Robots
网站robots应该怎么写？
1316
浏览
企业站，只有几个产品介绍页，没有内容发布后台，无法发布文章，能怎么做搜索优化？ Robots Site 404 文章
公司自己开发的官网，没有内容发布后台，无法发布文章优化关键词，只有几个产品介绍页，目前网站的301、404、死链，url，TDK标签，sitemap，robots都已优化好，这种情况还能怎么做搜索优化？……
1313
浏览
1313
浏览
不带www域名 出现robots.txt文件存在限制指令 提示 Robots 301跳转 跳转
<p><br></p><p>主域名为带www域名 不带域名301跳转到带www域名，经检测查看，www域名没有robots限制，奇怪的是不带www域名提示限制后，www域名出现下降趋势，应……
1312
浏览
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？ Robots 百度收录
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？
1312
浏览
robots.txt协议问题？ Robots
Disallow: /adminDisallow: /images与Disallow: /admin/Disallow: /images/有区别吗？
