1277
浏览
大家帮忙解决我站爱跨境论坛robots.txt的问题 Robots
我的网站robots.txt www.ikuajing.com/robots.txt 里面禁止了/data/但是我想让搜索引擎允许收录这个图片,又要禁止搜索引擎抓取DATA其他的文件的内容，该怎么写 我的图片地址是：www.ikuajin……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1277
浏览
你们的robots文件都是自己写的吗？大神能给介绍一下吗 Robots
<p><br></p>
1274
浏览
robots.txt文件已经删除了，但是网站显示被限制抓取了怎么办？ Robots 站长工具
<p>robots.txt文已删除，什么时候搜索引擎才会再抓取我们网站，我看站长工具已经好几天没有来抓取了</p><p><b></b><i></i><……
1271
浏览
seo|网站怎么做收录 Robots Site JS 404
搜索引擎不收录网站的原因有很多。专业的搜索引擎优化人员会知道，网站的收录率直接反映一个网站的健康状况，是网站优化中非常重要的优化指标。网站不收录，这意味着你的网站没有机会展示更多的客户，当然，它也不能为广大网民提供有价值的内容。那么se……
1270
浏览
robots通配符问题 推荐热议 Robots 网站被挂马 PHP
因网站被挂马，BD抓取了一大批恶意页面，恶意页面链接地址如下：www.xxx.com/snews.php/snews.php?9VQmi=282451www.xxx.com/snews.php/snews.php?F7NEL=355704w……
1268
浏览
站长工具具有robots 文件测试功能吗？ Robots 站长工具
站长工具具有robots 文件测试功能吗？
1266
浏览
关于网站robots.txt看看我这个设置的对吗 Robots
<p><br></p>
1266
浏览
我的网站robots.txt有问题吗？ Robots Site APP PHP
# # robots.txt for Discuz! X3 # User-agent: * Disallow: /api/ Disallow: /data/ Disallow: /source/ Disallow: /install/ D……
1266
浏览
网站robots限制蜘蛛抓取 修改后多久收录能恢复 Robots
<p>由于不小心操作，robots文件写错了，导致蜘蛛不抓取了。改正后，一般多久恢复收录？</p><p><br></p>……
1266
浏览
robots 文件中的Sitemaps 位置是告诉搜索引擎 xml网站地图在哪里，对吗？ Robots Site
robots 文件中的Sitemaps 位置是告诉搜索引擎 xml网站地图在哪里，对吗？
1264
浏览
网站robots应该怎么写？ Robots
网站robots应该怎么写？
1263
浏览
新站robots.屏蔽后为什么还是被抓取收录？ Robots
新站robots.屏蔽后为什么还是被抓取收录？
1261
浏览
网站收录突然间被全部被百度屏蔽展现了 网站收录 Robots Site
今天检查网站时,突然发现site+域名 收录全部没有展现了，测试了一下抓取正常,robots也正常,网站基本是每天正常维护，没有使用任何违规手法，这种情况除了反馈还有没有办法解决呢？……
1259
浏览
新站点，二十多天不收录站点，然后没有蜘蛛访问？？ Robots 网站日志 站长平台
<p>新站点，二十多天不收录站点，然后去站长平台弄自动推送后<a href="http://www.wanjiadenhuo.com/" target="_blank" data-u……
1258
浏览
robots是通过什么来阻止蜘蛛爬取网站的？ Robots
robots标记如何影响搜索引擎抓取/索引/显示网页资料呢?
1258
浏览
百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：403 Robots
通过百度资源管理平台查看robots文件的时候，提示百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：403,这是什么原因，要咋解决啊？……
1257
浏览
robots屏蔽网站，解除屏蔽后仍然不抓取网址？ Robots
robots屏蔽网站，解除屏蔽后仍然不抓取网址？
1250
浏览
robots需要禁止后台目录吗？ Robots
有没有这个必要呢？
1249
浏览
请教百度收录伪静态的问题！ Robots 伪静态 PHP
我的站是用php动态做的，最近改成了伪静态，请问我要怎么让百度只收录伪静态呢，我现在的robots是这样写的 大家看看这样可以吗User-agent: *Disallow:/*.php$ ……
1247
浏览
修改robots之后多久生效? Robots
修改robots之后多久生效?
1246
浏览
wordpress网站，用的服务器，robots文件哪里修改呢 Robots WordPress
还是以前默认的robots设置，我想增加一些设置。求大佬指教，感谢了
1245
浏览
robots禁止抓取整个变量的Disallow: /202/*/*/，还是把每个变量单独罗列出来？ Robots
Disallow: /202/*/*/第一个*是变量；第二个*也是变量，我的目的第二个*下不管怎么变都不被抓，但第一个*不影响。这样写可以吗?还是需要把每个变量项目单独列出来，像下面这样写？Disallow: /202/*/l*/Disal……
1243
浏览
可以用robots.txt 文件禁止搜索引擎访问 上传的图片文件夹吗 ？会对网页的正常收录有影响吗？ Robots
可以用robots.txt 文件禁止搜索引擎访问 上传的图片文件夹吗 ？会对网页的正常收录有影响吗？……
1243
浏览
网站被篡改后，批量生成了很多首页快债 Robots 动态链接
<p>网站前段时间被挂链接了，篡改页面了，持续了几天才完全清除，但是首页生成了很多动态链接 </p><p>类似<a href="https://XXX.cn/?id=rqswv"……
1241
浏览
robots解除禁止抓取后的生效时间有多长? Robots
robots解除禁止抓取后的生效时间有多长?
1237
浏览
空压机行业网站只收录新闻页面不收录栏目页面 CMS Robots PHP phpcms
网站程序PHPCMS，原来页面都是动态的地址带?那种，全站作静态化 生成HTML页面后，发的新闻正常收录，栏目页面一个都没收录，已经持续3个月了。大家帮我找下原因谢谢了啊 www.whsoar.comrobots这样写的：# # robot……
1237
浏览
网站收录了，但显示robots屏蔽，怎么解决？ 网站收录 Robots 索引
新站刚上线时用robots.txt屏蔽了所有搜索引擎，大概一周后就取消频闭了，结果20天的时候收录了，显示robots屏蔽搜索引擎的，到现在快1个月了，还是说屏蔽，每天都有更新，也有提交链接，这个就是不更新过来，要怎么解决呀？……
1236
浏览
robots.txt文件不存在文件错误是什么情况？ Robots
这种情况如何处理？robots.txt文件不存在文件错误！
1236
浏览
站内站一般多久开始收录？有做过的来说一说吗？ Robots Site 站内站 Sitemap
目前已经过了大约1个礼拜多了，早上看了一下蜘蛛，谷歌蜘蛛正常爬取，百度一只都没有~首页上有增加站内站的入口，robots上也增加了站内站的sitemap一般多久能正常爬取？……
1235
浏览
1232
浏览
您的robots文件设置了重定向跳转，暂时无法查看 Robots 跳转
更新robots时，出现这个问题，但是我在网站上打开对应的robots，却能够打开，没毛病，检测http状态，返回的也是200，……
1231
浏览
robots如何禁止收录带有特定字符的链接？ Robots
robots如何禁止收录带有特定字符的链接？
1228
浏览
百度蜘蛛抓取服务器连接超时是几个意思？ Robots 404 百度蜘蛛
蜘蛛爬取日志全部是404，就连robots文件都是404，请问是什么原因
1226
浏览
哪位大佬帮我看看 我这个网站的robots该如何设置？ Robots
哪位大佬帮我看看 我这个网站的robots该如何设置？ https://www.bbnep.cn/
1225
浏览
求大神指导！！新站不收录相关问题 Robots Site 跳转 文章
<p>基本情况：公司官网改版，旧域名没用（之前也没seo优化过，只在百度收录了首页），转用了新域名，年龄3个月，基本每天更新一篇文章，但是到现在一直都没有被百度收录首页，看百度后台数据，只有链接提交有数据，抓取、索引等这些都是0……
1224
浏览
离职的员工给robots加了这代码 Robots 增加收录 代码
<p><br></p><p>他说能增加收录，是真的吗</p>
1221
浏览
最新网站降权，robots.txt也抓取不了 Robots h2 阿里云
最新网站降权，robots.txt也抓取不了，用百度云的服务器就是抓取不了，但是用阿里云的却可以，我线上给百度站长提供了解决需求也不解决。下面是我的反馈案例：你好，我的robots 线上可以正常访问的，地址：http://www.1stdy……
1220
浏览
不带www域名 出现robots.txt文件存在限制指令 提示 Robots 301跳转 跳转
<p><br></p><p>主域名为带www域名 不带域名301跳转到带www域名，经检测查看，www域名没有robots限制，奇怪的是不带www域名提示限制后，www域名出现下降趋势，应……
1220
浏览
网站没搭建好就被收录了 有什么影响 Robots Site
我网站开始做的时候直接上了robots禁止抓取，经过了几天算是正式做好提交上线了，提交站长后顺手site查看了一下，没想到首页已经被收录了，点击快照一看，是网站刚安装好的初始界面，内容关键词都是默认的时候在我上robots之前的空档秒收录了……
