Robots

今天用百度站长工具测试一下robots出现问题了，大家会不会这样还是只有我这样？ Robots 站长工具 百度站长工具

<p><br></p>

robots把/images/文件屏蔽了，那么文章中上传的图片在ALT标签和title标签中添加关键词还有意义吗？图片超链接是否只起到跳转的作用了？ Robots ALT标签

网站一个栏目一直都没有被收录现在权3? Robots 静态

我是dede搭建的，都是纯静态页面，robots也没有，主要是关键词多，还有就是靠时间养的，我是仿的站，对seo角度不是很友好啊！但是内容不是采集的都是原创的。我想知道怎么提升收录？……

当百度site第一个出现首页的index该怎么解决？ Robots Site

1、有什么办法可以更好的解决？2、不解决会有什么影响？3、使用robots的方法会不会有影响？……

robots.txt屏蔽特定页面怎么写？ Robots

老哥们，我想问个问题，就是假如我网站下面有:a.com/1.html a.com/2.html ... a.com/1000.html 要屏蔽以8开头的html页面，robots.txt Disallow应该怎么写？  ……

robots.txt文件 里可以有空行吗？ Robots

 robots.txt文件 里可以有空行吗？比如：Disallow: /plus和 Disallow: /data中间隔了几行User-agent: * Disallow: /plus Disallow: /data……

关于双端站的pc站的robots写法 Robots 根目录

大佬们，我是第一次做双端的站点关于robots有个问题啊因为m端是放在了pc端的根目录下面，就意味pc的robots不禁止m目录的话 那抓取会变成主域名 +m+内容html，这样的话岂不是和镜像一个意思，百度直接会说我是作弊啊。。。咋办啊 ……

请教大侠，网站地图原因？ Robots Site Sitemap

网站地图SitemapX制作网站地图时需要上传robots文件吗？

discuz程序robots直接屏蔽掉所有动态页面怎么样？ Robots Discuz

discuz程序robots直接屏蔽掉所有动态页面怎么样？

请问这种情况该如何设置robots文件？ Robots Nofollow 5118

这个网站，比如  http://www.qiuxue88.com/pages_13/是关于我们栏目，但是还存在另外一个url多了一个问号www.qiuxue88.com/?pages_13/也就是 www.qiuxue88.com/page……

这样设置robots 有问题吗？？ Robots 404

我的robots是这样设置的，目前文章页面不抓取，不知道哪里设置有没问题，懂得人帮我看下哈 谢谢User-agent: * Disallow: /storage/ Disallow: /data/ Disallow: /so? Disall……

lumen框架开发的网站，robots主要限制哪些文件 Robots

如题，有大佬告知吗？？？

网站收录突然间被全部被百度屏蔽展现了 网站收录 Robots Site

今天检查网站时,突然发现site+域名 收录全部没有展现了，测试了一下抓取正常,robots也正常,网站基本是每天正常维护，没有使用任何违规手法，这种情况除了反馈还有没有办法解决呢？……

为什么百度快照更新了好几次就是不更新，还是原标题跟描述。兄弟们有遇到过这个问题吗？ Robots 百度快照 快照更新 百度资源平台

robots没有拦截，访问网站时确实是改了，但快照就是更新不成功，还有百度资源平台那个robots更新一直提示请求失败。……

site无数据，有索引量，被降权的现象！急 Robots Site 索引量

网站突然被降权的现象，索引量800多万，但site数据没有，包括首页数据没有，服务器一直运行正常、robots.txt文件也正常。不知道哪里出了问题。……

网站没有robots文件有什么影响 Robots

新站robots.屏蔽后为什么还是被抓取收录？ Robots

新站robots.屏蔽后为什么还是被抓取收录？

可以用robots.txt 文件禁止搜索引擎访问 上传的图片文件夹吗 ？会对网页的正常收录有影响吗？ Robots

可以用robots.txt 文件禁止搜索引擎访问 上传的图片文件夹吗 ？会对网页的正常收录有影响吗？……

meta robots标签中 NOFOLLOW是告诉搜索引擎不要跟踪本页面上的链接，对吗？ Robots Nofollow

meta robots标签中 NOFOLLOW是告诉搜索引擎不要跟踪本页面上的链接，对吗？

请教百度收录伪静态的问题！ Robots 伪静态 PHP

我的站是用php动态做的，最近改成了伪静态，请问我要怎么让百度只收录伪静态呢，我现在的robots是这样写的  大家看看这样可以吗User-agent: *Disallow:/*.php$ ……

百度站长网robots错误码：500 Robots

前几天网站变慢，更新把环境和程序装了一下，之后查看百度站长网更新robots，出现，您的服务器配置有误，百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500。是什么意思？……

新站点，二十多天不收录站点，然后没有蜘蛛访问？？ Robots 网站日志 站长平台

<p>新站点，二十多天不收录站点，然后去站长平台弄自动推送后<a href="http://www.wanjiadenhuo.com/" target="_blank" data-u……

robots.txt文件已经删除了，但是网站显示被限制抓取了怎么办？ Robots 站长工具

<p>robots.txt文已删除，什么时候搜索引擎才会再抓取我们网站，我看站长工具已经好几天没有来抓取了</p><p><b></b><i></i><……

百度很久都不收录我网站，大家帮我看看啊 Robots 熊掌ID 代码 索引

<p>以前我网站发东西都是秒收录。</p><p>上次改一个测试站的robots.txt ，想把全部搜索引擎都禁了，不小心改到主网站的了，后来发现后就修复了。</p><p>好像就是从……

之前犯了个错误，ROBOTS把图片给禁了，昨晚刚刚改回来，这样会有利于收录吗？ 推荐热议 Robots 收录率 Site

请教一下大家，我的站  猫猫狗狗趣事   。之前犯了个错误，ROBOTS把图片给禁了，SITE没法出图，收录率也不高，昨天晚上改回来了，这样收录会有改善吗。……

robots.txt协议问题？ Robots

Disallow: /adminDisallow: /images与Disallow: /admin/Disallow: /images/有区别吗？

robots更新问题，从禁止所有蜘蛛抓取，到允许蜘蛛抓取已经调整过了。快照未更新 Robots 百度收录 索引

新站长时间使用robots禁止所有蜘蛛抓取，但还是被百度收录了，快照显示，网站标题下方，提示由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述 ，，robots.txt已经更换为允许蜘蛛抓取，……

robots.txt 文件如何禁止搜索引擎访问某个子目录下某个页面之外的其他所有页面？ Robots

robots.txt 文件如何禁止搜索引擎访问某个子目录下某个页面之外的其他所有页面？

robots文件问题咨询 Robots 文章

robots文件问题咨询robots文件既然分Allow: /和Disallow: /  我的问题是我先要被抓取的很简单只有首页、栏目页、文章页，除此以外各种图片、会员、任务、等等目录都没有收录价值而且非常杂乱，禁止起来比较麻烦。那么我只书……

我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？ Robots 百度收录

我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？

请问，需要把网站.js及.css后缀写入robots么 Robots JS

比如网站路径xxx.xxx/skin/css/model.css还有xxx.xxx/skin/js/jquery-1.8.3.min.js这种路径得需要写入robots么？需要得话格式要怎么写呢？是这样写么？Disallow: /skin/……

robots.txt可以设置只抓取html文件么？ Robots PHP JS

像这样：User-agent: *Disallow: /*?*Disallow: /*.php$Disallow: /*.js$Disallow: /*.css$Disallow: /includeDisallow: /templets……

有趣的问题！网站不兼容ie在使用ie访问时提升用户升级浏览器，导致抓取出错 Robots 浏览器

<p>给首页加了判断，当用户使用ie访问时，会提示用户浏览器版本过低升级浏览器，做了这个之后百度抓取首页标题成了提示页面的标题如下</p><p><br></p><p>这……

robots协议通配符问题 Robots 百度百科

<p>关于robots协议到底能不能用通配符呢？百度百科说不能。到底能不能呢？？？</p><p><br></p><p><br></p><p……

修改robots之后多久生效? Robots

修改robots之后多久生效?

百度站长平台robots无法检测了，你们都是这样吗 Robots 站长平台

百度站长平台robots无法检测了，之前还可以正常失败，最近总是提示：请求失败，我们已记录此问题并将尽快处理，请刷新页面或稍后再试。你们也是这种情况吗，现在我有些不想被抓取的页面也收录了……

这几天很多访问404的怎么回事？ 推荐热议 Robots 404页面 404

请教下大家，最近百度一直来访问这些404的页面，都是一直在重复访问这些的，我统计了下，总共97个404页面，天天来，一天差不多访问几百次，我也多次在百度站长那提交了这些死链接过去，但是还是一直来访问，后面提交了百度反馈，让我设置robots……

robots是通过什么来阻止蜘蛛爬取网站的？ Robots

robots标记如何影响搜索引擎抓取/索引/显示网页资料呢?

网站robots文件常规怎么设置？ 推荐热议 Robots

直接允许全部吗？还是说有什么特殊目录需要限制？# robots.txt generated at https://meimeifa.com/robots/  User-agent: * Disallow: ……