Robots

请问这种情况该如何设置robots文件？ Robots Nofollow 5118

这个网站，比如  http://www.qiuxue88.com/pages_13/是关于我们栏目，但是还存在另外一个url多了一个问号www.qiuxue88.com/?pages_13/也就是 www.qiuxue88.com/page……

请教大侠，网站地图原因？ Robots Site Sitemap

网站地图SitemapX制作网站地图时需要上传robots文件吗？

这样设置robots 有问题吗？？ Robots 404

我的robots是这样设置的，目前文章页面不抓取，不知道哪里设置有没问题，懂得人帮我看下哈 谢谢User-agent: * Disallow: /storage/ Disallow: /data/ Disallow: /so? Disall……

robots.txt文件 里可以有空行吗？ Robots

 robots.txt文件 里可以有空行吗？比如：Disallow: /plus和 Disallow: /data中间隔了几行User-agent: * Disallow: /plus Disallow: /data……

新站robots.屏蔽后为什么还是被抓取收录？ Robots

新站robots.屏蔽后为什么还是被抓取收录？

meta robots标签中 NOFOLLOW是告诉搜索引擎不要跟踪本页面上的链接，对吗？ Robots Nofollow

meta robots标签中 NOFOLLOW是告诉搜索引擎不要跟踪本页面上的链接，对吗？

提一个百度收录很理想而搜狗收录和索引均少的问题 诚心等解答 推荐热议 Robots 搜狗 文章

<p>提一个百度收录很理想而搜狗收录和索引均少的问题。</p><p>我们是企业官网，属于建材行业的陶瓷砖企业，网站名称是“玛布里瓷砖”，建设到现在超6年，一直以来所有搜索引擎的收录、索引数据都挺好看的，但……

网站没有robots文件有什么影响 Robots

今天用百度站长工具测试一下robots出现问题了，大家会不会这样还是只有我这样？ Robots 站长工具 百度站长工具

<p><br></p>

什么是CCbot Robots 网站日志 文章

<p>如题，很多站长在分析网站日志的时候就会发现各种各样的事情，也有很多不知名的蜘蛛陆续的到来，今天就出现了一个好久都没见过的CCbot，今天来给大家分享下</p><p>CCbot，全称为Common C……

site无数据，有索引量，被降权的现象！急 Robots Site 索引量

网站突然被降权的现象，索引量800多万，但site数据没有，包括首页数据没有，服务器一直运行正常、robots.txt文件也正常。不知道哪里出了问题。……

lumen框架开发的网站，robots主要限制哪些文件 Robots

如题，有大佬告知吗？？？

robots.txt 文件如何禁止搜索引擎访问某个子目录下某个页面之外的其他所有页面？ Robots

robots.txt 文件如何禁止搜索引擎访问某个子目录下某个页面之外的其他所有页面？

请教百度收录伪静态的问题！ Robots 伪静态 PHP

我的站是用php动态做的，最近改成了伪静态，请问我要怎么让百度只收录伪静态呢，我现在的robots是这样写的  大家看看这样可以吗User-agent: *Disallow:/*.php$ ……

新站点，二十多天不收录站点，然后没有蜘蛛访问？？ Robots 网站日志 站长平台

<p>新站点，二十多天不收录站点，然后去站长平台弄自动推送后<a href="http://www.wanjiadenhuo.com/" target="_blank" data-u……

网站收录突然间被全部被百度屏蔽展现了 网站收录 Robots Site

今天检查网站时,突然发现site+域名 收录全部没有展现了，测试了一下抓取正常,robots也正常,网站基本是每天正常维护，没有使用任何违规手法，这种情况除了反馈还有没有办法解决呢？……

之前犯了个错误，ROBOTS把图片给禁了，昨晚刚刚改回来，这样会有利于收录吗？ 推荐热议 Robots 收录率 Site

请教一下大家，我的站  猫猫狗狗趣事   。之前犯了个错误，ROBOTS把图片给禁了，SITE没法出图，收录率也不高，昨天晚上改回来了，这样收录会有改善吗。……

robots.txt文件已经删除了，但是网站显示被限制抓取了怎么办？ Robots 站长工具

<p>robots.txt文已删除，什么时候搜索引擎才会再抓取我们网站，我看站长工具已经好几天没有来抓取了</p><p><b></b><i></i><……

可以用robots.txt 文件禁止搜索引擎访问 上传的图片文件夹吗 ？会对网页的正常收录有影响吗？ Robots

可以用robots.txt 文件禁止搜索引擎访问 上传的图片文件夹吗 ？会对网页的正常收录有影响吗？……

为什么百度快照更新了好几次就是不更新，还是原标题跟描述。兄弟们有遇到过这个问题吗？ Robots 百度快照 快照更新 百度资源平台

robots没有拦截，访问网站时确实是改了，但快照就是更新不成功，还有百度资源平台那个robots更新一直提示请求失败。……

修改robots之后多久生效? Robots

修改robots之后多久生效?

robots.txt协议问题？ Robots

Disallow: /adminDisallow: /images与Disallow: /admin/Disallow: /images/有区别吗？

关于双端站的pc站的robots写法 Robots 根目录

大佬们，我是第一次做双端的站点关于robots有个问题啊因为m端是放在了pc端的根目录下面，就意味pc的robots不禁止m目录的话 那抓取会变成主域名 +m+内容html，这样的话岂不是和镜像一个意思，百度直接会说我是作弊啊。。。咋办啊 ……

请问，需要把网站.js及.css后缀写入robots么 Robots JS

比如网站路径xxx.xxx/skin/css/model.css还有xxx.xxx/skin/js/jquery-1.8.3.min.js这种路径得需要写入robots么？需要得话格式要怎么写呢？是这样写么？Disallow: /skin/……

robots.txt可以设置只抓取html文件么？ Robots PHP JS

像这样：User-agent: *Disallow: /*?*Disallow: /*.php$Disallow: /*.js$Disallow: /*.css$Disallow: /includeDisallow: /templets……

百度站长网robots错误码：500 Robots

前几天网站变慢，更新把环境和程序装了一下，之后查看百度站长网更新robots，出现，您的服务器配置有误，百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500。是什么意思？……

robots是通过什么来阻止蜘蛛爬取网站的？ Robots

robots标记如何影响搜索引擎抓取/索引/显示网页资料呢?

robots已经屏蔽了动态url，为什么蜘蛛还在抓 Robots 跳转

<p><br></p><p><br></p><p><br></p><p>首先跟技术沟通过动态url做跳转，但是忘记技术说……

为什么我的站排名词一直在掉呢 Robots 排位 排名

<p>经过我2个月的优化，前100从30多个增加到了90多个，不过不知道为啥，最近一直在掉，索引量也在掉，一天掉了一百多。而且最近收录也不行了，之前都是小时级收录，最快18分钟收录。淦。快排没做过。我个人觉得可能的原因：<……

我的网站有一个后台Robots.txt设计不被抓取的，百度还会给予权重吗 Robots

我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？ Robots 百度收录

我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？

百度很久都不收录我网站，大家帮我看看啊 Robots 熊掌ID 代码 索引

<p>以前我网站发东西都是秒收录。</p><p>上次改一个测试站的robots.txt ，想把全部搜索引擎都禁了，不小心改到主网站的了，后来发现后就修复了。</p><p>好像就是从……

robots文件问题咨询 Robots 文章

robots文件问题咨询robots文件既然分Allow: /和Disallow: /  我的问题是我先要被抓取的很简单只有首页、栏目页、文章页，除此以外各种图片、会员、任务、等等目录都没有收录价值而且非常杂乱，禁止起来比较麻烦。那么我只书……

百度蜘蛛抓取内容页怎么处理？ Robots 百度移动 站内站 移动端

搜6的几个网站，百度PC蜘蛛只抓取首页，百度移动端蜘蛛只抓取首页跟站内站，不抓取文章和产品的内容，这种情况问题出在哪里呢？？  robots也没啥问题  问题出在哪呢？    该怎么解决比较合适呢？……

网站robots应该怎么写？ Robots

网站robots应该怎么写？

wordpress网站，用的服务器，robots文件哪里修改呢 Robots WordPress

还是以前默认的robots设置，我想增加一些设置。求大佬指教，感谢了

网站robots限制蜘蛛抓取 修改后多久收录能恢复 Robots

<p>由于不小心操作，robots文件写错了，导致蜘蛛不抓取了。改正后，一般多久恢复收录？</p><p><br></p>……

关于网站robots.txt看看我这个设置的对吗 Robots

<p><br></p>

robots.txt 禁止了百度抓取指定连接没有作用，怎么处理？ Robots

<p>robots.txt 禁止了百度抓取指定连接没，但是每天还还是有大量的蜘蛛来抓取。各位大佬你们一般怎么处理的？<br></p>……

空压机行业网站只收录新闻页面不收录栏目页面 CMS Robots PHP phpcms

网站程序PHPCMS，原来页面都是动态的地址带?那种，全站作静态化 生成HTML页面后，发的新闻正常收录，栏目页面一个都没收录，已经持续3个月了。大家帮我找下原因谢谢了啊 www.whsoar.comrobots这样写的：# # robot……