Robots

网站登录页面链接用不用做robots？ Robots 网站日志 排名

<p>今天看了下网站的流量，发现大部分的流量都是用户登录所致，那么请问这种不做排名的登录页面用不用做robots?我看了网站日志没有发现爬虫抓取这个登录页面的记录，但是用百度抓取诊断这个链接也能抓通。</p><……

网站流量和权重都在上升，为什么就是没有百度快照 Robots Site 排位 排名

已经是2年多的老网站了，之前做过一段时间的快排，快排停了过后，流量一直下降，优化了关键词后流量上来了，关键词有了排名，权重也到2了，但是快照就是没有，而且是几个月都没有，我的网站是http:www.dongfe.com，各位路过的大佬，帮小……

robots文件问题咨询 Robots 文章

robots文件问题咨询robots文件既然分Allow: /和Disallow: /  我的问题是我先要被抓取的很简单只有首页、栏目页、文章页，除此以外各种图片、会员、任务、等等目录都没有收录价值而且非常杂乱，禁止起来比较麻烦。那么我只书……

为什么我的站排名词一直在掉呢 Robots 排位 排名

<p>经过我2个月的优化，前100从30多个增加到了90多个，不过不知道为啥，最近一直在掉，索引量也在掉，一天掉了一百多。而且最近收录也不行了，之前都是小时级收录，最快18分钟收录。淦。快排没做过。我个人觉得可能的原因：<……

robots.txt文件已经删除了，但是网站显示被限制抓取了怎么办？ Robots 站长工具

<p>robots.txt文已删除，什么时候搜索引擎才会再抓取我们网站，我看站长工具已经好几天没有来抓取了</p><p><b></b><i></i><……

文章分页链接需要让搜索引擎抓取吗？会不会分散网站权重？ Robots

文章分页链接需要让搜索引擎抓取吗？这样会不会分散网站权重？如果不需要让搜索引擎蜘蛛抓取，那么是不是需要通过robots协议来屏蔽搜索引擎蜘蛛抓取？……

网站地图sitemap有用吗，怎么不见蜘蛛来抓取 网站收录 Robots Site Sitemap

网站写了robots.txt，但是怎么不网站收录呢。

网站被篡改后，批量生成了很多首页快债 Robots 动态链接

<p>网站前段时间被挂链接了，篡改页面了，持续了几天才完全清除，但是首页生成了很多动态链接 </p><p>类似<a href="https://XXX.cn/?id=rqswv"……

seo|网站怎么做收录 Robots Site JS 404

　　搜索引擎不收录网站的原因有很多。专业的搜索引擎优化人员会知道，网站的收录率直接反映一个网站的健康状况，是网站优化中非常重要的优化指标。网站不收录，这意味着你的网站没有机会展示更多的客户，当然，它也不能为广大网民提供有价值的内容。那么se……

站长工具具有robots 文件测试功能吗？ Robots 站长工具

站长工具具有robots 文件测试功能吗？

robots.txt可以设置只抓取html文件么？ Robots PHP JS

像这样：User-agent: *Disallow: /*?*Disallow: /*.php$Disallow: /*.js$Disallow: /*.css$Disallow: /includeDisallow: /templets……

robots通配符问题 推荐热议 Robots 网站被挂马 PHP

因网站被挂马，BD抓取了一大批恶意页面，恶意页面链接地址如下：www.xxx.com/snews.php/snews.php?9VQmi=282451www.xxx.com/snews.php/snews.php?F7NEL=355704w……

关于网站robots.txt看看我这个设置的对吗 Robots

<p><br></p>

网站robots限制蜘蛛抓取 修改后多久收录能恢复 Robots

<p>由于不小心操作，robots文件写错了，导致蜘蛛不抓取了。改正后，一般多久恢复收录？</p><p><br></p>……

我的网站robots.txt有问题吗？ Robots Site APP PHP

# # robots.txt for Discuz! X3 # User-agent: * Disallow: /api/ Disallow: /data/ Disallow: /source/ Disallow: /install/ D……

你们的robots文件都是自己写的吗？大神能给介绍一下吗 Robots

<p><br></p>

新站robots.屏蔽后为什么还是被抓取收录？ Robots

新站robots.屏蔽后为什么还是被抓取收录？

网站收录突然间被全部被百度屏蔽展现了 网站收录 Robots Site

今天检查网站时,突然发现site+域名 收录全部没有展现了，测试了一下抓取正常,robots也正常,网站基本是每天正常维护，没有使用任何违规手法，这种情况除了反馈还有没有办法解决呢？……

请教百度收录伪静态的问题！ Robots 伪静态 PHP

我的站是用php动态做的，最近改成了伪静态，请问我要怎么让百度只收录伪静态呢，我现在的robots是这样写的  大家看看这样可以吗User-agent: *Disallow:/*.php$ ……

新站点，二十多天不收录站点，然后没有蜘蛛访问？？ Robots 网站日志 站长平台

<p>新站点，二十多天不收录站点，然后去站长平台弄自动推送后<a href="http://www.wanjiadenhuo.com/" target="_blank" data-u……

robots 文件中的Sitemaps 位置是告诉搜索引擎 xml网站地图在哪里，对吗？ Robots Site

robots 文件中的Sitemaps 位置是告诉搜索引擎  xml网站地图在哪里，对吗？

wordpress网站，用的服务器，robots文件哪里修改呢 Robots WordPress

还是以前默认的robots设置，我想增加一些设置。求大佬指教，感谢了

网站没有robots文件有什么影响 Robots

站长提示robots文件被设置重定向跳转，对网站的抓取会有影响吗 Robots 跳转

<p></p>

robots是通过什么来阻止蜘蛛爬取网站的？ Robots

robots标记如何影响搜索引擎抓取/索引/显示网页资料呢?

百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：403 Robots

通过百度资源管理平台查看robots文件的时候，提示百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：403,这是什么原因，要咋解决啊？……

robots解除禁止抓取后的生效时间有多长? Robots

robots解除禁止抓取后的生效时间有多长?

robots需要禁止后台目录吗？ Robots

有没有这个必要呢？

robots禁止抓取整个变量的Disallow: /202/*/*/，还是把每个变量单独罗列出来？ Robots

Disallow: /202/*/*/第一个*是变量；第二个*也是变量，我的目的第二个*下不管怎么变都不被抓，但第一个*不影响。这样写可以吗?还是需要把每个变量项目单独列出来，像下面这样写？Disallow: /202/*/l*/Disal……

站内站一般多久开始收录？有做过的来说一说吗？ Robots Site 站内站 Sitemap

目前已经过了大约1个礼拜多了，早上看了一下蜘蛛，谷歌蜘蛛正常爬取，百度一只都没有~首页上有增加站内站的入口，robots上也增加了站内站的sitemap一般多久能正常爬取？……

哪位大佬帮我看看 我这个网站的robots该如何设置？ Robots

哪位大佬帮我看看 我这个网站的robots该如何设置？ https://www.bbnep.cn/

可以用robots.txt 文件禁止搜索引擎访问 上传的图片文件夹吗 ？会对网页的正常收录有影响吗？ Robots

可以用robots.txt 文件禁止搜索引擎访问 上传的图片文件夹吗 ？会对网页的正常收录有影响吗？……

修改robots之后多久生效? Robots

修改robots之后多久生效?

网站收录了，但显示robots屏蔽，怎么解决？ 网站收录 Robots 索引

新站刚上线时用robots.txt屏蔽了所有搜索引擎，大概一周后就取消频闭了，结果20天的时候收录了，显示robots屏蔽搜索引擎的，到现在快1个月了，还是说屏蔽，每天都有更新，也有提交链接，这个就是不更新过来，要怎么解决呀？……

求大神指导！！新站不收录相关问题 Robots Site 跳转 文章

<p>基本情况：公司官网改版，旧域名没用（之前也没seo优化过，只在百度收录了首页），转用了新域名，年龄3个月，基本每天更新一篇文章，但是到现在一直都没有被百度收录首页，看百度后台数据，只有链接提交有数据，抓取、索引等这些都是0……

robots如何禁止收录带有特定字符的链接？ Robots

robots如何禁止收录带有特定字符的链接？

空压机行业网站只收录新闻页面不收录栏目页面 CMS Robots PHP phpcms

网站程序PHPCMS，原来页面都是动态的地址带?那种，全站作静态化 生成HTML页面后，发的新闻正常收录，栏目页面一个都没收录，已经持续3个月了。大家帮我找下原因谢谢了啊 www.whsoar.comrobots这样写的：# # robot……

robots.txt文件不存在文件错误是什么情况？ Robots

这种情况如何处理？robots.txt文件不存在文件错误！

最新网站降权，robots.txt也抓取不了 Robots h2 阿里云

最新网站降权，robots.txt也抓取不了，用百度云的服务器就是抓取不了，但是用阿里云的却可以，我线上给百度站长提供了解决需求也不解决。下面是我的反馈案例：你好，我的robots 线上可以正常访问的，地址：http://www.1stdy……

百度蜘蛛抓取服务器连接超时是几个意思？ Robots 404 百度蜘蛛

蜘蛛爬取日志全部是404，就连robots文件都是404，请问是什么原因