1009
浏览
修改了robots.txt和地图后首页不见了，怎么回事？ Robots
前天手痒把地图和robots.txt重新弄了下载上传了，结果昨天网站首页就找不到了，怎么回事？……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1009
浏览
Robots.tet文件这样上传不知道对不对，请大神指点一二 Robots 备案
# robots.txt generated at http://tool.chinaz.com/robots/ User-agent: * Disallow: User-agent: * Disallow: Disallow: /bin……
1007
浏览
用记事本写Robots.txt文件要怎么写，大神帮帮忙 Robots 备案
不让抓取联系我们跟关于我们和备案信息
1006
浏览
首页修改标题后神马一条site页没有了 Robots Site 索引量
首页修改标题后神马一条site都没有了，神马站长后台索引量是：18，已经有一年时间了，跟她们反馈了，反馈如下：【客服中心】您好，关于您反馈的在UC搜索 “伊卡鱼钩“” 还是没有看到相关的一个搜索结果问题，测试再PC电脑端无法打开，请您查看是……
1005
浏览
Robots禁止链接.某后缀是怎么写的？？ PPT Robots APP PHP
# # robots.txt for Discuz! X3 # User-agent:* Disallow: /api/ Disallow: /data/ Disallow: /source/ Disallow: /install/ Dis……
1003
浏览
robots有问题吗？ Robots
<p><br></p>
1001
浏览
关于robots.txt的问题，大神请教一下 Robots Site Sitemap
User-agent: * Disallow: /?p=* Disallow: /?s=* Disallow: /?r=* Sitemap: http://www.xingkairui.cn/sitemap.xml其中的?p=*、?s=*、……
1001
浏览
为什么我的网站已经加了robots.txt，还能在百度搜索出来？ Robots
为什么我的网站已经加了robots.txt，还能在百度搜索出来？
1001
浏览
站长平台的抓取频次在哪里设置呢？怎么找到不到入口呢？ Robots 站长平台 Site Sitemap
<p>1. 站长平台的抓取频次在哪里设置呢？怎么找到不到入口呢？</p><p>2. 网站没有要屏蔽的东西，所以没建robots 但是建立了sitemap了，要不要将sitemap写进去robots？有必要……
1000
浏览
网站优化要学会分析细节 CMS Robots ping 404
1、诊断网站速度 诊断网站的打开速度是最基础的，因为，一个网站打开速度过慢，会直接影响网站的用户体验度，和影响网站与搜索引擎的友好度。诊断网站速度一般我们可以在自己电脑上PING测速，也可以在一些站长工具里进行检查。 2、分析网页路……
998
浏览
998
浏览
百度老是抓取这样的url,robots该怎么写禁止 Robots
<p><br></p><p></p>
996
浏览
meta robots标签中 NOINDEX 是告诉搜索引擎不要索引本页面，对吗？ Robots
meta robots标签中 NOINDEX 是告诉搜索引擎不要索引本页面，对吗？
996
浏览
关于robots字段屏蔽写法的问题？ Robots
假如我要屏蔽public后面的所有字段 requestUrl:/syzl-business-api/business/public/queryCityConfModel requestUrl:"/syzl-business-api/busi……
996
浏览
关于企业网站内链Link优化的一些方法论，内容来自Oncrawl。 Robots PHP 排名 索引
这篇优化建议由 www.leptech.cn 小编引自Oncrawl官方网站，翻译效果可能不会太好，大家可以参考着学习哦~1.URL 必须是每个人都可读的阅读器和搜索引擎都必须能够读取您的 URL。搜索引擎作为读者，阅读您的 URL 单词以……
995
浏览
992
浏览
蜘蛛抓取到的robots是404怎么办 Robots 404
<p>一个网站robots抓取的是301，一个是404</p><p><br></p>
990
浏览
Robots规则更新后多久会生效? Robots
Robots规则更新后多久会生效?
990
浏览
谁有空帮我分析一下，这样写的robots.txt文件对不对啊 Robots
<p></p>
989
浏览
zblog如何通过robots禁止百度收录分类页面 Robots 百度收录 zblog
<pre><br></pre><p><br><br></p><p>通过<span>Disallow: /category/*后连内页……
986
浏览
哪些页面需要加robots呢？ Robots Nofollow
最近一段时间学习NOFOLLOW的添加方法，感谢大神们的一路知道。最近网站一直比较积极。今天想学习一下一般来讲，哪些页面需要加Robots协议呢？……
986
浏览
986
浏览
全站内容收录22万，但首页一直不收录！一年了 Robots 站长平台 内容收录
囧， www.fanhuangli.com 什么原因呢？首页一直不收录，直接搜索首页网址也是显示未收录！但是除了首页其他都正常，都收录了22万了，站长平台也显示出词正常、这一年了首页就是不收，robots什么的都正常……
985
浏览
我的网站是不是处问题了，那么多404页面怎么处理？ Robots 404页面 404
<p>FTP后台上根本没有这样的文本，但是日志上每天都能查到那么多的404链接，robots文本也做了屏蔽了还是没有用这是什么情况，还要最后的汇总为什么只有404个，有知道怎么处理的吗，麻烦解释一下，谢谢！www.zhboyan……
984
浏览
新做一个网站，跟旧网站内容一样，只有域名不同，怎么保证新网站的效果？ Robots
新做一个网站，跟旧网站内容一样，只有域名不同，类似镜像，不能301，不能提交改版规则，怎么保证新网站的效果？旧网站已经权重1，有上千收录，但是因为公司原因必须优化新做的网站，有什么办法能把新网站做起来而不被百度当成镜像网站吗，robots屏……
983
浏览
982
浏览
网站程序更改，robots如何屏蔽网址和文件？ Robots 网站程序
网站程序更改，robots如何屏蔽网址和文件？
982
浏览
分享几个seo冷门干货 Robots 视频 备案 排名
<p>1、备案不用关站，写代码设置百度ua访问时正常，直接打开时是关闭状态即可。<br>2、robots.txt能告诉百度网站地图位置，可以看下好看视频的https://haokan.baidu.com/robots……
982
浏览
【推广站改优化站】各位大佬能帮我看看改版后的网站有什么问题吗？ Robots canonical 跳转 文章
我有几个疑问如下：1、网站改版后原来的推广页，是否需要转移到新解析的二级域名去，还是继续用原来的二级目录，推广页上的广告弹窗会不会影响到优化，百度好像对广告弹窗打击得比较严。2、网站的移动端是独立站，域名是带m的，但是页面被PC端收录了，而……
981
浏览
robots可以加到网站后台代码里 起效吗 Robots 代码
<p>找公司重新做的网站，但是不能上传文件至根目录 这是什么lj。。。robots加到后台代码里的话 会起作用吗</p><p><br></p>……
981
浏览
robots文件中，* 通配符 是告诉搜索引擎匹配任意一段字符，对吗？ Robots
robots文件中，* 通配符 是告诉搜索引擎匹配任意一段字符，对吗？
981
浏览
robots标记如何影响搜索引擎抓取/索引/显示网页资料呢? Robots
robots标记如何影响搜索引擎抓取/索引/显示网页资料呢?
980
浏览
死链提交工具进行提交后，还需不需要设置robots？ Robots
我的网站近期删帖删的过多，打算提交死链，问下已经使用死链提交工具进行提交后，还需不需要设置robots？……
980
浏览
Robots更新请求失败这是怎么回事？ Robots
<p><br></p>
979
浏览
979
浏览
关于robots屏蔽问题，请教下搜外小伙伴 Robots 排名
robots文件屏蔽百度搜索引擎后，以前的排名和收录能不能掉，还是只不新增收录了？
978
浏览
百度抓取这些文件怎么回事？robots怎么屏蔽？比如屏蔽// Robots
<p><br></p>
978
浏览
小白自学我自己每天做的事情 Robots Site 404 排名
接触SEO时间不长 现在负责管理一家企业网站之前刚开始做的时候很无奈什么都不懂什么也不会做就是睁眼瞎。根据一些了解自己现在目前掌握技术有限写一下我的一天的级别的流程（希望高手大师知道留言如图去操作）1每天早上一上班就打开电脑查询网站首页的排……
977
浏览
改了网站的TDK影响会很大吗？还是说现在的收录都不好？ Robots
http://www.zhboyang.com，就是改了网站TDK，robots，地图和一些产品的TDK这些内容都有一些改动，现在都没什么收录……
