1198
浏览
网站在百度搜索结果中的收录，只显示网址，没有标题，描述，什么原因？ Robots 搜索结果
网站在百度搜索结果里只有网址，标题关键词都不显示，这是什么原因呢，robots已经很久没有动了，并且robots写法也是没有问题。……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
1197
浏览
网站一个月都不收录了，有什么办法解决？ Robots 网站日志 百度蜘蛛
<p>问题描述：我的网站是 www.opposhuaji.cn ，从9月3号到现在已经20多天了，一个页面都没有收录。9月3号之前由于被工具，换了IP，然后发现有很多百度假蜘蛛爬取网址，然后我封了大约200个左右的百度蜘蛛IP，……
1197
浏览
首页被大量重复收录怎么办 Robots 404 代码
<p><br></p><p><br></p><p>首页被大量重复收录，就是因为防火墙还是什么原因导致首页网址后面出现大量随机代码的后缀，但都是首页，目前查询……
1197
浏览
如何去除一个网站的死链接？ 跳出率 Robots 404 索引
处理死链接一般都是通过以下几个方法：一、给网站设置404页面404页面就是告诉访客，当前所浏览的页面出错或不存在了，请继续浏览网站其它内容。404页面可以设置成单独的一个页面，这个404页面处理好了，当用户遇到死链接的时候会有眼前一亮的感觉……
1195
浏览
robots文件要怎么写才合适 Robots Site Sitemap
<p><br></p><p>这个是爱站网seo工具包生成网站sitemap时自动生成的robots文件，内容是不是过于少了 </p><p>需要加什么吗 </p……
1194
浏览
robots到底怎么写？ Robots
网上各种写法教程五花八门，眼睛都看花了，需要禁止一部分吗？大家是怎么写的。www.maomibo.com……
1193
浏览
关于robots屏蔽问题，请教下搜外小伙伴 Robots 排名
robots文件屏蔽百度搜索引擎后，以前的排名和收录能不能掉，还是只不新增收录了？
1192
浏览
robots.txt做好放在域名根目录，但提交3天了，蜘蛛还没发现 Robots 根目录
robots.txt内容为禁止蜘蛛抓取所有网页，但事实上，robots.txt提交之后，蜘蛛依然在抓取
1192
浏览
关于robots字段屏蔽写法的问题？ Robots
假如我要屏蔽public后面的所有字段 requestUrl:/syzl-business-api/business/public/queryCityConfModel requestUrl:"/syzl-business-api/busi……
1192
浏览
我的网站是不是处问题了，那么多404页面怎么处理？ Robots 404页面 404
<p>FTP后台上根本没有这样的文本，但是日志上每天都能查到那么多的404链接，robots文本也做了屏蔽了还是没有用这是什么情况，还要最后的汇总为什么只有404个，有知道怎么处理的吗，麻烦解释一下，谢谢！www.zhboyan……
1190
浏览
什么是robots.txt文件？ Robots
什么是robots.txt文件？robots.txt文件是用来干啥的
1190
浏览
Robots禁止链接.某后缀是怎么写的？？ PPT Robots APP PHP
# # robots.txt for Discuz! X3 # User-agent:* Disallow: /api/ Disallow: /data/ Disallow: /source/ Disallow: /install/ Dis……
1190
浏览
网站robots误封百度，修正后，多久可以正常抓取展现？ Robots 搜索结果
之前robots.txt出现了问题（封禁），导致搜索结果页展现封禁信息，重新更新了robots.txt等待了有30天了都没重新展现回来。……
1188
浏览
抵制百度搜索引擎蜘蛛！ Robots 淘宝 百度蜘蛛
我已经把百度蜘蛛屏蔽了。 禁止访问网站所有页面，希望大家都能行动起来！ 抵制百度搜索引擎，看它还叼不叼！ 学淘宝把百度蜘蛛写入robots.txt 里面！ 现在神马流量也很高，至少质量转换把百度垃圾流量高多了！……
1187
浏览
robots有问题吗？ Robots
<p><br></p>
1187
浏览
Robots文件对于网站优化有这什么重大意义? Robots 网站优化
Robots文件对于网站优化有这什么重大意义?
1186
浏览
新做一个网站，跟旧网站内容一样，只有域名不同，怎么保证新网站的效果？ Robots
新做一个网站，跟旧网站内容一样，只有域名不同，类似镜像，不能301，不能提交改版规则，怎么保证新网站的效果？旧网站已经权重1，有上千收录，但是因为公司原因必须优化新做的网站，有什么办法能把新网站做起来而不被百度当成镜像网站吗，robots屏……
1185
浏览
求教！robots检测结果是这样？什么意思？会影响收录吗？ 网站收录 Robots
<p>刚才检测了一下网站的robots，这三个页面代表什么呢？查了查也没有头绪，会影响蜘蛛爬行结果么？对网站收录有影响吗？</p><p><br></p>……
1184
浏览
这Robots.txt屏蔽谷歌蜘蛛对吗？ Robots
www.qqmhsq.com/robots.txt大家帮忙看看谢谢
1182
浏览
修改了robots.txt和地图后首页不见了，怎么回事？ Robots
前天手痒把地图和robots.txt重新弄了下载上传了，结果昨天网站首页就找不到了，怎么回事？……
1182
浏览
为啥通过robots.txt文件禁止百度抓取的页面一直不删除收录的页面 Robots 网站改版 百度收录 PHP
www.liangchen520.com 这个网站改版后，之前有一些老链接失效了，一直被百度收录，设置禁止抓取一直没有删除，几个月了。User-agent:* Disallow: /index.php/detail/cybq/17 Disa……
1182
浏览
网站robots文件怎么正确书写？ Robots
怎么正确书写robots？
1181
浏览
改了网站的TDK影响会很大吗？还是说现在的收录都不好？ Robots
http://www.zhboyang.com，就是改了网站TDK，robots，地图和一些产品的TDK这些内容都有一些改动，现在都没什么收录……
1179
浏览
小白自学我自己每天做的事情 Robots Site 404 排名
接触SEO时间不长 现在负责管理一家企业网站之前刚开始做的时候很无奈什么都不懂什么也不会做就是睁眼瞎。根据一些了解自己现在目前掌握技术有限写一下我的一天的级别的流程（希望高手大师知道留言如图去操作）1每天早上一上班就打开电脑查询网站首页的排……
1179
浏览
robots.txt里面禁用网站全部js会有影响吗？ Robots JS
Disallow: /*.js就是这样写
1176
浏览
robots标记如何影响搜索引擎抓取/索引/显示网页资料呢? Robots
robots标记如何影响搜索引擎抓取/索引/显示网页资料呢?
1176
浏览
Baiduspider抓取网站临时域名，SEO优化规范该如何做？ Robots 网站日志 网站运营 SEO优化
在日常网站运营中，观察网站日志经常看见百度蜘蛛抓取网站主机地址为“默认绑定网站主机的临时域名”，在状态301或200下返回正常解析URL链接！问题：多数状态301的抓取下，是否引起搜索引擎蜘蛛的信赖感;应该用什么样的方式避免这种问题，rob……
1176
浏览
百度访问了大量不存在的404页面，是否会对网站有影响？ Robots 404页面 404
网站日志有大量UA是baiduspider的IP，访问了大量不存在的页面，产生了大量的404，而且访问的页面在robots都已经屏蔽，但还是有大量访问的，这种情况如何解决，有什么影响吗？……
1175
浏览
网站在测试阶段，没有做优化，需要robots加Disallow代码禁止百度收录吗？ Robots 百度收录 代码
如果在测试阶段收录不完整的网站应该会影响后期的优化吧
1174
浏览
Robots规则更新后多久会生效? Robots
Robots规则更新后多久会生效?
1174
浏览
复制内容如何让搜索引擎快速收录呢？ Robots 淘宝 Site 索引
像淘宝，天猫都是用robots.txt协议禁止搜索引擎抓取收录。这样的话我把淘宝天猫的产品及产品介绍详情复制出来，放到自己网站上。测试过是收录的，就是收录量太少，我用的Wordpress程序做网站，而且基本的seo也会去做，sitemap也……
1172
浏览
死链提交工具进行提交后，还需不需要设置robots？ Robots
我的网站近期删帖删的过多，打算提交死链，问下已经使用死链提交工具进行提交后，还需不需要设置robots？……
1171
浏览
最近蜘蛛对我不感兴趣，抓去诊断一直失败？ Robots
这是咋回事robots也没有禁止啊！
1171
浏览
robots可以加到网站后台代码里 起效吗 Robots 代码
<p>找公司重新做的网站，但是不能上传文件至根目录 这是什么lj。。。robots加到后台代码里的话 会起作用吗</p><p><br></p>……
1171
浏览
robots解除禁止抓取后的生效时间有多长？ Robots
robots解除禁止抓取后的生效时间有多长？
1170
浏览
关于robots.txt的问题，大神请教一下 Robots Site Sitemap
User-agent: * Disallow: /?p=* Disallow: /?s=* Disallow: /?r=* Sitemap: http://www.xingkairui.cn/sitemap.xml其中的?p=*、?s=*、……
1170
浏览
Robots更新请求失败这是怎么回事？ Robots
<p><br></p>
1169
浏览
网站robots文件怎么样写才是最好的？大家看看我这个网站设置的对吗 Robots
之前刚改过一次，现在这个robots.txt文件有什么问题吗？ kaoquany.com 烤全羊网站
1169
浏览
robots文本文件里加入sitemap链接怎么样？ Robots Site
robots文本文件里加入sitemap网站地图是否会加速百度收录？
1164
浏览
robots文件中，* 通配符 是告诉搜索引擎匹配任意一段字符，对吗？ Robots
robots文件中，* 通配符 是告诉搜索引擎匹配任意一段字符，对吗？
