Robots

网站收录的低质量页面，通过robots屏蔽是否可以？ 网站收录 Robots 404

之前收录的低质量页面，我在robots.txt中Disallow了一下，这个页面百度会自动删除吗？ 因为很多页面带参数的，后台删掉这个内容，这个页面还是存在的，只是内容为空了，不存在404这种情况，我只是在robots.txt中Disall……

robots屏蔽目录抓取，这样写是否正确？ Robots 根目录 索引

我不想让搜索引擎抓取收录网站根目录下english和admin文件夹里面的所有页面，robots.txt的文件这样写对不对？请高手指点一下User-agent: *Disallow: /english/Disallow: /admin/……

中英文双模板的网站如何优化处理，比较合适？ Robots 二级域名

网站有中英文2个版本，应该如何处理才不会影响到中文版本的优化呢，英文是目录（www.abc.com/en）还是开个二级域名（en.abc.com）好呢?中英文两套程序是共存在一个虚机中，英文版的反正不考虑优化，是不是可以直接robots.t……

屏蔽蜘蛛后百度站长平台仍然能正常抓取？？？？？ Robots 站长平台

前段时间进行了网站迁移，可是我忽视了一个事情我之前是有两个网站解析到一个域名上面，因为怕一些事情就吧这个网站下面的Robots给屏蔽了，这次网站迁移没有配置这个 ，我就一直好奇，为啥我的蜘蛛一直是0。也查了很多东西都不知道，然后百度站长平台……

robots屏蔽的内容，为什么百度依然还是收录，展示？ Robots 垃圾内容

我想将网站的垃圾内容用rotbots屏蔽，我记得百度学院说过-去掉垃圾内容可以用rotbots屏蔽掉即可。但是我发现一个问题，用rotbots屏蔽的内容还是被收录了。难道，百度自己说的也是屁话了？？？？……

关于网站日志分析_百度蜘蛛只抓取robots.txt Robots SEOer 排名

<p>作为SEOer近12年的工作人员，今天检测网站日志，发现百度蜘蛛200状态只抓取robots.txt文件，其他的文章，产品页面都不抓取；</p><p>因为着急让产品页面抓紧收录，获取产品词的排名：&……

网站屏蔽动态url，robots文件中已经写了，是否还需要nofollow？ Robots Nofollow

比如我在robots.txt 上写了  Disallow: /*?*    那我还需要 在带？号的链接上带上Nofollow吗？？？另外robots.txt  Nofollow  是一样的用意吗？   是重复了 还是没重复？？……

robots我明明已经禁止red前缀的链接，百度为啥还收录 Robots

<p>robots我明明已经禁止red前缀的链接，百度为啥还收录？？还有我检查robots也是正常正确的。</p><p><br></p>……

麻烦大神们看下我robots这条是什么意思，可以把它删了不 Robots 404

<p>麻烦大神们看下我robots这条是什么意思，可以把它删了不，还有就是我已经禁止抓取动态页面了，为什么还是会出现抓取动态页面的情况，还有看日志出现很多不知道的404动态网址链接，这个需要处理不，请求大神回复</p>……

新买的域名五十多天了没有任何收录痕迹，查了才知道是老域名，大家给些建议 数据库 Robots 老域名

<p>1买的域名是www.158116.com</p><p>2因为我是新手 部署网站也是某宝弄的 所以换域名的话可能又要另外花一份钱 所以请大家看看这个结果我是继续优化还是死心换域名</p>&……

我的robots可以正常访问，为啥百度说我服务器访问有问题？ Robots 百度说

<p>我的robots可以正常访问</p><p></p><p><br></p><p>百度说服务器有问题</p><p>&l……

网站关键词搜索结果中出现大量外链怎么办？ Robots SEOer PHP 跳转

网站和评论中的外链新采用了 exmple .com/go.php ?url= http: // abc .com 的方法跳转,统计外链的访问次数等等.go.php 是直接跳转, 不是呈现一个页面说明"您将离开本网站"这种.外链全部加了rel……

新站提问：百度蜘蛛疯狂抓取wp-json这个目录，请问对网站有什么影响吗？ Robots JS 宝塔

萌新做了个新站，在宝塔后台开通付费统计插件，发现百度蜘蛛疯狂抓取wp-json这个目录，请问这个目录文件有什么作用？百度蜘蛛抓取这个目录对网站有什么影响吗？有没有方法禁止百度蜘蛛抓取？目前我通过添加 移除头部 wp-json 代码，robo……

robots.txt文件中已经把许多文件禁止了，为什么百度蜘蛛的抓取日志中还有抓取记录 Robots 百度蜘蛛

<p>网站的robots.txt:</p><p><br></p><p>网站的抓取日志;</p><p></p><p><……

百度抓取失败 Robots

百度站长抓取诊断，首页和目录抓取成功，内容页抓取失败，robots.txt没问题，有知道什么原因吗？……

网站测试页被抓取收录了，主站反而一直没收录。测试页要怎么屏蔽蜘蛛抓取收录呢 Robots

<p>这是测试页，目前加了robots.txt不知道写的对不对。</p><p></p><p></p><p><br></p><p……

新站暂时没有抓取频次数！还几天了！ Robots 新站收录 抓取频次

<p>新站暂时没有抓取频次数！还几天了！是不是网站有问题啊！现在新站收录这么慢吗？</p><p>robots.txt文件已经解除了！</p><p>www.bjfclp.com<……

网站robots.txt问题，我这样写可以吗？需要添加sitemap吗 Robots Site Sitemap

<p></p><p>目前是这样写的，可以吗？然后我看有的人写的里面有sitemap，这个有必要添加吗</p>……

robots文件生成这块是有什么问题吗？求大神指点 Robots

<p><br><a href="http://www.202010.com/" target="_blank" data-url="www.202010.com……

robots该不该屏蔽这个目录？ Robots

我的站点手机版主要使用m.tfw66.com    网站目录绑定的是M/但是我的http://www.tfw66.com/m/   也是手机端。 这个目录是否需要robots  屏蔽掉蜘蛛的抓取？设置了是否冲突？应该如何处理？……

网站更换备案，期间用robots屏蔽蜘蛛可以吗？会不会有影响？ Robots 备案

网站更换备案，期间用robots屏蔽蜘蛛可以吗？会不会有影响？

频繁更改robots，会导致降权吗？ Robots

如果一个月调整了两次robots文件，会有什么影响？

网站url动态改版为静态形式，怎么处理，尽量减少影响？ Robots 伪静态 静态

一个站之前一年用的是动态路径，现在想换成静态路径，我要设置好了伪静态就robots屏蔽呢，还是等收录了一些静态页面在屏蔽呢？……

一级域名得robots能屏蔽子站的链接吗？ Robots

网站在百度搜索结果中的收录，只显示网址，没有标题，描述，什么原因？ Robots 搜索结果

网站在百度搜索结果里只有网址，标题关键词都不显示，这是什么原因呢，robots已经很久没有动了，并且robots写法也是没有问题。……

这个网站站长提交robots提示服务器500 Robots

<p>国爱电火灶国爱电火灶这个网站站长提交robots提示服务器500<br></p><p></p>……

麻烦帮忙看下robots ,写的有错误吗？ Robots

是不是因为我写错 robots    所以才不收录的www.chlbh.cn/robots.txt

网站改版规则 Robots 网站改版 404

网站是用wp，近期换了一个主题，现在好多404，我看了一下，之前是固定链接都是有分类的，www.xxx.com/a/1234.html,www.xxx.com/b/1234.html这种的，现在改版后没有分类，直接是www.xxx.com/……

网站用robots屏蔽了所有蜘蛛，但是没有生效，怎么回事？ Robots

网站用robots屏蔽了所有蜘蛛，但是没有生效，怎么回事？

大家帮我分一下这个Robots文件有没有问题 Robots

<p>大家帮我分一下这个Robots文件有没有问题，www.mdyx.com</p><p></p>

Robots设置禁止抓取收录的文章 Robots 文章

这样可以吗？收录的文章会消失吗

建的站在站长工具上检测robots文件显示500错误，这种怎么解决 Robots 站长工具

<p></p>

百度后台显示robots没问题，为啥其它搜索引擎显示爬虫被封禁？ Robots 索引

<p></p><p>百度后台显示robots没问题，为啥其它搜索引擎显示爬虫被封禁？</p>……

网站的robots文件又必要加网站地图吗 Robots Site Sitemap

本地服务开锁换锁芯网站的robots文件里有必要加sitemap吗，对优化有没有帮助，还是手动去提交sitemap 本地服务开锁换锁芯 ……

网站正在改版，但是没有了闭站保护功能 Robots 闭站保护

<p>目前在robots文本上禁止可以起到闭站保护的作用吗？</p><p><br></p><p>半个月或者一个月后再修改恢复怎么样？</p><p>……

网站收录了，但显示robots屏蔽，怎么解决？ 网站收录 Robots 索引

新站刚上线时用robots.txt屏蔽了所有搜索引擎，大概一周后就取消频闭了，结果20天的时候收录了，显示robots屏蔽搜索引擎的，到现在快1个月了，还是说屏蔽，每天都有更新，也有提交链接，这个就是不更新过来，要怎么解决呀？……

今天看了日志，有几个问题请教一下搜外大神，路过的大神指点指点迷津吧！ Robots 友链

www.wsf1234.com非图片站的蜘蛛抓取图片频率过高，该不该改善这个问题？应该改善又该如何改善？需要在robots协议上做什么调整？蜘蛛抓取后真实访问率46%算什么水平，过高或过低？，除了布局更优质的外链和友链，还有什么优化手法？目……