995
浏览
在robots文件中屏蔽了一些链接，但搜索引擎还是会收录 Robots 索引
明明已经在robots文件中disallow了，搜索引擎还是会抓取收录，怎么让他们删除并不再抓取？
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
994
浏览
求解答，为何百度蜘蛛总是来看抓取我的robots文件喃，其他页面也不抓取 Robots 404 百度蜘蛛
<p>求解答，我的www.cdljzc.com站点，为何百度蜘蛛总是来看抓取我的robots文件喃，其他页面也不抓取，就盯着robots文件来，一天来抓取几十次，但我也没有robots文件，返回404，，其他页面也不爬，怎么解决……
992
浏览
robots到底怎么写？ Robots
网上各种写法教程五花八门，眼睛都看花了，需要禁止一部分吗？大家是怎么写的。www.maomibo.com……
991
浏览
求教！robots检测结果是这样？什么意思？会影响收录吗？ 网站收录 Robots
<p>刚才检测了一下网站的robots，这三个页面代表什么呢？查了查也没有头绪，会影响蜘蛛爬行结果么？对网站收录有影响吗？</p><p><br></p>……
989
浏览
robots.txt做好放在域名根目录，但提交3天了，蜘蛛还没发现 Robots 根目录
robots.txt内容为禁止蜘蛛抓取所有网页，但事实上，robots.txt提交之后，蜘蛛依然在抓取
986
浏览
Robots文件对于网站优化有这什么重大意义? Robots 网站优化
Robots文件对于网站优化有这什么重大意义?
986
浏览
首页被大量重复收录怎么办 Robots 404 代码
<p><br></p><p><br></p><p>首页被大量重复收录，就是因为防火墙还是什么原因导致首页网址后面出现大量随机代码的后缀，但都是首页，目前查询……
983
浏览
这Robots.txt屏蔽谷歌蜘蛛对吗？ Robots
www.qqmhsq.com/robots.txt大家帮忙看看谢谢
983
浏览
网站绑定了2个域名，怎么禁止百度蜘蛛抓取 ，另外一个域名 Robots 百度蜘蛛
绑定了A和B域名，想B域名不被抓取，怎么利用robots.txt 禁止百度蜘蛛抓取B域名
981
浏览
搜狗只抓取www.gmzyzz.com/robots.txt Robots 搜狗
http://www.gmzyzz.com/robots.txt 搜狗蜘蛛只抓取robots文件，如何引导蜘蛛抓取网站内容页呢？
981
浏览
是百度问题多了还是我运气霉了呢 Robots
<p>新站没做https之前都是正常的，做了之后检测就出问题了。</p><p><b>抓取诊断出现：<u>socket 读写错误</u></b></p&……
979
浏览
抵制百度搜索引擎蜘蛛！ Robots 淘宝 百度蜘蛛
我已经把百度蜘蛛屏蔽了。 禁止访问网站所有页面，希望大家都能行动起来！ 抵制百度搜索引擎，看它还叼不叼！ 学淘宝把百度蜘蛛写入robots.txt 里面！ 现在神马流量也很高，至少质量转换把百度垃圾流量高多了！……
978
浏览
网站一个月都不收录了，有什么办法解决？ Robots 网站日志 百度蜘蛛
<p>问题描述：我的网站是 www.opposhuaji.cn ，从9月3号到现在已经20多天了，一个页面都没有收录。9月3号之前由于被工具，换了IP，然后发现有很多百度假蜘蛛爬取网址，然后我封了大约200个左右的百度蜘蛛IP，……
977
浏览
robots文件要怎么写才合适 Robots Site Sitemap
<p><br></p><p>这个是爱站网seo工具包生成网站sitemap时自动生成的robots文件，内容是不是过于少了 </p><p>需要加什么吗 </p……
976
浏览
蜘蛛抓取到的robots是404怎么办 Robots 404
<p>一个网站robots抓取的是301，一个是404</p><p><br></p>
974
浏览
为什么我的网站已经加了robots.txt，还能在百度搜索出来？ Robots
为什么我的网站已经加了robots.txt，还能在百度搜索出来？
974
浏览
robots我明明已经禁止red前缀的链接，百度为啥还收录 Robots
<p>robots我明明已经禁止red前缀的链接，百度为啥还收录？？还有我检查robots也是正常正确的。</p><p><br></p>……
971
浏览
修改了robots.txt和地图后首页不见了，怎么回事？ Robots
前天手痒把地图和robots.txt重新弄了下载上传了，结果昨天网站首页就找不到了，怎么回事？……
970
浏览
网站robots文件这样写的格式对了吗 Robots
<p><br></p><p><br></p>
970
浏览
网站目前的怎么做？对于2020年网站优化的建议及感慨 Robots 网站改版 备案 文章
很多朋友给王听风抱怨说网站最近开始出现不收录的状态了，抓取也有啊，后台蜘蛛也在访问这种情况应该如何办？许多问题都是这样的，不收录，没有词库，甚至在降权。建议针对目前时间：2020/12/9第一：网站的领域不要说你做SEO博客的网站还去做养生……
969
浏览
robots里有必要填写allow吗 Robots Site Sitemap
比方说想专门想让蜘蛛爬取某个链接或者某个目录，有必要在robots里设置allow吗 比如 Allow: http://www.qqqqq1.com/a另外 在robots里放了 Sitemap:http://www.qqqqq1.c……
968
浏览
百度老是抓取这样的url,robots该怎么写禁止 Robots
<p><br></p><p></p>
967
浏览
Robots规则更新后多久会生效? Robots
Robots规则更新后多久会生效?
965
浏览
964
浏览
关于robots.txt的问题，大神请教一下 Robots Site Sitemap
User-agent: * Disallow: /?p=* Disallow: /?s=* Disallow: /?r=* Sitemap: http://www.xingkairui.cn/sitemap.xml其中的?p=*、?s=*、……
963
浏览
robots有问题吗？ Robots
<p><br></p>
962
浏览
站长平台的抓取频次在哪里设置呢？怎么找到不到入口呢？ Robots 站长平台 Site Sitemap
<p>1. 站长平台的抓取频次在哪里设置呢？怎么找到不到入口呢？</p><p>2. 网站没有要屏蔽的东西，所以没建robots 但是建立了sitemap了，要不要将sitemap写进去robots？有必要……
960
浏览
怎么解决禁止百度收录一些无意义的网页，新手求助！！！ Robots 百度收录 PHP 文章
我这边做了一个网站，百度收录一些没有内容的链接。这些链接我从网站也查不到。我的网站是www.ziyuantuliao。Com无意义的链接比如：http://www.ziyuantuliao。Com/show.php?id=54http://……
960
浏览
Robots禁止链接.某后缀是怎么写的？？ PPT Robots APP PHP
# # robots.txt for Discuz! X3 # User-agent:* Disallow: /api/ Disallow: /data/ Disallow: /source/ Disallow: /install/ Dis……
959
浏览
Robots.tet文件这样上传不知道对不对，请大神指点一二 Robots 备案
# robots.txt generated at http://tool.chinaz.com/robots/ User-agent: * Disallow: User-agent: * Disallow: Disallow: /bin……
959
浏览
捉取诊断失败，显示Robots封禁 ，可我们没有封禁百度蜘蛛，这到底是是怎么回事呀？？？？ Robots 百度蜘蛛 索引
<p>利用百度资源平台捉取诊断，显示失败，查看了抓取详情 ，显示Robots封禁 ，可我们没有封禁百度蜘蛛；而且网站地图提交也显示失败，可在别的搜索引擎是能成功提交的的，也能正常捉取，就是百度不行</p><p&……
959
浏览
当网站突然不收录新内容，应该从哪些地方找问题 Robots 站长工具 老域名 索引
网站突然出现蜘蛛不抓取新内容，我们应该从哪些地方找原因：1、老域名改网站做了3个月，权重6，目前是流量变化不大，然后站长工具有轻微降权。2、我的网站手动更新，一天手动做30-40篇，工作8小时。3、资源平台反馈百度 2次无效（怀疑机器人回复……
958
浏览
robots语法请教！！！ Robots 动态链接
https://www.***。Com/?type=post&orderby=like想把这一类型的链接都屏蔽了，但是又不想屏蔽所有的动态链接（Disallow：/*?*），所以语法该怎么写……
957
浏览
网站能安装两个百度地图吗？ Robots 伪静态 百度地图 静态
一个网站能安装两个地图吗？首页一个，内页一个，两个地图。还有一个问题，我不太清楚，我网站都是伪静态页面robots里我要不要屏蔽模板页面？防止收录动态页面页面？感谢解答！……
957
浏览
有没有在百度的搜索资源平台遇到过查询robots.txt请求失败的情况呢？ Robots
<p><br></p>
956
浏览
robots只抓取html行不行？ Robots 网站优化 JS
只抓取网站html行不行？ 将含？的页面，模板、图片、css、js目录这些都不抓取行不行？ 会不会影响网站优化的呢 有没有副作用？？Allow:*.htmlDisallow: /某个目录/Disallow: /*?*Di……
955
浏览
meta robots标签中 NOINDEX 是告诉搜索引擎不要索引本页面，对吗？ Robots
meta robots标签中 NOINDEX 是告诉搜索引擎不要索引本页面，对吗？
953
浏览
为什么sitemap有时候推送有时候不推送， Robots Site Sitemap
<p>提问为什么sitemap有时候推送有时候不推送， 在robots里面也有填sitemap</p><p></p>……
