867
浏览
关于robots的写法，对先后顺序有没有要求，如图 Robots 百度蜘蛛
<p>如只允许百度蜘蛛，禁止其他一切蜘蛛，这两种写法哪种是正确的呢？</p><p>1、先允许后禁止</p><p><br></p><p>2、先禁止……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
867
浏览
网站抓取诊断没有问题，抓取频次一直为0，日志一直在抓取robots Robots 抓取频次
https://www.3meva.com/天天都在做外链 刚上线还有抓取频次 上线两天就一直0了
866
浏览
麻烦帮我看一下我的robots.txt是否屏蔽了蜘蛛抓取内页内容 Robots Site Sitemap PHP
是利用WordPress搭建的：www.cznxb.comUser-agent: * Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ Disallow:……
865
浏览
网站大量IP同时访问导致网站打不开，有好的解决办法吗 Robots 网站打不开
目前做了以下工作1.已经用了robots禁止了垃圾蜘蛛的访问2.对于部分恶意IP进行了封禁3.设置了并发连接数限制情况有缓解，但是每天还会出现在一个时间点大量ip访问的问题，导致内容拉满，网站不能访问……
863
浏览
863
浏览
robots文件正确的写法? Robots 索引
User-agent: *//禁止所有搜索引擎搜目录1、目录2、目录3Disallow: /目录名1/Disallow: /目录名2/Disallow: /目录名3/http://www.cddgg.net/……
862
浏览
862
浏览
我的网站https就检测不到robots文件，而http就能检测到，请问要怎么设置能让https也能 Robots
<p> 我的网站https就检测不到robots文件，而http就能检测到，请问要怎么设置能让https也能</p><p></p>……
861
浏览
Robots检测，百度无法连接服务器 Robots
<p>描述如图</p>
861
浏览
网站有大量404 页面 已经提交了百度死链 看着百度反馈成功了，robots 文件是否还有屏蔽的必要 Robots 404
网站有大量404 页面 已经提交了百度死链 看着百度反馈成功了，robots 文件是否还有屏蔽的必要，现在看蜘蛛每天还在爬 404 页面，到底要不要做robots 屏蔽呢，屏蔽的话 对蜘蛛有没有影响。如果屏蔽的话，几千的404 也会导致ro……
861
浏览
网站怎么做robots.txt？哪些内容要放到robots里面？ Robots 代码
网站属于代码自建，很多东西都不完善
861
浏览
屏蔽百度Robots高技术活来了，请教大佬们来看看~ Robots
以下举例链接：网址/com/zhang3/news/page-1.html网址/com/li4/news/page-5.html网址/com/wang2/news/page-7.html网址/com/liu5/news/page-9.htm……
859
浏览
想问下取消禁止抓取需要多久生效 Robots 网站日志
<p>我之前网站没弄好的时候在robots.txt加了Disallow:/禁止搜索引擎抓取。网站做好之后就取消了。但是现在都过去一个月了为什么还没收录啊。是不是取消得过一段时间才能生效。网站都做好一个多月了。百度一次也没来抓取。……
859
浏览
robots禁止抓取来路统计域名怎么写? Robots 索引
由于在别的地方留了外链，以https://tubaniu.com/?seowhy这样的方式留的，主要是方便统计来路，/?xxxx 这样的外链统计url有不少，请问怎么屏蔽搜索引擎抓取收录呢？ 在robots文件中如何写？感谢各位大佬指教！……
859
浏览
请问，如何设置网站robots文件？ Robots
问题如下： 例如有网站www.abc.com，有www.abc.com/news?_bd=225 和www.abc.com/news两个链接，我想让蜘蛛抓取www.abc.com/news里面的内容，而不想让蜘蛛抓取www.abc.c……
859
浏览
抓取的时候一直提示robots封禁怎么办？ Robots 百度蜘蛛
网站robots.txt文件已经删除里面所有的内容，现在是一个空文件。站长后台 robots检测更新 都是没有问题，校验网址是否被阻止 是允许。反馈中心也反馈了，也不给回复。我该怎么办？来个官方的帮忙处理一下吧。（补充一下，网站新搭建的时候……
858
浏览
百度蜘蛛一直抓取模板文件，robots明明禁止了 Robots 百度蜘蛛
http://www.zhichaofadianji.com/ 求帮忙看下
856
浏览
伪静态url也不利于搜索引擎收录吧？怎样用ROBOTS文件禁止 Robots 静态
伪静态url也不利于搜索引擎收录吧？我是用凡科建站搭建的网站，360搜索引擎只收录了首页。url连接里没有“？”但是却有其他特殊符号，怎样用ROBOTS文件禁止这一类页面？……
853
浏览
请问大家，公司优化一直发布这些公司相关的新闻，感觉对优化的关键词一点帮助没有 Robots
请问大家，公司优化一直发布这些公司相关的新闻，感觉对优化的关键词一点帮助没有，我想写robots的话应该怎么个写法https://www.walltechsystem。Cn/news/qiyexinwen……
852
浏览
网站换了新的服务器之后，过了很久还一直抓取失败，检测了robots文件没有问题 Robots 关键词排名 排名
网站换了服务器过了一周了，显示还是抓取失败，原因是robots文件封禁，但是检测robots文件没有问题了。所有的关键词排名都没有，之前的链接是死链提交了。想知道什么时候才会有抓取成功，正常收录。……
848
浏览
百度一直抓取已经删除的链接，如何减少抓取这样的链接？ Robots 网站内链 404 索引
百度一直抓取已经删除的链接，抓取404链接的占比已经是200链接的好几倍了，如何减少抓取这样的链接？在网站内链和网站地图已经剔除了这些链接，只有百度在疯狂的抓取，其它搜索引擎都不会大量抓取已经删除的链接。由于url规则因素无法通过robot……
848
浏览
以自动刷新方式更改内容页时间因子算不算作弊？ Robots 排名 文章
<p>某网站的内容页时间因子没有固定在发布日期，而是每被访问一次就自动刷新到当前时间，这样算不算作弊？还是这样有利于优化排名？</p><p>案例：</p><p>刚刚度娘搜索了一下正……
847
浏览
你们最近的新站收录情况怎么样？上线一个月了还是只收了首页咋办？ Robots 伪原创 5118 备案
内容都是5118伪原创的，不存在采集，质量也都挺高的，改写完基本都会读一读，不通顺的地方也都改了。网站基础结构做的不错，robots也没屏蔽内页。备案也备了。……
847
浏览
如何写一个合理的robots.txt文件 Robots
如何写一个合理的robots.txt文件
847
浏览
麻烦大神们看下我robots这条是什么意思，可以把它删了不 Robots 404
<p>麻烦大神们看下我robots这条是什么意思，可以把它删了不，还有就是我已经禁止抓取动态页面了，为什么还是会出现抓取动态页面的情况，还有看日志出现很多不知道的404动态网址链接，这个需要处理不，请求大神回复</p>……
847
浏览
网站改版做的robots禁止收录 收录掉光取消后什么时候能恢复啊 Robots 网站改版
www.vpanetwork.com 网站改版做的robotos全站禁止收录，收录一直掉现在取消了请问什么时候可以恢复啊……
846
浏览
robots.txt文件返回406，请问这是什么问题，如何解决？ Robots
<p><br></p>
844
浏览
842
浏览
百度统计检测不到robots是怎么回事 Robots 百度统计 阿里云
我们网站现在服务器搬到阿里云上了 这两天抓取时间都变成了0，后来打开robots也没问题，统计后台缺检测不到服务器是嘛情况……
841
浏览
谷歌搜网站名称“没有此网页的信息”，提示我robots文件屏蔽了首页？ Robots 宝塔 宝塔面板
<p>谷歌搜网站名称“赤道365论坛”，显示“没有此网页的信息”。<br><br><br><br></p><p>网站带www和不带www的域名都进行了解析，……
839
浏览
robots规则填写 Robots
怎么让蜘蛛禁止抓取带搜索的search?页面
839
浏览
咨询一下，robots这么写？有没有问题 Robots PHP JS
咨询一下路过的大神们，robots这么写？有没有问题？ 如果有，第几个需要修改？1，User-agent: *,2，Disallow: /*.css$,3，Disallow: /*.js$,4，Disallow: /*.php$,5，Dis……
838
浏览
