497
浏览
Robots这东西站长们还有搞吗 Robots
Robots：可以告诉百度您网站的哪些页面可以被抓取，哪些页面不可以被抓取。我好想都没特意去搞过这东西。……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
497
浏览
robots文件屏蔽的栏目，搜索引擎还是去抓取，怎么办？ Robots 404 索引
robots.txt 写了不让爬某栏目 结果它还是去爬 还404 有啥办法啊?
497
浏览
496
浏览
网站设置了robots禁止抓取，为什么排名还是那么好呢？ Robots 排名
<p></p>
495
浏览
robots设置，你们都是怎么设置的，需要让蜘蛛抓取哪些 Robots
robots设置，你们都是怎么设置的，需要让蜘蛛抓取哪些
494
浏览
用公司的老域名建网站都两个月了还是只收录首页而已，其他搜索引擎都很正常！ Robots Site Sitemap 索引
<p>开始以为是robots问题所以把权限都开了，还特意写上允许SITEMAP文件抓取，但是奇怪的是用推送工具推送只能推送首页如图<br>还有一个问题就是sitemap更新不正常等了几天了还是这样的情况，更新过也没有……
493
浏览
Robots文件是网站模板自带的吗？ Robots 网站模板
Robots文件是网站www.ertongzl.com模板自带的吗？
486
浏览
网站参数空白页面总是被蜘蛛抓取怎么办 Robots PHP
<p>网站参数空白页面总是被蜘蛛抓取，也写了robots了，但还是有蜘蛛挺多抓取这些空白参数页面（返回码200）好像当成了首页（也可能是假蜘蛛），怎么解决？</p><p>/index.php?m=Home……
483
浏览
483
浏览
robots文件怎么弄？ Robots 404
服务器里没有robots文件，但蜘蛛经常抓取，导致显示404。没有robots文件可不可以，如果不可以的话，应该怎么设置。……
481
浏览
百度蜘蛛无法对网站正常索引爬行? Robots 百度蜘蛛 索引
百度蜘蛛无法对网站正常索引爬行，抓取诊断显示“未解析到IP或有Robots封禁 ”我的网站屏蔽蜘蛛三天之后又重新开启了，但是百度蜘蛛都不来网站爬行，后台使用抓取诊断显示“未解析到IP或有Robots封禁 ”，robots文件检测也没有问题，……
481
浏览
网站地图优化有什么用处？ Robots 排名 文章 索引
网站地图，又称站点地图，它就是一个页面，上面放置了网站上所有页面的链接。大多数人在网站上找不到自己所需要的信息时，可能会将网站地图作为一种补救措施。搜索引擎蜘蛛非常喜欢网站地图，【知心网堂】小编整理发布。接下来通过这篇文章为你具体介绍网站地……
480
浏览
在百度站长平台上检测robots文件的时候出现的，这个应该怎么弄呢 Robots 站长平台
<p></p><p>在百度站长平台上检测robots文件的时候出现的，这个应该怎么弄呢</p>……
480
浏览
479
浏览
476
浏览
网站改版做的robots禁止收录 收录掉光取消后什么时候能恢复啊 Robots 网站改版
www.vpanetwork.com 网站改版做的robotos全站禁止收录，收录一直掉现在取消了请问什么时候可以恢复啊……
475
浏览
网站做了伪静态之后屏蔽动态链接会不会对收录有影响？ Robots 伪静态 静态
各位请问我网站做了伪静态了，那我现在robots里屏蔽抓取动态链接会不会导致网站不收录？还有像如果要屏蔽/spread/detail?id%E3%80%9372这种连接的robots是这样写吗？User-agent: baiduspider……
475
浏览
抓取的时候一直提示robots封禁怎么办？ Robots 百度蜘蛛
网站robots.txt文件已经删除里面所有的内容，现在是一个空文件。站长后台 robots检测更新 都是没有问题，校验网址是否被阻止 是允许。反馈中心也反馈了，也不给回复。我该怎么办？来个官方的帮忙处理一下吧。（补充一下，网站新搭建的时候……
472
浏览
robots.txt这段话是什么意思？ Robots
Disallow: /?*utm*
471
浏览
网站首页、分类等列表页是否有必要用robots.txt禁止收录翻页？？ Robots
网站首页、分类等列表页是否有必要用robots.txt禁止收录翻页？？
470
浏览
建的站在站长工具上检测robots文件显示500错误，这种怎么解决？ Robots 站长工具
建的站在站长工具上检测robots文件显示500错误，这种怎么解决？
469
浏览
大佬帮忙看看，网站的robots文件，是不是有错误？ Robots
如题，总感觉网站robots文件抒写不对www.lanjingcs.com
468
浏览
robots.txt 设置有必要吗？ Robots 排名 索引
有的网站没设置robote照样排名很好，玩意还有价值吗？robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。http://ww……
468
浏览
正常网站用百度资源Robots监测提示404怎么办？ Robots 404
<p>网站访问没问题，而且用百度资源“抓取诊断”也正常。</p><p>但是，百度资源“Robots”监测提示：您的服务器配置有误，百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常……
467
浏览
466
浏览
如果正确的在robots屏蔽不要被抓取的内容? Robots
比如我们一个域名www.abcde.com，我们想把带？号的url全部禁掉，首页我们不要禁掉，怎么弄？……
465
浏览
js和css文件地址是否需要robots屏蔽抓取？ Robots JS 排名
研究了很多排名很好的网站，看有的网站屏蔽了，有的网站没有屏蔽，所以这js和css是屏蔽好，还是不屏蔽的好？百度搜的答案都太老了，感觉参考意义不大了。……
461
浏览
日志大量ip不像正常蜘蛛ip，而且有很多已屏蔽的后台文件被抓取是怎么回事呢@推推蛙 Robots
<p>查看日志情况，发现在robots文件屏蔽的目录还是被抓取，而且统计ip段数量，感觉不像正常的蜘蛛，是怎么回事呢<br></p>……
460
浏览
网站收录首页有两个月了，具体是被百度屏蔽域名了吗？ 网站收录 Robots
<p><a href="http://www.sdmynj.com/" target="_blank" data-url="www.sdmynj.com" cla……
459
浏览
大佬们帮我看下是不是只有绿标是真百度蜘蛛，红标都是假的冒充百度蜘蛛？ Robots 百度蜘蛛
<p>大佬们帮我看下是不是只有绿标是真百度蜘蛛，红标都是假的冒充百度蜘蛛？这种蜘蛛怎么禁止访问啊，每天来爬取很多次，不知道干嘛的，可以设置robots.txt文件禁止访问嘛？比如这样设置：</p><p>U……
455
浏览
网站日志的问题，这个URL是怎么回事呢 Robots 网站日志
<p>2021/11/15 09:07:37 [error] 17902#0: *4053076 open() "/www/wwwroot/hjgygf.com/robots.txt" failed (2: ……
453
浏览
453
浏览
急了!为什么百度蜘蛛只访问robots.txt文件,不搜索首页! Robots 百度蜘蛛
急了!为什么百度蜘蛛只访问robots.txt文件,不搜索首页!
450
浏览
450
浏览
不写robots.txt文件有什么影响？ Robots
不写robots.txt文件有什么影响？
449
浏览
请问一下使用robots禁止内页的分页影响蜘蛛捉取吗和优化吗 Robots
https://www.sncitie.com/category/ctzs/page/2例如这种我想把分页的禁止蜘蛛去捉取page这个，但我不知道影不影响优化……
