497
浏览
大佬帮忙看看，网站的robots文件，是不是有错误？ Robots
如题，总感觉网站robots文件抒写不对www.lanjingcs.com
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
496
浏览
robots.txt 设置有必要吗？ Robots 排名 索引
有的网站没设置robote照样排名很好，玩意还有价值吗？robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。http://ww……
495
浏览
网站tag目录下死链太多怎么办？能直接禁止抓取吗 Robots
网站tag目录下死链太多怎么办？能直接禁止抓取吗tag插件已经卸载，不打算要tag目录了，可以使用 robots.txt 禁止收录 tag目录吗？……
495
浏览
robots.txt如何屏蔽垃圾外链网址？内容如何写？ Robots
robots.txt如何屏蔽垃圾外链网址？内容如何写？
494
浏览
不写robots.txt文件有什么影响？ Robots
不写robots.txt文件有什么影响？
493
浏览
如果正确的在robots屏蔽不要被抓取的内容? Robots
比如我们一个域名www.abcde.com，我们想把带？号的url全部禁掉，首页我们不要禁掉，怎么弄？……
492
浏览
492
浏览
490
浏览
网站日志的问题，这个URL是怎么回事呢 Robots 网站日志
<p>2021/11/15 09:07:37 [error] 17902#0: *4053076 open() "/www/wwwroot/hjgygf.com/robots.txt" failed (2: ……
487
浏览
网站收录首页有两个月了，具体是被百度屏蔽域名了吗？ 网站收录 Robots
<p><a href="http://www.sdmynj.com/" target="_blank" data-url="www.sdmynj.com" cla……
485
浏览
为什么强制HTTPS百度检测不到robots Robots
为什么强制HTTPS百度检测不到robots另外我的网站就是不收录首页；就算收录也是带？的首页
479
浏览
网站地图需不需要在首页给个入口？ Robots 索引
<p>我记得之前看到过 说搜索引擎蜘蛛来访网站，首先是爬robots.txt文件，如果我在robots.txt文件中放了网站地图的入口，是不是就不用在首页给网站地图的链接呀？如果给了链接，算不算作弊呢？</p><……
478
浏览
百度蜘蛛抓取服务器连接超时是几个意思？ Robots 二级域名 同服务器 404
蜘蛛爬取日志全部是404，就连robots文件都是404，请问是什么原因另外，我的站有除了www，还有另外一个二级域名，这两个二级域名都在不同服务器上，我的在这两个域名下我都设置了robos文件，就是说我有两个robots，这样是否可以？……
475
浏览
我在robots.txt中设置了禁止百度收录我网站的内容 Robots 百度收录
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？
474
浏览
474
浏览
请问一下使用robots禁止内页的分页影响蜘蛛捉取吗和优化吗 Robots
https://www.sncitie.com/category/ctzs/page/2例如这种我想把分页的禁止蜘蛛去捉取page这个，但我不知道影不影响优化……
471
浏览
471
浏览
网站未准备好上线之前是否要操作robots封禁蜘蛛？ Robots
准备上线后解除蜘蛛封禁是否来得及，会有影响吗？
469
浏览
467
浏览
网站robots 文件有必要写吗，我的网站这样写有问题吗？ Robots
网站robots 文件有必要写吗，我的网站这样写有问题吗？
466
浏览
网站已提交死链后是否还需要设置robots？ Robots
网站已提交死链后是否还需要设置robots？
466
浏览
465
浏览
请教如何通过robots文件，屏蔽掉这个规则 Robots
请教如何通过robots文件，屏蔽掉这个规则。。Com/tags-关键词-0.html请给出Disallow: / 的规则。我会通过工具验证，通过后确认送分。……
465
浏览
看百度蜘蛛老是抓到404页面，百度站长上提交了死链，那robots中还要不要做禁止抓取代码？ Robots 404
看百度蜘蛛老是抓到404页面，百度站长上提交了死链，那robots中还要不要做禁止抓取代码？就是想提高网站的蜘蛛来不浪费资源。。……
464
浏览
水务集团的官方网站，突然就掉了，而且还做了官方认证的。@推推娃 Robots
http://www.cncqsw.com/看着像robots的问题，
462
浏览
网站robots.txt一般禁止蜘蛛抓取哪些内容 Robots JS
正常的网站robots.txt你们一般禁止蜘蛛抓取哪些内容，js、css还有补充的吗
460
浏览
455
浏览
454
浏览
453
浏览
453
浏览
网站后台文件需要限制蜘蛛抓取吗 Robots
每天查看日志发现抓取了很多后台文件，有的文件还是死链 需要限制吗？有的文件也添加到robots文件里的，但还是能抓取是什么缘故呢？……
451
浏览
网站已提交死链后是否还需要设置robots？ Robots
网站已提交死链后是否还需要设置robots？
449
浏览
448
浏览
paper写作网站的robots文件怎么写？ Robots
在使用谷歌页面分析工具的时候显示我的paper写作网站有robots错误，我去查看文件才看到没有这个文件。想问问大家这个robots文件应该写哪些内容呢？……
447
浏览
robots文件正常访问，检测失败什么原因？ Robots
网站的robots文件是正常的，检测的时候显示：那个大神指导一下什么原因
447
浏览
robots.txt文件中已经把许多文件禁止了，为什么百度蜘蛛的抓取日志中还有抓取记录？ Robots 百度蜘蛛
robots.txt文件中已经把许多文件禁止了，为什么百度蜘蛛的抓取日志中还有抓取记录？
