484
浏览
js和css文件地址是否需要robots屏蔽抓取？ Robots JS 排名
研究了很多排名很好的网站，看有的网站屏蔽了，有的网站没有屏蔽，所以这js和css是屏蔽好，还是不屏蔽的好？百度搜的答案都太老了，感觉参考意义不大了。……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
482
浏览
如果正确的在robots屏蔽不要被抓取的内容? Robots
比如我们一个域名www.abcde.com，我们想把带？号的url全部禁掉，首页我们不要禁掉，怎么弄？……
482
浏览
大佬帮忙看看，网站的robots文件，是不是有错误？ Robots
如题，总感觉网站robots文件抒写不对www.lanjingcs.com
481
浏览
481
浏览
网站日志的问题，这个URL是怎么回事呢 Robots 网站日志
<p>2021/11/15 09:07:37 [error] 17902#0: *4053076 open() "/www/wwwroot/hjgygf.com/robots.txt" failed (2: ……
478
浏览
网站收录首页有两个月了，具体是被百度屏蔽域名了吗？ 网站收录 Robots
<p><a href="http://www.sdmynj.com/" target="_blank" data-url="www.sdmynj.com" cla……
477
浏览
robots文件屏蔽一些页面抓取怎么写？ Robots 百度蜘蛛
https://www.fanyuancloud.com/articles/189https://www.fanyuancloud.com/articles/190https://www.fanyuancloud.com/articles/……
477
浏览
不写robots.txt文件有什么影响？ Robots
不写robots.txt文件有什么影响？
476
浏览
475
浏览
为什么强制HTTPS百度检测不到robots Robots
为什么强制HTTPS百度检测不到robots另外我的网站就是不收录首页；就算收录也是带？的首页
471
浏览
robots.txt如何屏蔽垃圾外链网址？内容如何写？ Robots
robots.txt如何屏蔽垃圾外链网址？内容如何写？
467
浏览
网站地图需不需要在首页给个入口？ Robots 索引
<p>我记得之前看到过 说搜索引擎蜘蛛来访网站，首先是爬robots.txt文件，如果我在robots.txt文件中放了网站地图的入口，是不是就不用在首页给网站地图的链接呀？如果给了链接，算不算作弊呢？</p><……
465
浏览
请问一下使用robots禁止内页的分页影响蜘蛛捉取吗和优化吗 Robots
https://www.sncitie.com/category/ctzs/page/2例如这种我想把分页的禁止蜘蛛去捉取page这个，但我不知道影不影响优化……
462
浏览
我在robots.txt中设置了禁止百度收录我网站的内容 Robots 百度收录
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？
459
浏览
458
浏览
457
浏览
网站未准备好上线之前是否要操作robots封禁蜘蛛？ Robots
准备上线后解除蜘蛛封禁是否来得及，会有影响吗？
456
浏览
百度蜘蛛抓取服务器连接超时是几个意思？ Robots 二级域名 同服务器 404
蜘蛛爬取日志全部是404，就连robots文件都是404，请问是什么原因另外，我的站有除了www，还有另外一个二级域名，这两个二级域名都在不同服务器上，我的在这两个域名下我都设置了robos文件，就是说我有两个robots，这样是否可以？……
454
浏览
453
浏览
网站robots 文件有必要写吗，我的网站这样写有问题吗？ Robots
网站robots 文件有必要写吗，我的网站这样写有问题吗？
452
浏览
请教如何通过robots文件，屏蔽掉这个规则 Robots
请教如何通过robots文件，屏蔽掉这个规则。。Com/tags-关键词-0.html请给出Disallow: / 的规则。我会通过工具验证，通过后确认送分。……
452
浏览
水务集团的官方网站，突然就掉了，而且还做了官方认证的。@推推娃 Robots
http://www.cncqsw.com/看着像robots的问题，
451
浏览
看百度蜘蛛老是抓到404页面，百度站长上提交了死链，那robots中还要不要做禁止抓取代码？ Robots 404
看百度蜘蛛老是抓到404页面，百度站长上提交了死链，那robots中还要不要做禁止抓取代码？就是想提高网站的蜘蛛来不浪费资源。。……
447
浏览
网站robots.txt一般禁止蜘蛛抓取哪些内容 Robots JS
正常的网站robots.txt你们一般禁止蜘蛛抓取哪些内容，js、css还有补充的吗
444
浏览
442
浏览
网站后台文件需要限制蜘蛛抓取吗 Robots
每天查看日志发现抓取了很多后台文件，有的文件还是死链 需要限制吗？有的文件也添加到robots文件里的，但还是能抓取是什么缘故呢？……
442
浏览
441
浏览
网站已提交死链后是否还需要设置robots？ Robots
网站已提交死链后是否还需要设置robots？
440
浏览
439
浏览
网站已提交死链后是否还需要设置robots？ Robots
网站已提交死链后是否还需要设置robots？
438
浏览
436
浏览
robots文件正常访问，检测失败什么原因？ Robots
网站的robots文件是正常的，检测的时候显示：那个大神指导一下什么原因
435
浏览
robots.txt文件中已经把许多文件禁止了，为什么百度蜘蛛的抓取日志中还有抓取记录？ Robots 百度蜘蛛
robots.txt文件中已经把许多文件禁止了，为什么百度蜘蛛的抓取日志中还有抓取记录？
428
浏览
427
浏览
427
浏览
