448
浏览
网站地图需不需要在首页给个入口？ Robots 索引
<p>我记得之前看到过 说搜索引擎蜘蛛来访网站，首先是爬robots.txt文件，如果我在robots.txt文件中放了网站地图的入口，是不是就不用在首页给网站地图的链接呀？如果给了链接，算不算作弊呢？</p><……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
446
浏览
网站tag目录下死链太多怎么办？能直接禁止抓取吗 Robots
网站tag目录下死链太多怎么办？能直接禁止抓取吗tag插件已经卸载，不打算要tag目录了，可以使用 robots.txt 禁止收录 tag目录吗？……
445
浏览
444
浏览
我在robots.txt中设置了禁止百度收录我网站的内容 Robots 百度收录
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？
442
浏览
关于nofollow问题 Robots Nofollow 索引
部分网页已经添加了nofollow，而且robots协议里面也禁了，但是搜索引擎还是不停的抓取，有的甚至还收录了，应当如何处理？……
438
浏览
网站换了新的服务器之后，过了很久还一直抓取失败，检测了robots文件没有问题 Robots 关键词排名 排名
网站换了服务器过了一周了，显示还是抓取失败，原因是robots文件封禁，但是检测robots文件没有问题了。所有的关键词排名都没有，之前的链接是死链提交了。想知道什么时候才会有抓取成功，正常收录。……
437
浏览
网站robots 文件有必要写吗，我的网站这样写有问题吗？ Robots
网站robots 文件有必要写吗，我的网站这样写有问题吗？
437
浏览
436
浏览
为什么强制HTTPS百度检测不到robots Robots
为什么强制HTTPS百度检测不到robots另外我的网站就是不收录首页；就算收录也是带？的首页
436
浏览
这个也没有输入错误，难道是没更新 Robots
<p></p>
436
浏览
水务集团的官方网站，突然就掉了，而且还做了官方认证的。@推推娃 Robots
http://www.cncqsw.com/看着像robots的问题，
435
浏览
百度蜘蛛抓取服务器连接超时是几个意思？ Robots 二级域名 同服务器 404
蜘蛛爬取日志全部是404，就连robots文件都是404，请问是什么原因另外，我的站有除了www，还有另外一个二级域名，这两个二级域名都在不同服务器上，我的在这两个域名下我都设置了robos文件，就是说我有两个robots，这样是否可以？……
435
浏览
robots文件屏蔽一些页面抓取怎么写？ Robots 百度蜘蛛
https://www.fanyuancloud.com/articles/189https://www.fanyuancloud.com/articles/190https://www.fanyuancloud.com/articles/……
433
浏览
网站robots.txt一般禁止蜘蛛抓取哪些内容 Robots JS
正常的网站robots.txt你们一般禁止蜘蛛抓取哪些内容，js、css还有补充的吗
432
浏览
431
浏览
请教如何通过robots文件，屏蔽掉这个规则 Robots
请教如何通过robots文件，屏蔽掉这个规则。。Com/tags-关键词-0.html请给出Disallow: / 的规则。我会通过工具验证，通过后确认送分。……
429
浏览
伪静态url也不利于搜索引擎收录吧？怎样用ROBOTS文件禁止 Robots 静态
伪静态url也不利于搜索引擎收录吧？我是用凡科建站搭建的网站，360搜索引擎只收录了首页。url连接里没有“？”但是却有其他特殊符号，怎样用ROBOTS文件禁止这一类页面？……
425
浏览
网站已提交死链后是否还需要设置robots？ Robots
网站已提交死链后是否还需要设置robots？
424
浏览
robots文件正常访问，检测失败什么原因？ Robots
网站的robots文件是正常的，检测的时候显示：那个大神指导一下什么原因
423
浏览
421
浏览
网站后台文件需要限制蜘蛛抓取吗 Robots
每天查看日志发现抓取了很多后台文件，有的文件还是死链 需要限制吗？有的文件也添加到robots文件里的，但还是能抓取是什么缘故呢？……
421
浏览
大家帮我看看我的robots.txt有没有问题 Robots Site Sitemap
大家帮我看看我的robots.txt有没有问题User-agent: *Disallow:Sitemap: https://www.sclmbh.com/sitemaps.txtUser-agent: MJ12botDisallow: /……
420
浏览
418
浏览
robots.txt文件中已经把许多文件禁止了，为什么百度蜘蛛的抓取日志中还有抓取记录？ Robots 百度蜘蛛
robots.txt文件中已经把许多文件禁止了，为什么百度蜘蛛的抓取日志中还有抓取记录？
417
浏览
看百度蜘蛛老是抓到404页面，百度站长上提交了死链，那robots中还要不要做禁止抓取代码？ Robots 404
看百度蜘蛛老是抓到404页面，百度站长上提交了死链，那robots中还要不要做禁止抓取代码？就是想提高网站的蜘蛛来不浪费资源。。……
416
浏览
网站未准备好上线之前是否要操作robots封禁蜘蛛？ Robots
准备上线后解除蜘蛛封禁是否来得及，会有影响吗？
415
浏览
409
浏览
408
浏览
405
浏览
399
浏览
robots.txt如何屏蔽垃圾外链网址？内容如何写？ Robots
robots.txt如何屏蔽垃圾外链网址？内容如何写？
396
浏览
网站已提交死链后是否还需要设置robots？ Robots
网站已提交死链后是否还需要设置robots？
394
浏览
393
浏览
