568
浏览
关于robots文件屏蔽链接的写法，帮忙看看 Robots
请问大家，这样是不让蜘蛛抓取DEF文件夹内容，ABC文件夹不受影响。对吧User-agent: *Disallow: /ABC/DEF/……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
566
浏览
565
浏览
robots文本如何屏蔽带?结尾的链接，怎么编写？ Robots
<p><br></p>
564
浏览
562
浏览
Sitemaph 和 Robots 都为0，这对优化的影响大不大？ Robots Site
Sitemaph 和 Robots 都为0，影响大不大
560
浏览
百度站长平台robots检测不了，这是怎么回事呢？ Robots 站长平台
<p>百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500<br></p><p></p>……
558
浏览
网站收录域名后面被加了一下参数 请问是怎么回事 网站收录 Robots
<p></p><p><br></p><p>首页被加了很多不同参数被收录了 不知道怎么回事 请问要怎么处理 robots里已经禁止/?*的抓取了 </p>……
557
浏览
555
浏览
中小企业新网站该如何优化？ Robots 黑客 404 索引
中小企业通过网站SEO可以获取更多客户，优化自己企业的网站，可以有效帮助获得客户。今天为您介绍企业新站如何优化。一、新站做SEO优化一直不收录的原因1.新网站的服务器/空间不稳定，有时无法打开该站点，使蜘蛛难以抓取。2.网站内容包含违法信息……
553
浏览
到底哪些是不想被抓取的页面，都有哪些呢？ Robots 索引
robots屏蔽问题我一直不解，可能是因为我不会设置robots.txt文件的原因。其他人都说可以用robots去屏蔽不想被搜索引擎抓取的页面，但我很迷糊，到底哪些是不想被抓取的页面，都有哪些呢？求告知，我也希望自己能够提升这块的操作能力。……
553
浏览
谁帮我分析下这个robots文件设置的有问题吗？ Robots 索引
<p></p><p>我的这个robots文件设置的有问题吗？蜘蛛一直不来抓取，语句没有禁止搜索引擎抓取吧？</p>……
553
浏览
请教下ROBOTS的问题 Robots
<p>刚刚更新了一下robots 加了 Disallow: /product/e23</p><p><br></p><p><br></p>&……
552
浏览
550
浏览
robots设置只抓取指定目录和首页 Robots 百度蜘蛛
虽然百度识别出了都是无效页面，但大量的抓取严重影响了服务器性能，因此通过robots设置只允许百度蜘蛛抓取指定的目录和首页，来解决这个问题。……
550
浏览
请教一个社交站点SEO优化及url设置问题 Robots 同IP SEO优化 索引
主站商城A，在做个网站B，B仅做目录页面，将目录页中的产品链接到相应A中的产品页面。社交网站中一个账号只能一个域名，现在注册10个不同的域名，分别做301，这样社交中的链接点击后先到B，客户再点击产品后导到主站A。如果A和B放在同一服务器下……
549
浏览
robots.txt是这个问题导致不收录的吗？ Robots
robots.txt是这个问题导致不收录的吗？@推推蛙 你帮我看看这个休学申请书怎么写www.1xiuxue.com已经一年没有收录了，帮我看看是否是robots.txt写错了？……
546
浏览
robots.txt文件怎么写比较好，请大神分享一下 Robots
robots.txt文件怎么写比较好，请大神分享一下，http://www.puai999.com/
546
浏览
移动端如何写robots文件 Robots 移动端
移动端的robots也跟pc端的一样么？
545
浏览
545
浏览
【教程】如何及时拦截垃圾爬虫和蜘蛛。别在用robots了 Robots
教程比较长 直接去看就好。教程地址： https://www.cangpan.com/432p1/
544
浏览
Robots1处错误是什么意思？ Robots
<p></p>
543
浏览
频繁更改robots，会导致降权吗？ Robots
如果一个月调整了两次robots文件，会有什么影响？
543
浏览
为什么robots解除封禁了，蜘蛛还是抓取失败？ Robots
<p></p>
542
浏览
robots文件正确的写法? Robots 索引
User-agent: *//禁止所有搜索引擎搜目录1、目录2、目录3Disallow: /目录名1/Disallow: /目录名2/Disallow: /目录名3/http://www.cddgg.net/……
542
浏览
求助！！！问题描述如下 Robots
现有网站www.abc.com，登陆页为account.abc.com/login?_ag=1234，登陆页为动态，如何书写www.abc.com的robots文件呢？……
540
浏览
网站改版，出现大量的死链，已经影响到网站的质量，该如何快速有效的处理大量死链 Robots 网站改版
目前每天都在站长后台提交，感觉效果微乎其微。在robots文件里面，disallow所有的死链能解决不……
538
浏览
网站首页总间隔一段时间就收录消失，是什么情况？ Robots 友情链接 排名
站首页收录总是隔段时间就消失一回，并没有做改动，也符合搜索算法内容,robots.txt检查没问题，服务器稳定，全站排名稳定，友情链接没问题，只有首页隔段时间就不收录了。。请问，这样是什么原因呢？……
537
浏览
网站被挂马，重新做的新站，但是老站的乱码收录一直在，写了一个Robots禁止一下，不知道能不能起作用 Robots 网站被挂马 乱码
<p><br></p><p># robots.txt generated at https://www.hyhrc.com/ <br>User-agent: *<br>……
535
浏览
robots阻止抓取死链有效吗 Robots 百度蜘蛛
死链目录放到robots里面了 为什么还有百度蜘蛛来爬
534
浏览
关于网站分页链接的处理，大家一般是怎么解决？ Robots
比如网站域名/page/2 分页我觉得无意义,那么我用robots屏蔽带page的页面,那么我之前的收录的page对网站有什么影响,而且这些页面是不能删除的,只是以后更新的page页面不在抓取.请各位大神指教!……
533
浏览
网站地图的txt格式放robots里有用吗？ Robots
网站地图的txt格式放robots里有用吗？
533
浏览
网站管理后台路径要不要写进robots.txt？ Robots
网站后台路径要不要写进robots.txt？不写进去，搜索乱爬，写进去，等于公之于众。
532
浏览
翻页的url有必要静态化吗？ Robots 静态
网站很多内容，都有分页目前都是动态url，不过robots已经禁止抓取动态url，有必要静态化吗，cddgg.com静态化的好处是什么？不会产生很多相似页面的情况吗。……
529
浏览
Robots文件这样设置没什么问题吧 Robots
<p></p>
527
浏览
robots了整个网站，怎么才能把首页也从结果页中删除？ Robots 淘宝
<p>像淘宝一样，我网站现在也是这样的情况，怎么样把这个结果删除掉直接就删除掉不显示</p><p><br></p>……
