搜外网>搜外问答>问答页面

robots.txt文件夹一般会屏蔽网站哪些内容？悬赏3元已结束

微信

robots.txt文件未设置屏蔽的内容，除了死链、动态链接、还需要屏蔽哪些？

Robots 动态链接举报 本帖由用户发布，如有侵权联系删除 2018-10-22 发布3,737 次浏览

交换友情链接，就用搜外友链，方便！

9 人参与回答

高飞

永恒等 1 人赞同该回答

你不想让搜索引擎收录的全部都可以屏蔽

崔家大院 · 网站诊断、建站、快速排名

无量等 1 人赞同该回答

Robots文件屏蔽的内容：1)、图片目录图片是构成网站的主要组成元素。随着现在建站越来越方便，大量CMS建站。就存在大量的没有用到的图片，建议你应该在robots.txt文件中进行屏蔽，通常的网站图片目录是：imags 。或者 img;2)、网站模板目录如上面图片目录中所说，CMS的强大和灵活，网站的模板目录跟网站的内容主题不符，不利于集中网站的相关度。模板目录的<a href=" target="_blank" data-url=" class="show-5118-data" rel="Nofollow">文件目录</a>是：templets3)、CSS、JS目录的屏蔽这个经常看见我们有些网站的css文件和js被收录了，想要被收录的文章没被收录，这对seo无用文件却收录，确实没有这个必要，也不利于集中网站的相关度。4)、屏蔽双页面的内容大家都知道DEDECMS可以使用静态和动态URL进行同一篇内容的访问，如果你生成全站静态了，那你必须屏蔽<a href=" target="_blank" data-url=" class="show-5118-data" rel="nofollow">动态地址</a>的URL链接。这里有两个好处：1、搜索引擎对静态的URL比动态的URL更友好、更容易收录;2、防止静态、动态URL能访问同一篇文章而被搜索引擎判为重复内容。5)、模板缓存目录很多CMS程序都有缓存目录，这种缓存目录的好处我想不用说大家也清楚了吧，可以非常有效的提升网站的访问速度，减少网站带宽，对用户体验也是很好的。不过，这样的缓存目录也有一定的缺点，那就是会让搜索引擎进行重复的抓取，一个网站中内容重复也是大祭，对网站百害而无一利，很多使用CMS建站的朋友都没有注意到，必须要引起重视。6)被删除的目录死链过多，对<a href=" target="_blank" data-url=" class="show-5118-data" rel="nofollow">搜索引擎优化</a>来说，是致命的。不能不引起站长的高度重视，。在网站的发展过程中，目录的删除和调整是不可避免的，如果你的网站<a href=" target="_blank" data-url=" class="show-5118-data" rel="nofollow">当前目录</a>不存在了，那必须对此目录进行robots屏蔽。最后，需要说明一点，很多站长朋友喜欢把站点地图地址放在robots.txt文件中，当然这里并不是去屏蔽搜索引擎，而是让搜索引擎在第一次索引网站的时候便能通过站点地图快速的抓取网站内容。这里需要注意一下：1、站点地图的制作一定要规范;2、网站一定要有高质量的内容;可以参考下面这个robots.txt文件：User-agent: Disallow: /admin/ 后台管理文件Disallow: /require/ 程序文件Disallow: /attachment/ 附件Disallow: /images/ 图片Disallow: /data/ 数据库文件Disallow: /template/ 模板文件Disallow: /css/ 样式表文件Disallow: /lang/ 编码文件Disallow: /script/ 脚本文件User-agent: *Disallow: /?*Disallow: /template/Disallow: /api/Disallow: /config/Disallow: /fgcl/

大项无痕

可以参考下我的

User-agent: *

Disallow: /e/

Disallow: /e/class/

Disallow: /e/data/

Disallow: /e/enews/

Disallow: /e/update/

Disallow: /e/admin/

Disallow: /d/JS/

Disallow: /d/txt/

Disallow: /d/txt2018/

Disallow: /skin/js/

Disallow: /skin/css/

Disallow: /Disallow: /yuezi/

Disallow: /duibi/

濮阳 · 搜你所想,搜你所问!

主要会屏蔽后台，css ，JSs，图片等目录把

匿名用户

这个是你自己设置的，什么都不屏蔽，就这样写：，其中最后那个你可以放你网站地图链接或者不放也无碍的，如果你想要屏蔽一个文件，就Disallow:/（这里是你要屏蔽的文件的从根目录开始的完整路径，以文件名后缀结尾）比如Disallow:/admin/这样写就不会收录/admin/这个文件、如果你要屏蔽整个目录，那就Disallow:/（这里是目录路径以“/”结尾），比如Disallow:/admin/这样写就是整个admin里面的任何文件都不会收录了。另外纠正一下，死链不是写在这里的，你要去提交死链让百度取消收录你的死链。一般后台目录、模板文件都可以屏蔽，其余的就看你自己需要了，比如一些你不想被别人搜索到的页面，你也可以不收录，具体视自己的情况定。