搜外网>搜外问答>问答页面

robots.txt可以设置只抓取html文件么？

微信

像这样：

User-agent: *

Disallow: /*?*

Disallow: /*.php$

Disallow: /*.js$

Disallow: /*.css$

Disallow: /include

Disallow: /templets

Robots PHP JS 举报 本帖由用户发布，如有侵权联系删除 2019-12-31 发布1,278 次浏览

交换友情链接，就用搜外友链，方便！

7 人参与回答

最佳回答

Viky · 八年多的SEO老司机

实现不了，你得把你除了你自己创建的栏目之外所有的安装后的文件写上这样才可以其实你压根没那个必要，PHP、JS、txt（有攻击）这样的文件直接在服务器防火墙设置更好点，设置好后把Robots放到白名单你这么做也只是为了节省带宽，你只要把不必要的搜索引擎屏蔽就行，剩下的就是后台栏目那几个重要的屏蔽屏蔽完以后每天对网站日志分析，把每天访问的一些垃圾ip在防火墙屏蔽下上述所有的内容做好后，你如果再想只留html文件，那会再进行设置 这是我设置好后的情况，每天都还有一些假蜘蛛访问