网站robots.txt文档一般屏蔽哪些东西，能不能把所有的js和php给禁了

Question

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

Answer 1

天行健咨询 · 精益生产管理与六西格玛管理咨询，培训机构

百度有规范的，可以借鉴

Answer 2

百度有规范的

Answer 3

北风

可以哇
禁止蜘蛛访问某个目录，比如禁止JS文件目录

Disallow: /js/

如果是禁止抓取所有的js跟PHP文件那就是
Disallow: /*.js

Disallow: /*.php

具体的还是在自己查查，不知道语法有没有错，哈哈哈哈

Answer 4

优建教育 · 职称评审、建工考培、人才落户、学历提升免费咨询、vx：13007215902

怎么艾特大佬的呀

收录宝