robots.txt可以设置只抓取html文件么?
像这样:
User-agent: *
Disallow: /*?*
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /include
Disallow: /templets
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭