robots.txt可以设置只抓取html文件么？
像这样：
User-agent: *
Disallow: /*?*
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /include
Disallow: /templets
7 人参与回答
最佳回答
可以啊
可以的
这样会影响收录么？?
万能的
可以的
