robots只抓取html行不行？ 悬赏1元 已结束
只抓取网站html行不行？ 将含？的页面，模板、图片、css、js目录这些都不抓取行不行？ 会不会影响网站优化的呢 有没有副作用？？
Allow:*.html
Disallow: /某个目录/
Disallow: /*?*
Disallow: /*.jpg
这样行不行的呢 ？？
29 人参与回答
罗凌峰 等 1 人赞同该回答
1、网站里面没有任何动态页面，怕有动态抓取，可屏蔽；
2、屏蔽蜘蛛去抓取爬行图片，这点不建议，如果封禁蜘蛛抓取图片，那么搜索出图也将可能不会出图，屏蔽图片、css没有实际意义，不建议屏蔽，百度渲染蜘蛛，抓取的就是css和图片这种的。
不建议这样子做 不太好吧
这样做不可取。
屏蔽蜘蛛去抓取爬行图片，这点不建议
可以进行设置的，让蜘蛛爬取和禁止爬取
图片还是要抓取的吧
这个 没见过这样设置的呀
网站里面没有任何动态页面，怕有动态抓取，可屏蔽
那你的地图这些都不抓取了吗
这个其实是不建议的
其实这个可以不做
你好，不建议这样做
这样子做不太好
其实这个可以不做
