robots只抓取html行不行？ 悬赏1元 已结束
只抓取网站html行不行？ 将含？的页面，模板、图片、css、js目录这些都不抓取行不行？ 会不会影响网站优化的呢 有没有副作用？？
Allow:*.html
Disallow: /某个目录/
Disallow: /*?*
Disallow: /*.jpg
这样行不行的呢 ？？
29 人参与回答
用户156223 等 1 人赞同该回答
1、网站里面没有任何动态页面，怕有动态抓取，可屏蔽；
2、屏蔽蜘蛛去抓取爬行图片，这点不建议，如果封禁蜘蛛抓取图片，那么搜索出图也将可能不会出图，屏蔽图片、css没有实际意义，不建议屏蔽，百度渲染蜘蛛，抓取的就是css和图片这种的。
不建议这样子做 不太好吧
这样做不可取。
屏蔽蜘蛛去抓取爬行图片，这点不建议
可以进行设置的，让蜘蛛爬取和禁止爬取
图片还是要抓取的吧
这个 没见过这样设置的呀
网站里面没有任何动态页面，怕有动态抓取，可屏蔽
那你的地图这些都不抓取了吗
这个其实是不建议的
其实这个可以不做
你好，不建议这样做
这样子做不太好
其实这个可以不做
建议图片、css一般还是让蜘蛛抓取的
有副作用，尽量不要这么做
你好，不建议这样做
不用去屏蔽，因为蜘蛛也有渲染蜘蛛，去判断你的样式和图片的
这样子做不太好
不建议这样做
Allow没必要写，只注明哪些文件或文件夹是Disallow就行了
可以的这个是，主要看你想让你的网站怎么展现出来这同这样
看看看大佬说的吧
有副作用，尽量不要这么做
不这样可就不好哦
试试不就知道了，你上面写的貌似没问题
肯能，看看大神怎么说
