麻烦大神们看下我robots这条是什么意思，可以把它删了不
<p>麻烦大神们看下我robots这条是什么意思，可以把它删了不，还有就是我已经禁止抓取动态页面了，为什么还是会出现抓取动态页面的情况，还有看日志出现很多不知道的404动态网址链接，这个需要处理不，请求大神回复</p><p></p>
3 人参与回答
我的微信:sec_vip 等 1 人赞同该回答
你自己设置的Robots？
我的微信:sec_vip 等 1 人赞同该回答
我也的是，准备把动态禁止抓取写在Robots上，你这个是不是之前就已经抓取收录了
我的微信:sec_vip 等 1 人赞同该回答
禁止蜘蛛抓取 c=api参数的内容
