robots已经屏蔽了动态url，为什么蜘蛛还在抓
<p><br></p><p><br></p><p><br></p><p>首先跟技术沟通过动态url做跳转，但是忘记技术说什么原因了，好像是说现在这些动态url其实都是空的没办法做，我就把动态url都屏蔽了，但是蜘蛛缺每天还在大量的抓，是何解，为什么不尊重我的robots协议</p>
4 人参与回答
<p><br></p><p><br></p><p><br></p><p>首先跟技术沟通过动态url做跳转，但是忘记技术说什么原因了，好像是说现在这些动态url其实都是空的没办法做，我就把动态url都屏蔽了，但是蜘蛛缺每天还在大量的抓，是何解，为什么不尊重我的robots协议</p>
