robots其中的一个写法请教,各位老铁新年好
<p>我想不让蜘蛛抓取网址结构是:域名/index.php?s=/vod-type-id-1-type--area-%E7%BE%8E%E5%9B%BD-year-0-star--state--order-hits-p-52.html</p><p>就是/index.php?这样带问号的动态网址,这样的 访问已经都是404了,所以得写个禁止蜘蛛抓取</p><p><br></p><p>我写的robots是 Disallow: /? 这样网址结尾是.html,这条限制语句能不能禁止让蜘蛛抓取呢</p><p>如果写的不对,麻烦大佬们给个正确的</p>