搜外网>搜外问答>问答页面

robots其中的一个写法请教,各位老铁新年好

<p>我想不让蜘蛛抓取网址结构是:域名/index.php?s=/vod-type-id-1-type--area-%E7%BE%8E%E5%9B%BD-year-0-star--state--order-hits-p-52.html</p><p>就是/index.php?这样带问号的动态网址,这样的 访问已经都是404了,所以得写个禁止蜘蛛抓取</p><p><br></p><p>我写的robots是  Disallow: /?  这样网址结尾是.html,这条限制语句能不能禁止让蜘蛛抓取呢</p><p>如果写的不对,麻烦大佬们给个正确的</p>

追加问题
    4 人参与回答
慈利台
慈利台 · 慈利台 专注内容本身

学习

我自己不会判断怎么写对,所以如果遇到这种个别页面需要屏蔽的,我就直接放域名后面的整个网址了。写完去资源管理平台试试是否还能正常抓取,以此来验证自己写的是对还是错

不一定会遵循Robots

我的网站一直想搜狗来抓取 但是都不肯来 难受

光头强来偷树
光头强来偷 · 惠小助最新线报:https://www.52huixz.com

Disallow: /*

这样可对啊,老铁们