搜外网>搜外问答>问答页面

robots.txt写了没用啊

Disallow: /swt

已经写了不让抓取swt目录,百度还是收录了。。。。。。。。

追加问题
    5 人参与回答

这个很正常啊,没办法的

这个案例来说不会啊

红桃九资讯网
红桃九资讯 · 网站建设、程序开发、SEO优化、数据采集、服务器运维、火车头规则配置-QQ38463041⎛欢迎砸单~~~⎞

商务通?swt .

小鲤鱼
小鲤鱼 · 办理防爆认证 防爆合格证 防爆CCC认证 CSA认证

我也有这样的疑问 明明写了还抓

不抓这个目录,跟你文章收录没什么关系,建议多百度了解下Robots.txt的具体的用法

SEO培训招生中
189