搜外网>搜外问答>问答页面

为什么robots文件禁止抓取,日志中还是显示抓取?

为什么robots文件禁止抓取,日志中还是显示抓取?

禁止一个目录  比如Disallow: /aa/

日志中还是能看到抓取aa目录的记录

(设置好robots后很久查才发现的)

追加问题
    4 人参与回答

正常来说有了robots大部分不会被抓取,但也不是说一定不被抓取的

有没有可能只是显示抓取了,但是抓取失败

拉卡拉
拉卡拉 · POS机办理 / 代理请联系招商经理13147099258(微信同号)

坚持就是胜利啊兄弟~

SEO培训招生中
188