搜外网>搜外问答>问答页面

麻烦大神们看下我robots这条是什么意思,可以把它删了不

麻烦大神们看下我robots这条是什么意思,可以把它删了不,还有就是我已经禁止抓取动态页面了,为什么还是会出现抓取动态页面的情况,还有看日志出现很多不知道的404动态网址链接,这个需要处理不,请求大神回复

追加问题
    3 人参与回答
无双
无双 · 两年seo优化经验,正在学习中。
我的微信:sec_vip 等 1 人赞同该回答

你自己设置的Robots

我的微信:sec_vip 等 1 人赞同该回答

我也的是,准备把动态禁止抓取写在Robots上,你这个是不是之前就已经抓取收录了

我的微信:sec_vip 等 1 人赞同该回答

禁止蜘蛛抓取 c=api参数的内容

SEO培训招生中
158