搜外网>搜外问答>问答页面

robots设置只抓取指定目录和首页

虽然百度识别出了都是无效页面,但大量的抓取严重影响了服务器性能,

因此通过robots设置只允许百度蜘蛛抓取指定的目录和首页,来解决这个问题。

追加问题
    1 人参与回答
柠檬树上
柠檬树上 · 重庆不孕不育医院相关的不孕治疗及诊疗服务

可以用这个文件来设置解决的,因为百度首先会爬取这个文件

SEO培训招生中
188