网站抓取频率的问题,请大家帮忙看看。

大型网站一天抓取频次大概在15W到20W次左右,404页面每天大概在7000-1W左右,404是否偏多?需要怎么处理?404页面抓取频次,因为网站是偏社区,有很多的广告页面需要删除~所以难免会产生大量的404。

追加问题
    1 人参与回答
吴飞
吴飞 · SEO从业者

广告页的目录屏蔽得了,广告页面蜘蛛抓取没啥作用!