搜外网>搜外问答>问答页面

蜘蛛抓取日期目录,导致大量403,该如何处理?

内容生成URL结构包含日期目录:/20150513/id.html,目录不能访问,报403,网站无入口,但是日志中发现蜘蛛大量抓取日期目录,这种情况要如何处理,无法使用robots,只能不断提交死链?谢谢!
220.181.108.94 - - [12/May/2015:14:44:08 +0800] "GET /20141107/ HTTP/1.0" 403 123 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0;

追加问题
    0 人参与回答
该问题还没有收到回答 :(
SEO培训招生中
161