搜外网>搜外问答>问答页面

蜘蛛抓取日期目录，导致大量403，该如何处理？

微信

内容生成URL结构包含日期目录：/20150513/id.html，目录不能访问，报403，网站无入口，但是日志中发现蜘蛛大量抓取日期目录，这种情况要如何处理，无法使用robots，只能不断提交死链？谢谢！
220.181.108.94 - - [12/May/2015:14:44:08 +0800] "GET /20141107/ HTTP/1.0" 403 123 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0;