购买的老域名建站，有之前的url抓取，要怎么处理？
买了一个老域名建站，这个域名以前发过很多外链，但是发的基本都是栏目页和内容页的外链，
现在通过网站日志发现蜘蛛通过这些以前发的外链爬到网站，但是这些栏目页和内容页都不存在了，
所以导致蜘蛛每次爬过来都是404页面。
这种情况要不要向搜索引擎提交下死链接？或者在robots里面屏蔽下不存在的栏目？
7 人参与回答
买了一个老域名建站，这个域名以前发过很多外链，但是发的基本都是栏目页和内容页的外链，
现在通过网站日志发现蜘蛛通过这些以前发的外链爬到网站，但是这些栏目页和内容页都不存在了，
所以导致蜘蛛每次爬过来都是404页面。
这种情况要不要向搜索引擎提交下死链接？或者在robots里面屏蔽下不存在的栏目？
