买别人用过的老域名做站蜘蛛一直抓取之前的内容，怎么处理呢
www.qiaiq.com
百度 栈谷统计，看看主流蜘蛛爬虫实时爬取情况，试试看
直接屏蔽就可以了
禁止蜘蛛抓取之前的目录
新站目录肯定不一样嘛，rb文件屏蔽下
让更多人参与回答
