搜外网>搜外问答>问答页面

买别人用过的老域名做站蜘蛛一直抓取之前的内容，怎么处理呢

微信

www.qiaiq.com

老域名

本帖由用户发布，如有侵权联系删除 2021-04-22 发布823 次浏览

交换友情链接，就用搜外友链，方便！

4 人参与回答

用户196124 · 栈谷统计-实时网站流量统计分析，实时抓取网络蜘蛛爬虫

百度栈谷统计，看看主流蜘蛛爬虫实时爬取情况，试试看

用户186865 · 花开的时间很美丽

直接屏蔽就可以了

用户128309 · ✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈㊣伸出发财的小手帮我点一下=。=

禁止蜘蛛抓取之前的目录

用户138725 · 桃源侠：一个简单的博客网站，没有华丽炫目，只为极致简约。

新站目录肯定不一样嘛，rb文件屏蔽下

收录宝