网站改版，蜘蛛为什么还会抓取一些不存在的目录和链接。
网站改版了一个多月，并且换了新的服务器。最近看网站日志，发现百度蜘蛛还会抓取一些之前的目录和链接，像之前的目录在新的服务器上已经完全没了入口，之前的链接基本全部提交了死链，甚至robots也做过一些限制。但是还能看到蜘蛛抓取这些，这种问题来个大神求解。
相关问题
- 复制内容如何让搜索引擎快速收录呢？(0 个回答)
- 网站改版带来的风险有哪些该如何避免？(2 个回答)
- 改版后的站怎么优化提高流量？(0 个回答)
- 网站改版后，对已经收录并有大量访问量的旧版本页面要怎么处理？(4 个回答)
- 网站大量IP同时访问导致网站打不开，有好的解决办法吗(2 个回答)
- 网站改版后旧页面被收录了 需要删掉吗？(3 个回答)
- 改版之后的站需要向百度提交链接吗？(3 个回答)
- 网站改版如何才能做到不被降权？(3 个回答)
