搜外网>搜外问答>问答页面

究竟是什么原因,百度蜘蛛一直爬一个网站根本没有的目录?

每天都会去看一下蜘蛛的爬行,发现最近发现一直在爬一个/ajax/的目录,但是这个上网站程序里是没有的,服务器里也是没有的,为什么能爬到这里?是因为网站曾经改版的原因吗?但是如果这个目录现在都已经删除了,为什么还是会去抓爬这个目录?现在我robots里不让它爬了,但是究竟想问一下为什么会这么奇怪呢?www.ac128.com  uv平板打印机

追加问题
    1 人参与回答

路过看看

SEO培训招生中
189