不用刻意管它，好好优化网站就好
基本都是假蜘蛛
看是不是真蜘蛛还是假蜘蛛，假蜘蛛可以不管他，真蜘蛛有可能是你文章的内链或者缓存之类的
你用蜘蛛模拟抓取看看 能不能抓到内容，抓到就是你数据库或者后台还有文件，抓不到那就是蜘蛛在其他位置有这篇文章的链接 顺着这链接进的
让更多人参与回答
