6 人参与回答

这个有点奇怪,但是我的站里面,系统会自动生成一些列表页,你这个抓取的太乱了,根本无章可循

一般情况下蜘蛛是不会大量抓取不存在的链接的,除非是假冒的,这个ip就不是百度蜘蛛
windows 下dos中输入命令 nslookup ,如果名称中显示有 baiduspider-[查询ip].才是真的百度蜘蛛
搜狗蜘蛛、谷歌蜘蛛、360蜘蛛都支持

看看是不是假蜘蛛

服务器看看呢

检查下服务器设置

你是不是服务器存在多个站点?建议排查一下站点之间的防跨站文件