<p>nslookup疑似是百度爬虫的IP地址,返回不是xxxbaiu.com的,都不是真的百度蜘蛛吗?</p><p><br></p><p><br></p><p><br></p><p><br></p>
好的,最近研究网站日志,发现现在的爬虫机器是越来越智能了~同一个IP段,各种伪UA
返回有baidu的才是百度蜘蛛,其他的都是假冒
这个不是百度蜘蛛ip,常见的百度蜘蛛IP段:,,*(111开头的一般是百度小程序蜘蛛)
返回有baidu的才是百度蜘蛛,其他的都是假冒的!
让更多人参与回答