网站有蜘蛛爬取页面，反复多次的爬取页面，但是蜘蛛依然没有任何记录，奇怪为什么爬取页面都没有记录了呢？怎么更好的把网站蜘蛛爬取页面有记录，当爬取没有记录是不是假蜘蛛呢，这是什么原因导致的，为什么蜘蛛爬取页面没有记录呢？麻烦各位高手指点一下谢谢！
不知道你是怎么确认蜘蛛反复爬取的，如果是第三方组件，比如宝塔的网站监控。不一定准，先核实蜘蛛是不是搜索引擎的 就是是搜索引擎的，蜘蛛在爬取的时候也会直接丢弃一些页面
让更多人参与回答
