蜘蛛爬取网站内容但是不收录的原因有哪些,怎么蜘蛛明明是爬取页面的,但是没有被收录内容,因为蜘蛛没有爬取页面的痕迹,这是什么原因导致的,如何才能吸引蜘蛛的到来,让蜘蛛有爬取痕迹感谢各位的解答,有没有办法?
看看网站日志,更为准确
只要日志功能是齐全的,任何蜘蛛抓取页面都有记录,不然就是你的日志功能受到限制,或者是没有发现!
蜘蛛抓取页面没有记录痕迹?查看网站日志是否有记录
安装一个软件,这样看的很清楚的
看看是否Robots禁止了,另外一点是否有死链或者URL层级过多
让更多人参与回答