这个蜘蛛到底是怎么爬取的，啥机制的？
如果有url是可以抓取
只有前端有通道URL，蜘蛛才能去抓取爬行
有url就能爬
1、只有前端有通道URL，蜘蛛才能去抓取爬行；
2、搜索蜘蛛抓取不到内容，不会爬行的，你的内容在服务器里面，没通道是不好被抓取爬行。
ps：蜘蛛爬的是页面，页面有URL通道会顺着爬和抓取，如果你前端啥都没，那么蜘蛛啥都抓取不到
@推推蛙 这个怎么说。
蜘蛛是抓页面的，这点从抓取诊断里就能看出来，如果网站前端只有一个页面，而且该页面没有其他页面的链接，那蜘蛛是抓不到其他页面的。
让更多人参与回答
