比如，正常情况下是 页面上有个超链接，蜘蛛爬取然后抓取，加入如果我有一个链接是XXX.com/aaa.html 而这个链接没有放在任何页面只有直接输入地址才能访问，那么搜索引擎会自动算出aaa.html 这个字段然后实现抓取吗？
不加超链接也能抓到啊，从首页进爬完结束，不管你用什么技术只要用户能看到的蜘蛛都可以抓取
让更多人参与回答
