就是搜索引擎自动在你网站上抓取内容的机器人
搜索引擎抓取互联网的机器人
就是抓取页面的啊
搜索引擎爬虫，抓网站页面的。
百度蜘蛛，是百度搜索引擎的一个自动程序。
百度蜘蛛，是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容，然后分门别类建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。
抓取网页的代码
让更多人参与回答
