搜索引擎的使命是帮助用户更便捷的获取信息,找到所求。所以,要做一个好的搜索引擎,至少需要做好三件事情,即理解用户意图、理解资源,以及做好这两者的匹配。通过传统的文本分析技术,比如TF-IDF、BM25等,可以很容易地把这些事情做到70分,但再往下做就越来越难。这时候,有聪明人发现,除了基本的文本之外,超链信息能够帮助我们更好的理解和匹配资源,于是就有了超链分析和pagerank,搜索技术也上升到了80分这个台阶。我们知道,一个技术做到了80分,就意味着它有可能比较好的投入应用了。于是,搜索引擎成为了一个产业,领头的是百度和Google。