算法

　　搜索引擎的使命是帮助用户更便捷的获取信息，找到所求。所以，要做一个好的搜索引擎，至少需要做好三件事情，即理解用户意图、理解资源，以及做好这两者的匹配。通过传统的文本分析技术，比如TF-IDF、BM25等，可以很容易地把这些事情做到70分，但再往下做就越来越难。这时候，有聪明人发现，除了基本的文本之外，超链信息能够帮助我们更好的理解和匹配资源，于是就有了超链分析和pagerank，搜索技术也上升到了80分这个台阶。我们知道，一个技术做到了80分，就意味着它有可能比较好的投入应用了。于是，搜索引擎成为了一个产业，领头的是百度和Google。

如果放在算法领域，可以看出这里的问题在于，为了统计结果R(最适合的总统人选)，找到了一个特征A(每个民众的投票)，而决定结果R的，却不是特征A，而是由特征A推导出来的特征B(州票)，在特征A向特征B的推导过程中，信息丢失了(每个洲的支持百分比不一样)。

Google panda的算法参考标准Google panda的算法参考标准

　　HillTop ，是一项搜索引擎结果排序的专利，是Google的一个工程师Bharat在2001年获得的专利。Google的排序规则经常在变化，但变化最大的一次也就是基于HillTop算法进行了优化。

　　其实HillTop算法的指导思想和PageRank的是一致的，都是通过网页被链接的数量和质量来确定搜索结果的排序权重。但HillTop认为只计算来自具有相同主题的相关文档链接对于搜索者的价值会更大：即主题相关网页之间的链接对于权重计算的贡献比主题不相关的链接价值要更高。如果网站是介绍“SEO培训”的，有10个链接都是从“SEO培训”相关的网站链接过来，那这10个链接比另外10个从“网站优化”相关网站链接过来的贡献要大。Bharat称这种对主题有影响的文档为“专家”文档，从这些专家文档页面到目标文档的链接决定了被链接网页“权重得分”的主要部分。

搜索引擎判断复制网页一般都基于这么一个思想：为每个网页计算出一组信息指纹（Fingerprint），若两个网页有一定数量相同的信息指纹，则认为这两个网页的内容重叠性很高，也就是说两个网页是内容复制的。很多搜索引擎判断内容复制的方法都不太一样，主要是以下两点的不同：1、计算信息指纹（Fingerprint）的算法； 2、判断信息指纹的相似程度的参数。在描述具体的算法前，先说清楚两点： 1、什么是信息