【深度好文】simhash文本去重流程

对于类似于头条客户端而言，推荐的每一刷的新闻都必须是不同的新闻，这就需要对新闻文本进行排重。传统的去重一般是对文章的url链接进行排重，但是对于抓取的网页来说，各大平台的新闻可能存在重复，对于只通过文章url进行排重是不靠谱的，为了解决这个痛点于是就提出了用simhash来解决这个难题。

简介

传统的Hash算法只负责将原始内容尽量均匀随机地映射为一个签名值，原理上仅相当于伪随机数产生算法。即便是两个原始内容只相差一个字节，所产生的签名也很可能差别很大，所以传统的Hash是无法在签名的维度上来衡量原内容的相似度。

SimHash本身属于一种局部敏感hash，其主要思想是降维，将高维的特征向量映射成低维的特征向量，再通过比较两个特征向量的 汉明距离（Hamming Distance） 来确定文章之间的相似性。一般海明距离为3就代表两篇文章相同。

什么是局部敏感呢？假设A,B具有一定的相似性，在hash之后，仍能保持这种相似性，就称之为局部敏感hash     

simhash也有其局限性，在处理小于500字的短文本时，simhash的表现并不是很好，所以在使用simhash前一定要注意这个细节。

汉明距离

Hamming Distance，又称汉明距离，在信息论中，等长的两个字符串之间的汉明距离就是两个字符串对应位置的不同字符的个数。即将一个字符串变换成另外一个字符串所需要替换的字符个数，可使用异或操作。
例如： 1011与1001之间的汉明距离是1。

simHash具体流程

simHash算法总共分为5