python实现simhash算法实例

simhash的算法简单的来说就是,从海量文本中快速搜索和已知simhash相差小于k位的simhash集合,这里每个文本都可以用一个simhash值来代表,一个simhash有64bit,相似的文本,64bit也相似,论文中k的经验值为3。该方法的缺点如优点一样明显,主要有两点,对于短文本,k值很敏感;另一个是由于算法是以空间换时间,系统内存吃不消。

代码如下:

#!/usr/bin/python# coding=utf-8class simhash: #构造函数 def __init__(self, tokens=”, hashbits=128): self.hashbits = hashbits self.hash = self.simhash(tokens); #tostring函数 def __str__(self): return str(self.hash) #生成simhash值 def simhash(self, tokens): v = [0] * self.hashbits for t in [self._string_hash(x) for x in tokens]: #t为token的普通hash值 for i in range(self.hashbits): bitmask = 1 = 0: fingerprint += 1 =0的和 #求海明距离 def hamming_distance(self, other): x = (self.hash ^ other.hash) & ((1 b : return b / a else: return a / b #针对source生成hash值 (一个可变长度版本的python的内置散列) def _string_hash(self, source): if source == “”: return 0 else: x = ord(source[0])

Posted in 未分类