哈希函数的作用是将一个较大的输入空间映射到一个较小的输出空间,且尽可能保证均匀映射。在哈希表中,输入空间是所有 key
,输出空间是所有哈希桶(数组索引)。换句话说,对于一个输入 key
,可以通过哈希函数得到该 key
在数组中的位置。哈希函数应尽可能保证映射后的输出空间尽可能均匀、分散,以减少哈希冲突的发生。
本文重点分析字符串哈希函数,即输入是字符串的哈希函数。评价 Hash 函数性能的一个重要指标就是冲突,在相关资源允许的条件下冲突越少,Hash 函数的性能就越好。显然,对于字符串哈希函数,尽可能使每个字符都影响哈希值可以减少冲突。
具体来说,Hash 函数最重要的性质可以概括为下面两条:
我们将 Hash 函数值一样、但原字符串不一样的现象称为哈希碰撞。
哈希函数设计的关注点:时间复杂度(尽可能低)和 Hash 的准确率(哈希碰撞的概率尽可能低)。
常用字符串哈希函数有 BKDRHash,APHash,DJBHash,JSHash,RSHash,SDBMHash,PJWHash,ELFHash 等等。对于以上几种哈希函数,这篇文章 对其进行了一个小小的评测。
Hash 函数 | 数据 1 | 数据 2 | 数据 3 | 数据 4 | 数据 1 得分 | 数据 2 得分 | 数据 3 得分 | 数据 4 得分 | 平均分 |
---|---|---|---|---|---|---|---|---|---|
BKDRHash | 2 | 0 | 4774 | 481 | 96.55 | 100 | 90.95 | 82.05 | 92.64 |
APHash | 2 | 3 | 4754 | 493 | 96.55 | 88.46 | 100 | 51.28 | 86.28 |
DJBHash | 2 | 2 | 4975 | 474 | 96.55 | 92.31 | 0 | 100 | 83.43 |
JSHash | 1 | 4 | 4761 | 506 | 100 | 84.62 | 96.83 | 17.95 | 81.94 |
RSHash | 1 | 0 | 4861 | 505 | 100 | 100 | 51.58 | 20.51 | 75.96 |
SDBMHash | 3 | 2 | 4849 | 504 | 93.1 | 92.31 | 57.01 | 23.08 | 72.41 |
PJWHash | 30 | 26 | 4878 | 513 | 0 | 0 | 43.89 | 0 | 21.95 |
ELFHash | 30 | 26 | 4878 | 513 | 0 | 0 | 43.89 | 0 | 21.95 |
经过比较,得出以上平均得分(平均数为平方平均数)。可以发现,BKDRHash 无论是在实际效果还是编码实现中,效果都是最突出的。APHash 也是较为优秀的算法。DJBHash,JSHash,RSHash 与 SDBMHash 各有千秋。PJWHash 与 ELFHash 效果最差,但得分相似,其算法本质是相似的。
数学模型:对于一个长度为 的字符串 来说,可以这样定义多项式 Hash 函数:
例如,对于字符串 ,其哈希函数值为 。
的选择:一个质数(至少要比最大的字符要大), 可以任意选择。
求解多项式 :我们可以利用秦九韶算法(又称 Horner 算法)以O(n)
的时间复杂度求解多项式的和。
一般地,一元 次多项式的求值需要经过 次乘法和 次加法,而秦九韶算法只需要 次乘法和 次加法。
原多项式公式:
秦九韶算法展开式:
实现代码:
1 | typedef unsigned long long ull; |
BKDRHash 算法是由 Brian Kernighan 与 Dennis Ritchie 的《The C Programming Language》一书被展示而得名,是一种简单快捷的 hash 算法,也是 Java 目前采用的字符串的 Hash 算法(累乘因子为 31)。
BKDRHash 算法的 原理是遍历字符串中的每个字符,将前一个字符的哈希值乘以一个固定的素数,然后加上当前字符整形值。最后,对得到的哈希值进行位运算,确保其在特定的整数范围内。
实现代码:
1 | unsigned int BKDRHash(const char* s) { |
BKDRHash 算法和 PolynomialHash 算法并不是同一个算法,但好像很相似。
Arash Partow 提出了这个算法,声称具有很好地分布性。
1 | unsigned int APHash(const char* s) { |
Daniel J. Bernstein 在 comp.lang.c 邮件列表中发表的,是距今为止比较高效的哈希函数之一。
1 | unsigned int DJBHash(char* str) { |
参考资料: