使用.Net Core实现FNV分布式hash一致性算法

简介: 目录使用.Net Core实现FNV分布式hash一致性算法MemcachedFNV分布式hash算法实现FNV1算法实现为什么使用FNV算法实现hash一致性使用.Net Core实现FNV分布式hash一致性算法说到FNV哈希算法不得不提Memcached,我们先简单介绍一下Memcached。

目录

使用.Net Core实现FNV分布式hash一致性算法

说到FNV哈希算法不得不提Memcached,我们先简单介绍一下Memcached。

Memcached

Memcached分为客户端与服务端,Memcached是服务端,服务端本身不提供分布式实现,只是一个单独的k-v缓存;Memcached的分布式是在客户端类库中实现的,也就是说你可以根据自己的需要实现不同的分布式方案,不一定非得使用FNV哈希算法

Memcached通过FNV算法实现了服务的分布式,并通过引入虚拟节点的办法尽量是服务器分布的更均匀。已经有很多文章在介绍Memcached的分布式实现原理了,所以我就不那么多废话了。

FNV分布式hash算法实现

如果你还不了解FNV哈希算法,可以先看一下我之前的文章,在那里我摘录了wiki上的FNV哈希算法实现公式。

FNV1算法实现

代码实现上我将参考MD5算法的实现来编写FNV1算法:

  1. 首先,我将创建一个FNV1类,该类需要实现HashAlgorithm,之所以实现HashAlgorithm,是因为该抽象类定义了hash算法通用的接口,这样也可以使我们的实现与.net框架集成的更好,当然如果你不喜欢也可以不实现HashAlgorithm,就当是写了一个独立的帮助类。

  2. 然后,我们重写Create方法,这里我们将创建一个FNV1类的实例

  3. 最后,我们去实现这个FNV1类

    所有实现代码如下:

//首先我将创建FNV1类 
public abstract class FNV1 : HashAlgorithm
{
    //重写隐藏HashAlgorithm的Create方法
    public static new FNV1 Create()
    {
        return new Implementation();
    }
    //下面FNV1的实现我们完全是套用的公式没有什么好讲的
    private sealed class Implementation : FNV1
    {
        private const uint OFFSETBASIS = 2166136261;
        private const uint PRIME = 16777619;
        private uint _hash;
        public override void Initialize()
        {
            _hash = OFFSETBASIS;
        }
        protected override void HashCore(byte[] array, int ibStart, int cbSize)
        {
            int end = ibStart + cbSize;
            for (var index = ibStart; index < end; index++)
            {
            _hash *= PRIME;
            _hash ^= array[index];
            }
        }
        protected override byte[] HashFinal()
        {
            return BitConverter.GetBytes(_hash);
        }
    }
}


## 使用方法

var bytes=Encoding.UTF8.GetBytes("Test");
var hashBytes=FNV1.Create().ComputerHash(bytes);
var hashValue=BitConverter.ToUInt32(hashBytes);

FNV其实还有FNV1a算法,与FNV1有些许的区别,这里我就不一一实现了,你可以参考FNV1的实现和FNV哈希算法来实现FNV1a算法。我有一个帮助类MicroFx.Cryptography分别实现了FNV1和FNV1a的32bit、64bit算法版本。

为什么使用FNV算法实现hash一致性

无论是分布式算法还是hash一致性算法都不只有一种或几种实现方案,但Memached为什么会选择FNV算法,而不是md5,不是sha呢?我有自己的认识。

  1. 我们先看几行代码,分别使用MD5,sha,FNV算法计算一个Test字符串的哈希值,然后对比hash结果中数组的长度

    var bytes = Encoding.UTF8.GetBytes("Test");
    var shabytes = SHA1.Create().ComputeHash(bytes); //shabytes长度为20,及160bit
    var md5bytes=MD5.Create().ComputeHash(bytes);    //md5bytes长度为16,及128bit
    var fnvbytes = FNV1a.Create().ComputeHash(bytes); //fnvbytes长度为4,及32bit
    算法 取值范围
    sha1 [0,2^160-1]
    md5 [0,2^128-1]
    fnv [0,2^32-1]

    从上表我们可以看出,FNV的取值范围最小,如果将区间内的每一个整数看做一个Memcached服务端节点,那么FNV容纳的数量最少,但相对于实际的环境下已经足够多了,这样我们每次在计算一台服务器属于哪个节点的时候速度上会比md5、sha1快很多。

  2. FNV的32bit计算结果值刚好是一个uint类型,.net core最大支持ulong也就是uint64,再大的话就需要我们自己实现,所以这也是选择FNV的一个原因。(或许我这里不应该拿.net举例,但实际常用的高级语言最大也是64bit)

目录
相关文章
|
2月前
|
数据采集 监控 NoSQL
优化分布式采集的数据同步:一致性、去重与冲突解决的那些坑与招
本文讲述了作者在房地产数据采集项目中遇到的分布式数据同步问题,通过实施一致性、去重和冲突解决的“三板斧”策略,成功解决了数据重复和同步延迟问题,提高了系统稳定性。核心在于时间戳哈希保证一致性,URL归一化和布隆过滤器确保去重,分布式锁解决写入冲突。
180 2
 优化分布式采集的数据同步:一致性、去重与冲突解决的那些坑与招
|
2月前
|
消息中间件 运维 监控
《聊聊分布式》BASE理论 分布式系统可用性与一致性的工程平衡艺术
BASE理论是对CAP定理中可用性与分区容错性的实践延伸,通过“基本可用、软状态、最终一致性”三大核心,解决分布式系统中ACID模型的性能瓶颈。它以业务为导向,在保证系统高可用的同时,合理放宽强一致性要求,并借助补偿机制、消息队列等技术实现数据最终一致,广泛应用于电商、社交、外卖等大规模互联网场景。
|
6月前
|
消息中间件 存储 缓存
zk基础—1.一致性原理和算法
本文详细介绍了分布式系统的特点、理论及一致性算法。首先分析了分布式系统的五大特点:分布性、对等性、并发性、缺乏全局时钟和故障随时发生。接着探讨了分布式系统理论,包括CAP理论(一致性、可用性、分区容错性)和BASE理论(基本可用、软状态、最终一致性)。文中还深入讲解了两阶段提交(2PC)与三阶段提交(3PC)协议,以及Paxos算法的推导过程和核心思想,强调了其在ZooKeeper中的应用。最后简述了ZAB算法,指出其通过改编的两阶段提交协议确保节点间数据一致性,并在Leader故障时快速恢复服务。这些内容为理解分布式系统的设计与实现提供了全面的基础。
|
3月前
|
机器学习/深度学习 传感器 算法
基于不变扩展卡尔曼滤波器RI-EKF的同时定位与地图构建SLAM算法的收敛性和一致性特性研究(Matlab代码实现)
基于不变扩展卡尔曼滤波器RI-EKF的同时定位与地图构建SLAM算法的收敛性和一致性特性研究(Matlab代码实现)
127 2
|
6月前
|
监控 算法 关系型数据库
分布式事务难题终结:Seata+DRDS全局事务一致性架构设计
在分布式系统中,CAP定理限制了可用性、一致性与分区容错的三者兼得,尤其在网络分区时需做出取舍。为应对这一挑战,最终一致性方案成为常见选择。以电商订单系统为例,微服务化后,原本的本地事务演变为跨数据库的分布式事务,暴露出全局锁失效、事务边界模糊及协议差异等问题。本文深入探讨了基于 Seata 与 DRDS 的分布式事务解决方案,涵盖 AT 模式实践、分片策略优化、典型问题处理、性能调优及高级特性实现,结合实际业务场景提供可落地的技术路径与架构设计原则。通过压测验证,该方案在事务延迟、TPS 及失败率等方面均取得显著优化效果。
374 61
|
5月前
|
存储 负载均衡 算法
我们来说一说 Java 的一致性 Hash 算法
我是小假 期待与你的下一次相遇 ~
201 1
|
存储 缓存 负载均衡
一致性哈希:解决分布式难题的神奇密钥
一致哈希是一种特殊的哈希算法,用于分布式系统中实现数据的高效、均衡分布。它通过将节点和数据映射到一个虚拟环上,确保在节点增减时只需重定位少量数据,从而提供良好的负载均衡、高扩展性和容错性。相比传统取模方法,一致性哈希能显著减少数据迁移成本,广泛应用于分布式缓存、存储、数据库及微服务架构中,有效提升系统的稳定性和性能。
679 1
|
消息中间件 缓存 算法
分布式系列第一弹:分布式一致性!
分布式系列第一弹:分布式一致性!
341 0
|
12月前
|
监控 前端开发 API
一款基于 .NET MVC 框架开发、功能全面的MES系统
一款基于 .NET MVC 框架开发、功能全面的MES系统
370 5
|
开发框架 前端开发 JavaScript
ASP.NET MVC 教程
ASP.NET 是一个使用 HTML、CSS、JavaScript 和服务器脚本创建网页和网站的开发框架。
240 7

热门文章

最新文章