使用.Net Core实现FNV分布式hash一致性算法

简介: 目录使用.Net Core实现FNV分布式hash一致性算法MemcachedFNV分布式hash算法实现FNV1算法实现为什么使用FNV算法实现hash一致性使用.Net Core实现FNV分布式hash一致性算法说到FNV哈希算法不得不提Memcached,我们先简单介绍一下Memcached。

目录

使用.Net Core实现FNV分布式hash一致性算法

说到FNV哈希算法不得不提Memcached,我们先简单介绍一下Memcached。

Memcached

Memcached分为客户端与服务端,Memcached是服务端,服务端本身不提供分布式实现,只是一个单独的k-v缓存;Memcached的分布式是在客户端类库中实现的,也就是说你可以根据自己的需要实现不同的分布式方案,不一定非得使用FNV哈希算法

Memcached通过FNV算法实现了服务的分布式,并通过引入虚拟节点的办法尽量是服务器分布的更均匀。已经有很多文章在介绍Memcached的分布式实现原理了,所以我就不那么多废话了。

FNV分布式hash算法实现

如果你还不了解FNV哈希算法,可以先看一下我之前的文章,在那里我摘录了wiki上的FNV哈希算法实现公式。

FNV1算法实现

代码实现上我将参考MD5算法的实现来编写FNV1算法:

  1. 首先,我将创建一个FNV1类,该类需要实现HashAlgorithm,之所以实现HashAlgorithm,是因为该抽象类定义了hash算法通用的接口,这样也可以使我们的实现与.net框架集成的更好,当然如果你不喜欢也可以不实现HashAlgorithm,就当是写了一个独立的帮助类。

  2. 然后,我们重写Create方法,这里我们将创建一个FNV1类的实例

  3. 最后,我们去实现这个FNV1类

    所有实现代码如下:

//首先我将创建FNV1类 
public abstract class FNV1 : HashAlgorithm
{
    //重写隐藏HashAlgorithm的Create方法
    public static new FNV1 Create()
    {
        return new Implementation();
    }
    //下面FNV1的实现我们完全是套用的公式没有什么好讲的
    private sealed class Implementation : FNV1
    {
        private const uint OFFSETBASIS = 2166136261;
        private const uint PRIME = 16777619;
        private uint _hash;
        public override void Initialize()
        {
            _hash = OFFSETBASIS;
        }
        protected override void HashCore(byte[] array, int ibStart, int cbSize)
        {
            int end = ibStart + cbSize;
            for (var index = ibStart; index < end; index++)
            {
            _hash *= PRIME;
            _hash ^= array[index];
            }
        }
        protected override byte[] HashFinal()
        {
            return BitConverter.GetBytes(_hash);
        }
    }
}


## 使用方法

var bytes=Encoding.UTF8.GetBytes("Test");
var hashBytes=FNV1.Create().ComputerHash(bytes);
var hashValue=BitConverter.ToUInt32(hashBytes);

FNV其实还有FNV1a算法,与FNV1有些许的区别,这里我就不一一实现了,你可以参考FNV1的实现和FNV哈希算法来实现FNV1a算法。我有一个帮助类MicroFx.Cryptography分别实现了FNV1和FNV1a的32bit、64bit算法版本。

为什么使用FNV算法实现hash一致性

无论是分布式算法还是hash一致性算法都不只有一种或几种实现方案,但Memached为什么会选择FNV算法,而不是md5,不是sha呢?我有自己的认识。

  1. 我们先看几行代码,分别使用MD5,sha,FNV算法计算一个Test字符串的哈希值,然后对比hash结果中数组的长度

    var bytes = Encoding.UTF8.GetBytes("Test");
    var shabytes = SHA1.Create().ComputeHash(bytes); //shabytes长度为20,及160bit
    var md5bytes=MD5.Create().ComputeHash(bytes);    //md5bytes长度为16,及128bit
    var fnvbytes = FNV1a.Create().ComputeHash(bytes); //fnvbytes长度为4,及32bit
    算法 取值范围
    sha1 [0,2^160-1]
    md5 [0,2^128-1]
    fnv [0,2^32-1]

    从上表我们可以看出,FNV的取值范围最小,如果将区间内的每一个整数看做一个Memcached服务端节点,那么FNV容纳的数量最少,但相对于实际的环境下已经足够多了,这样我们每次在计算一台服务器属于哪个节点的时候速度上会比md5、sha1快很多。

  2. FNV的32bit计算结果值刚好是一个uint类型,.net core最大支持ulong也就是uint64,再大的话就需要我们自己实现,所以这也是选择FNV的一个原因。(或许我这里不应该拿.net举例,但实际常用的高级语言最大也是64bit)

目录
相关文章
|
6月前
|
开发框架 算法 搜索推荐
C# .NET面试系列九:常见的算法
#### 1. 求质数 ```c# // 判断一个数是否为质数的方法 public static bool IsPrime(int number) { if (number < 2) { return false; } for (int i = 2; i <= Math.Sqrt(number); i++) { if (number % i == 0) { return false; } } return true; } class Progr
127 1
|
6月前
|
存储 缓存 负载均衡
一致性 Hash 算法 Hash 环发生偏移怎么解决
一致性 Hash 算法 Hash 环发生偏移怎么解决
137 1
|
2月前
|
开发框架 NoSQL .NET
利用分布式锁在ASP.NET Core中实现防抖
【9月更文挑战第5天】在 ASP.NET Core 中,可通过分布式锁实现防抖功能,仅处理连续相同请求中的首个请求,其余请求返回 204 No Content,直至锁释放。具体步骤包括:安装分布式锁库如 `StackExchange.Redis`;创建分布式锁服务接口及其实现;构建防抖中间件;并在 `Startup.cs` 中注册相关服务和中间件。这一机制有效避免了短时间内重复操作的问题。
|
3月前
|
存储 缓存 开发框架
看看 Asp.net core Webapi 项目如何优雅地使用分布式缓存
看看 Asp.net core Webapi 项目如何优雅地使用分布式缓存
|
5月前
|
存储 编解码 算法
C#.NET逃逸时间算法生成分形图像的毕业设计完成!晒晒功能
该文介绍了一个使用C#.NET Visual Studio 2008开发的程序,包含错误修复的Julia、Mandelbrot和优化过的Newton三种算法,生成色彩丰富的分形图像。作者改进了原始算法的效率,将内层循环的画点操作移至外部,提升性能。程序提供五种图形模式,支持放大缩小及颜色更新,并允许用户自定义画布大小以调整精度。还具备保存为高质JPG的功能。附有四张示例图片展示生成的分形效果。
|
5月前
|
算法 Java
Java中常用hash算法总结
Java中常用hash算法总结
36 0
|
6月前
|
机器学习/深度学习 编解码 算法
Yolov5改进算法之添加Res2Net模块
Res2Net(Residual Resolution Network)是一种用于图像处理和计算机视觉任务的深度卷积神经网络架构。它旨在解决传统的ResNet(Residual Network)存在的问题,如对不同尺度和分辨率特征的建模不足以及网络深度受限的问题。Res2Net通过引入多分支的结构和逐级增加的分辨率来提高网络的表达能力,从而在各种视觉任务中取得了显著的性能提升。
367 0
|
6月前
|
算法 C#
C# .Net Core bytes转换为GB/MB/KB 算法
C# .Net Core bytes转换为GB/MB/KB 算法
130 0
|
18天前
|
算法 安全 数据安全/隐私保护
基于game-based算法的动态频谱访问matlab仿真
本算法展示了在认知无线电网络中,通过游戏理论优化动态频谱访问,提高频谱利用率和物理层安全性。程序运行效果包括负载因子、传输功率、信噪比对用户效用和保密率的影响分析。软件版本:Matlab 2022a。完整代码包含详细中文注释和操作视频。
|
3天前
|
算法 数据挖掘 数据安全/隐私保护
基于FCM模糊聚类算法的图像分割matlab仿真
本项目展示了基于模糊C均值(FCM)算法的图像分割技术。算法运行效果良好,无水印。使用MATLAB 2022a开发,提供完整代码及中文注释,附带操作步骤视频。FCM算法通过隶属度矩阵和聚类中心矩阵实现图像分割,适用于灰度和彩色图像,广泛应用于医学影像、遥感图像等领域。
下一篇
无影云桌面