无锁并发和无等待并发

简介: 在无锁系统中,当任何特定的运算被阻塞的时候,所有CPU可以继续处理其他的运算。换种方式说,在无锁系统中,当给定线程被其他线程阻塞的时候,所有CPU可以不停的继续处理其他工作。无锁算法大大增加系统整体的吞吐量,因为它只偶尔会增加一定的交易延迟。大部分高端数据库系统是基于无锁算法而构造的,以满足不同级别。

有两种非阻塞线程同步算法,即无锁和无等待,这两种算法经常会产生混淆。

image.png

在无锁系统中,当任何特定的运算被阻塞的时候,所有CPU可以继续处理其他的运算。换种方式说,在无锁系统中,当给定线程被其他线程阻塞的时候,所有CPU可以不停的继续处理其他工作。无锁算法大大增加系统整体的吞吐量,因为它只偶尔会增加一定的交易延迟。大部分高端数据库系统是基于无锁算法而构造的,以满足不同级别。


相反,无等待算法保证了所有CPU在连续处理有效工作的时候,没有运算会被其他运算所阻塞。相比于无锁算法,无等待算法有更强的保证,并且不会以交易延迟为代价,来保证高吞吐量。当然,相比之下这种算法也更难实现,测试和debug。Linux kernel的无锁页面缓存就是无等待系统的一个典型案例。


在某些情况下,例如系统在处理一些并发交易并且有一些轻微的延迟请求,无锁系统是在开发难度和高并发请求的一个好的折中选择。网站的数据库服务器就是一个很好的无锁设计的例子。当任何请求交易被阻塞,同时总是有更多的交易在被处理,因此CPU永远不会空闲。难点就是要建立一个交易调度器,来维护一个比较好的平均延迟和一定的误差。

在某些场景下,系统拥有和cpu核心数量相似的并发交易,或者很准确的实时请求,开发者就需要花费更多的时间去构建无等待系统了。在这种案例中,例如:阻断单一交易是不行的,因为cpu没有其他交易可以操作,最小的吞吐量,或指定的交易需要在一个非概率化的时间段内完成。核反应控制软件就是一个无等待系统的绝好案例。


RethinkDB是一个无锁系统。在一台具备N个CPU核心的机器上,在大量正常负载的情况下,我们可以保证没有任何核心会处于空闲状态,只要有大约N×4的并发交易,则可以保证没有io管道容量被浪费。例如,一个8核心的系统,如果RethinkDB正在处理大概32个或更多的并发交易时,没有任何硬件会处于空闲。如果通常只有少于32笔的并发交易,那么有些核心也许是浪费了。(当然如果你仅仅有32笔并发数量的话,也不需要一个8核的机器)

相关文章
|
1月前
|
敏捷开发 人工智能 测试技术
新业务来不及测?用Dify工作流,3天搭出完整回归测试体系,快速响应变化
在敏捷开发中,回归测试常成瓶颈。本文教你用Dify.AI可视化工作流,3天搭建智能回归测试体系,自动分析代码变更、生成测试用例,提升效率90%,让质量与速度兼得。
|
存储 负载均衡 算法
一致性哈希汇总
本文介绍了多种一致性哈希算法,包括Consistent Hashing Ring、Rendezvous、Jump、Multi-probe、Maglev、Anchor和Dx。这些算法各有特点,如Jump Hash实现了完美的key分布,而DxHash结合了多种算法的优点,支持动态扩缩容。文章还分析了各算法的性能指标,如内存使用、初始化时间、查询时间和调整集群大小的效率,以及均衡性和单调性。最后讨论了副本、权重和负载均衡策略的应用。
604 62
一致性哈希汇总
|
存储 缓存 关系型数据库
sqlite 数据库 介绍
sqlite 数据库 介绍
408 0
|
开发框架 .NET Linux
2款高效的.NET二维码生成类库
2款高效的.NET二维码生成类库
215 1
|
存储 JSON Ubuntu
如何使用 Lua 脚本进行更复杂的网络请求,比如 POST 请求?
如何使用 Lua 脚本进行更复杂的网络请求,比如 POST 请求?
|
存储 关系型数据库 MySQL
深入MySQL:事务日志redo log详解与实践
【8月更文挑战第24天】在MySQL的InnoDB存储引擎中,为确保事务的持久性和数据一致性,采用了redo log(重做日志)机制。redo log记录了所有数据修改,在系统崩溃后可通过它恢复未完成的事务。它由内存中的redo log buffer和磁盘上的redo log file组成。事务修改先写入buffer,再异步刷新至磁盘,最后提交事务。若系统崩溃,InnoDB通过redo log重放已提交事务并利用undo log回滚未提交事务,确保数据完整。理解redo log工作流程有助于优化数据库性能和确保数据安全。
1144 0
|
监控 负载均衡 算法
Golang深入浅出之-Go语言中的协程池设计与实现
【5月更文挑战第3天】本文探讨了Go语言中的协程池设计,用于管理goroutine并优化并发性能。协程池通过限制同时运行的goroutine数量防止资源耗尽,包括任务队列和工作协程两部分。基本实现思路涉及使用channel作为任务队列,固定数量的工作协程处理任务。文章还列举了一个简单的协程池实现示例,并讨论了常见问题如任务队列溢出、协程泄露和任务调度不均,提出了解决方案。通过合理设置缓冲区大小、确保资源释放、优化任务调度以及监控与调试,可以避免这些问题,提升系统性能和稳定性。
670 6
|
传感器 人工智能 监控
基于smardaten无代码开发智能巡检系统,让无人机飞得更准
基于smardaten无代码开发智能巡检系统,让无人机飞得更准
326 0
基于smardaten无代码开发智能巡检系统,让无人机飞得更准
|
机器学习/深度学习 传感器 算法
GWO-BP回归预测 | Matlab灰狼优化算法优化BP神经网络回归预测
GWO-BP回归预测 | Matlab灰狼优化算法优化BP神经网络回归预测
|
SpringCloudAlibaba 负载均衡 Java
【二】SpringCloud Alibaba之Nacos整合篇(配置负载均衡)
【二】SpringCloud Alibaba之Nacos整合篇(配置负载均衡)
1914 0