PolarFS

简介: PolarFS

  PolarFS

  PolarFS设计中采用了如下技术以充分发挥I/O性能:

  PolarFS采用了绑定CPU的单线程有限状态机的方式处理I/O,避免了多线程I/O pipeline方式的上下文切换开销。

  PolarFS优化了内存的分配,采用MemoryPool减少内存对象构造和析构的开销,采用巨页来降低分页和TLB更新的开销。

  PolarFS通过中心加局部自治的结构,所有元数据均缓存在系统各部件的内存中,基本完全避免了额外的元数据I/O。

  PolarFS采用了全用户空间I/O栈,包括RDMA和SPDK,避免了内核网络栈和存储栈的开销。

  在相同硬件环境下的对比测试,PolarFS中数据块3副本写入性能接近于单副本本地SSD的延迟性能。从而在保障数据可靠性的同时,极大地提升POLARDB的单实例TPS性能。

  PolarDB日志

  在数据库PolarDB中开创性地引入了物理日志(Redo Log)代替了传统的逻辑日志,不仅极大地提升了复制的效率和准确性,还节省了50%的 I/O 操作,对于有频繁写入或更新的数据库,性能可提升50%以上。

目录
相关文章
|
9月前
|
消息中间件 存储 Java
AutoMQ 如何基于裸设备实现高性能的 WAL
AutoMQ是基于S3 Stream的Apache Kafka云原生解决方案,利用云盘和对象存储实现低延迟、高吞吐、低成本流式存储。Delta WAL是其核心组件,作为持久化写入缓冲区,先在云盘上做高效持久化,再上传至对象存储。Delta WAL采用Direct IO在裸设备上读写,避免Page Cache污染,提高写入性能,加快宕机恢复速度。设计目标包括轮转写入、充分利用云盘性能和快速恢复。其写入和恢复流程涉及WALHeader、RecordHeader和SlidingWindow数据结构。基准测试显示,Delta WAL能充分利用云盘资源,实现高吞吐和低延迟。
135 0
AutoMQ 如何基于裸设备实现高性能的 WAL
|
存储 缓存 运维
非易失性内存技术及数据库
非易失性内存技术及数据库
183 0
|
存储
MVME55006E-0163R 将数据存储到可移动存储设备中
MVME55006E-0163R 将数据存储到可移动存储设备中
211 0
MVME55006E-0163R 将数据存储到可移动存储设备中
|
存储 安全 固态存储
LTO助推磁带大容量存储技术超越磁盘HDD
LTO标准最初有两个格式,一个Ultrium,主要负责支持大容量技术,一个Accelis,主要负责高性能。磁带被采用的原因,目前跟性能也不相关,要性能的话,早就切换固态硬盘SSD了。所以目前一说LTO,基本上大家就等同于LTO Ultrium。
|
存储 缓存 算法
提高存储系统性能的技术
提高存储系统性能的技术
183 0
|
存储 芯片 内存技术
存储系统
存储系统
206 0
|
Docker 容器
分布式内存文件系统Alluxio(上)
分布式内存文件系统Alluxio(上)
360 0
分布式内存文件系统Alluxio(上)
|
缓存 Java API
分布式内存文件系统Alluxio(下)
分布式内存文件系统Alluxio(下)
441 0
分布式内存文件系统Alluxio(下)
|
固态存储 关系型数据库 分布式数据库
PolarFS
PolarFS
208 0

热门文章

最新文章