龙蜥衍生技术助力清华登顶TPC物联网数据性能榜首 | 干货推荐

简介: 新纪录。

近日,国际事务处理性能委员会(TPC)发布最新的全球物联网场景权威评测 TPCx-IoT 榜单,浪潮信息与清华大学软件学院联合打造的 IoTDB 时序数据库一体机集群通过软硬件协同创新突破时序数据处理瓶颈 ,以 22,713,531IoTps 的性能成绩刷新世界纪录。该一体机由元脑 NF3280G7 服务器和龙蜥衍生版操作系统 KeyarchOS 构建底层物联网数据处理平台,与 IoTDB 深度融合,每秒可稳定支撑 2270 余万条物联网时序数据记录的并发处理,较前世界纪录大幅提升近 60%,同时系统总成本降低 57%,为智慧能源、智能制造等领域物联网数据“大规模采集-高并发瞬时写入-低延迟实时分析”的全生命周期管理及决策优化提供支撑。



TPCx-IoT 是 TPC(事务处理性能委员会)推出的权威物联网数据处理性能评测工具,为物联网数据处理平台的性能评估提供了统一的标准。该工具模拟了工业电力场景下数千个发电站的传感器数据管理,帮助用户评估并选择最适合其物联网应用的数据处理平台。本次打榜的 IoTDB 时序数据库一体机基于元脑服务器 NF3280G7,结合龙蜥衍生版操作系统 KeyarchOS 实现数据库处理性能大幅提升,数据库软件采用天谋科技基于清华发起的开源软件 Apache IoTDB 开发的时序数据库软件 TimechoDB,具备大规模高通量的时序数据读写、高效的实时分析处理、高压缩比的磁盘存储等显著优势。IoTDB 时序数据库一体机在 TPCx-IoT 榜单中强势登顶,是浪潮信息与清华软件学院团队通过软硬一体化协同创造的全新标杆。


  • TPCx-IoT 基准测试:物联网场景复杂时序数据处理性能评估标准

时序数据,指通过工业设备的传感器按时间维度记录设备状态变化的数据类型,如发电风机的功率、风速等。时序数据通常连续生成、体量巨大、采集频次高且查询使用时需要和时间信息紧密结合(如查询过去 30 分钟内电压变化情况),是工业互联网的核心数据。TPCx-IoT 基准测试是专为应对物联网场景中时序数据管理需求而设计的评估工具,主要从单位时间内处理数据纪录的数量(IoTps)和系统总成本($/kIoTps)两个关键维度进行评测。


其中,TPCx-IoT 基准评测中性能(IoTps)是最核心的指标,着重考察系统在高通量时间序列数据读写管理以及实时分析决策能力方面的表现,IoTps 值越高,意味着系统在单位时间内能够处理的数据记录越多,数据处理和查询性能则越强。


数据写入:测试首先生成数百亿条包含传感器名称、时间戳、读数等关键信息的数据记录,模拟物联网场景大规模数据瞬时到达场景,由参评系统执行数据摄取和写入操作,记录总耗时并计算系统在单位时间内的数据处理量从而得出 IoTps 值,过程中侧重考验系统的高通量读写及高压缩比存储性能,对硬件平台的 I/O 吞吐量、网络优化等能力也提出较大挑战。


实时查询:测试会同步模拟实际应用需求,跨表提取数据并执行查询分析操作,通过随机查询传感器在两个不同的 5 秒时间间隔内的数据记录,进行数据查验,从而验证系统是否具备高效的数据聚合与分析能力。

此外,TPCx-IoT 评测还充分考虑了系统总成本($/kIoTps),通过衡量性能与系统成本效益综合表现,帮助用户选择最适合其物联网应用的时序数据处理平台。


  • 高效支撑时序数据全流程处理,IoTDB 一体机登顶全球性能榜单

浪潮信息与清华软件学院团队联合打造的 IoTDB 时序数据库一体机,专为应对物联网时序数据的高并发写入、海量存储和快速查询分析等复杂需求而设计。该一体机由元脑 NF3280G7 服务器和龙蜥衍生版操作系统浪潮信息云峦 KeyarchOS 构建底层物联网数据处理平台,与 IoTDB 深度融合,本次评测中以每秒稳定写入 2270 余万条物联网时序数据的性能完成了 420 亿条数据处理,将性能成绩纪录大幅提升 60%,同时系统总成本较第二名降低 57%。



大规模高并发瞬时写入:该一体机通过计算加速等软硬件协同创新,在数据处理速度、响应效率及并发处理能力方面实现突破。其搭载的服务器较上一代性能提升 208%,整数计算负载处理时间缩短 52%,实现 100GB /秒的 I/O 吞吐能力,有效支持大规模设备高并发接入。通过 KeyarchOS 操作系统采用分层内存管理算法和透明大页分配策略,显著提升内存访问速度和资源分配效率。此外,与 IoTDB 时序数据库深度融合优化,应用列式编码压缩和共识状态同步等创新存储技术,实现每秒千万级传感器数据的高通量读写,与通用时序分布式存储引擎相比性能提升 5-10 倍,在多项测评中展现出显著的断层性能优势。


实时查询决策支持:该一体机在测评中表现出卓越的实时查询能力。依托先进的分布式索引架构和智能查询优化算法,可针对时间范围、设备状态等多维度条件实现毫秒级快速检索,并支持异常数据实时告警及根因分析等复杂分析操作,充分验证了系统在高通量数据查询和实时决策支持方面的领先能力。


系统总成本最优:该一体机利用高压缩比的磁盘存储技术,为用户提供了多种压缩算法,在保证数据完整性和精度的同时,减少数据存储空间需求,无损压缩比高达 20:1 以上,从而大幅降低硬件成本,为用户带来较高成本收益。


IoTDB 时序数据库技术源于清华大学软件学院王建民教授团队。团队积极探索国际化高端工业软件人才培养的新模式,依托大数据系统软件国家工程研究中心,建设了“工业大数据软件”国家基金委创新群体。TimechoDB 是源于清华的天谋科技基于 IoTDB 开发的企业版时序数据库软件,从 2011 年起,团队突破了数据高压缩、端边云贯通、时序大模型等数据库基础软件核心技术,帮助企业实时管控与预测设备健康与运行状态,其方案已广泛应用于能源、电力等关键行业场景。



未来,随着物联网不断发展和应用场景的不断拓展,浪潮信息将继续深化与清华团队的合作,在工业物联网时序数据的实时处理、智能决策分析、数据安全保障等方面持续技术突破,积极探索智慧城市、智慧交通等更丰富场景,加速物联网产业智能升级和创新发展。

—— 完 ——

相关文章
|
并行计算 算法 C++
统一内存统一内存的基本概念和使用
统一内存统一内存的基本概念和使用
2418 0
统一内存统一内存的基本概念和使用
|
8月前
|
存储 安全 Linux
|
5月前
|
关系型数据库 分布式数据库 数据库
|
弹性计算 运维 自然语言处理
开发者评测|操作系统智能助手OS Copilot
OS Copilot 是阿里云针对Linux操作系统推出的一款智能助手,它利用大模型技术提供自然语言问答、辅助命令执行和系统运维调优等功能,旨在提高Alibaba Cloud Linux的使用效率。OS Copilot在新人上手时并不简单,文档指引不够清晰,存在一些步骤无法顺利执行的问题,比如环境配置和命令执行。此外,产品目前仅支持Alibaba Cloud Linux,限制了其应用范围。虽然OS Copilot在一些基本功能上表现尚可,如解答问题和编写简单脚本,但在处理复杂任务或自动化运维时显得不足。总体而言,OS Copilot对新手和阿里云环境有一定的帮助,但功能和使用体验仍有改进空间。
|
运维 Ubuntu 应用服务中间件
自动化运维工具Ansible的实战应用
【10月更文挑战第36天】在现代IT基础设施管理中,自动化运维已成为提升效率、减少人为错误的关键手段。本文通过介绍Ansible这一流行的自动化工具,旨在揭示其在简化日常运维任务中的实际应用价值。文章将围绕Ansible的核心概念、安装配置以及具体使用案例展开,帮助读者构建起自动化运维的初步认识,并激发对更深入内容的学习兴趣。
366 4
|
存储 SQL 分布式计算
从源码看Velox如何做序列化
从源码角度分析Velox做序列化和反序列化的过程
1347 0
|
存储 监控 测试技术
Kibana 的 Alert—Elastic Stack 实战手册
Kibana 的 Alert 模块主要用于 Elastic Stack 的监控告警。以一种相对较低的使用成本,将复杂的查询条件,编辑完成后监控不同的 Elastic Stack 的技术产品中产生的数据,最终把符合条件的告警信息以需要的方式反馈给用户。
5263 0
Kibana 的 Alert—Elastic Stack 实战手册
|
存储 缓存 算法
交换机转发机制:存储转发与直通转发
交换机转发机制:存储转发与直通转发
2523 1
|
人工智能 Cloud Native PyTorch
阿里云 ACK 云原生 AI 套件中的分布式弹性训练实践
阿里云 ACK 云原生 AI 套件中的分布式弹性训练实践
149192 4