每年14PB数据存储需求,海量交通安全数据如何安放?

简介:



中国汽车工业协会统计分析,2016年8月,在商用车主要品种中,与上月相比,客车和货车产销均呈增长,货车产销22.26万辆和23.25万辆,环比增长9.15%和10.21%,同比增长20.51%和15.37%。


而远程被管理车辆每天大约需要上传20MB左右的数据。按照100万辆计算,每月大约600TB,每年7.2PB左右。100万辆车对数据中心的存储需求大约在14PB。


面对不断增长的数据,对商用车纳入远程监控管理和提供远程信息服务的要求日益提高。相关交通运输行业作为传统行业的“老大哥”,在大数据时代的背景下,面临海量交通安全数据的处理,转型势在必行。对基础架构技术进行革新,配合上层软件解决方案的软硬件结合的模式将重塑高效、安全的交通运输业未来。


海量数据存储、实时分析

中交兴路智能车货匹配案例


北京中交兴路信息科技有限公司(以下简称“中交兴路”)是一家专注于商用车车联网领域的运营和服务商,提供安全、运行稳定可靠的完整车联网信息服务解决方案


传统方案将数据的采集和存储作为前端任务,而将数据的分析作为后端任务。各种传感器技术的应用造成数据种类复杂多样,非结构化数据所占比重快速上升,海量增长的数据也对网络传输和后端处理能力造成很大的压力。



远程被管理车辆每天大约需要上传20MB左右的数据。按照100万辆计算,每月大约600TB,每年7.2PB左右。根据政府监管和中交兴路其它增值服务需求(一年两份冗余),100万辆车对数据中心的存储需求大约在14PB。


面对如此海量的数据,中交兴路首先需要将数据的访问和存储等服务从硬件资源池中分离出来,使数据访问脱离硬件以面对新型存储设备和存储容量扩充等需求,此外中交兴路还需要考虑存储系统的性能和带宽以应对百万级车辆同时上传数据的需求。


打造智慧交通

“芯”方案


如此一来,增强数据存储能力,提高大数据处理和分析性能成为关键。作为国内领先商用车车联网服务商和全国性道路货运车辆公共监管与服务平台的供应商,中交兴路与英特尔合作,配合英特尔架构计算平台的领先优势,部署用以应对海量数据的采集、存储和分析等业务对数据中心的性能需求。


目前,中交兴路大数据平台可以满足现有百万级车辆的10PB级数据存储能力和存储性能需求,并可灵活扩展以应对更多车辆数据的存储挑战。与此同时,相应的车联网解决方案对大量车载终端海量实时数据及时采集、处理、存储和分析,同时支持大规模终端用户实时查看、分析、监控和处理实时业务,并可伴随业务规模的增长而动态扩充平台性能以满足业务需求。


中交兴路大数据中心利用分布式处理的软件框架ApacheHadoop/HBase和基于英特尔至强处理器E5系列的服务器实现百万级别车辆数据的存储、查询、分析和统计。底层架构使用英特尔至强处理器E7系列的出色性能和大内存支持等特性实现数据的实时分析和处理,并轻松实现计算性能的扩展,用以支持更高的计算密度和增强的虚拟化等特性,使得中交兴路大数据平台成为理想的云计算技术运行平台。


针对中交兴路车联网平台百万级车辆管理的业务需求,中交兴路和英特尔还一起研发实施了英特尔架构的硬件平台和第三方商业、开源软件相结合,基于云计算和大数据处理技术的车联网平台压力测试。压力测试方案模拟可以10万、30万、50 万车辆的位置和告警(如超速、疲劳驾驶),持续运行1小时。目前,中交兴路大数据中心既服务于中交各业务和产品线,也服务于整个货运生态;针对合作企业需求,通过数据开放平台,提供数据分析、趋势预测、用户行为画像、区域分析、咨询报告等服务。


“芯”动力

“芯”可能


中交兴路车联网大数据平台通过实现PB 级海量数据的集中存储和管理,满足车联网业务需求。该平台帮助确保车辆安全保障和实时护驾,通过实时获取车辆各项状态及信息数据实现实时管控,高效安全进行车货匹配,创新了行业商业模式,为行业发展转型奠定了基础。


基于英特尔架构的解决方案,凭借其高性能、可扩展性、灵活性、安全性等优势而构建起了包括存储、网络、计算在内的下一代数据中心架构,完美地支持了未来车联网发展和行业业务需求,而这一切只是英特尔助力交通运输行业转型、企业业务升级的一个“小”体现的缩影。

原文发布时间为:2017-03-28

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
安全 Shell 网络安全
基于Vulnhub靶场—DC4渗透测试过程
Vulhub是一个开源项目,专注于安全漏洞的复现和学习。包括Web应用、容器和操作系统漏洞。项目特点包括丰富的漏洞场景、详细的复现指南、便捷的环境部署和持续更新。通过Vulhub,安全从业者可以学习和研究漏洞利用技术。此外,文章还介绍了如何下载和搭建Vulhub靶机DC-4,并详细描述了利用Burp Suite进行密码爆破和命令执行,最终获取root权限的过程。
1945 0
|
8月前
|
缓存 JSON API
京东 item_get 接口对接全攻略:从入门到精通
京东item_get接口是获取商品详情的核心工具,支持价格、库存、图片等数据调取。本文详解对接流程、签名生成、Python调用示例及错误处理,涵盖权限申请、批量查询与最佳实践,助力开发者高效构建合规电商应用。(239字)
|
机器学习/深度学习 存储 人工智能
AI与量子计算:推动计算科学的边界
【10月更文挑战第7天】AI与量子计算的融合,标志着计算科学进入了一个全新的时代。在这个时代里,计算能力的边界被不断拓宽,科技创新的速度不断加快。我们有理由相信,在未来的日子里,AI与量子计算将继续携手并进,共同推动计算科学向着更加智能、更加高效的方向发展。让我们期待这一天的到来,共同见证计算科学的无限可能。
|
10月前
|
人工智能 自然语言处理 监控
软件开发效率低,如何通过AI技术实现软件开发的全面智能化?—— 解析大模型和RAG技术的关键作用
三桥君指出大模型与RAG技术正推动软件工程智能化变革,覆盖需求分析、代码生成、测试和CI/CD全流程。AI可自动解析需求、生成代码、检测缺陷并优化部署,显著提升效率与质量。RAG技术通过检索增强生成,使AI具备知识库实时调用能力。二者的结合让开发者向架构师角色转型,降低人力成本。本文AI专家三桥君从技术融合、场景应用及行业影响展开分析,指出智能化将重塑软件开发范式,开启软件工程新黄金时代。
746 0
|
开发框架 人工智能 Cloud Native
破茧成蝶:阿里云应用服务器让传统J2EE应用无缝升级AI原生时代
一场跨越20年的技术对话:在杭州某科技园的会议室里,一场特殊的代码评审正在进行。屏幕上同时展示着2005年基于WebLogic开发的供应链系统和2025年接入DeepSeek大模型的智能调度方案——令人惊叹的是,二者的核心业务代码竟保持着惊人的一致性。"我们保住了20年积累的238个核心业务对象,就像修复传世名画时保留了每一笔历史痕迹。"企业CTO的感慨,揭开了阿里云应用服务器助力传统系统智能化转型的奥秘。
425 13
|
JavaScript 定位技术 API
Vue获取照片拍摄的地理位置信息
iPhone屏幕尺寸和开发适配
1056 155
|
Linux Shell 数据安全/隐私保护
Linux 初学者必学的 10 个命令,学习!
【10月更文挑战第28天】
451 1
Linux 初学者必学的 10 个命令,学习!
|
定位技术 API 数据安全/隐私保护
QWEN-VL Plus 使用小记
近期尝试使用Qwen VL Plus模型处理图像识别任务,以GIS专业背景选择了一张街景图片进行测试。体验上,API调用流畅,环境配置简单,且成本低廉,免费额度可支持约1,000张图片的处理。不过,模型在某些情况下会产生幻觉,如对仅含Google水印的街景图片错误地描述存在地名信息。此外,其文本描述风格多变,从轻松愉快到沉稳不一,有时甚至会拒绝回答。
1053 5
|
存储 编译器 C语言
【c++丨STL】vector的使用
本文介绍了C++ STL中的`vector`容器,包括其基本概念、主要接口及其使用方法。`vector`是一种动态数组,能够根据需要自动调整大小,提供了丰富的操作接口,如增删查改等。文章详细解释了`vector`的构造函数、赋值运算符、容量接口、迭代器接口、元素访问接口以及一些常用的增删操作函数。最后,还展示了如何使用`vector`创建字符串数组,体现了`vector`在实际编程中的灵活性和实用性。
922 5
|
安全 Shell 网络安全
DC-2靶机上了解和练习WordPress框架
本文介绍了在一个名为DC2的虚拟环境中进行渗透测试的过程。首先通过扫描发现SSH和Web端口,并进行全端口扫描以寻找隐藏端口。接着通过信息收集、漏洞利用(如SQL注入、文件上传漏洞等)、反弹Shell及提权等步骤逐步攻陷目标系统。文章详细描述了使用Cewl生成字典、Dirsearch扫描目录、Wpscan枚举WordPress用户等技巧,并最终通过SSH登录和Git命令实现了提权,获取多个flag。
370 3

热门文章

最新文章