来源/ 中国软件网(ID:Hapiweb-soft6);作者/刘学习;编辑/ Emon
天猫“双11”是一场购物盛宴?在大家的眼中确实是这样。
但是在阿里人的眼中,天猫“双11”更是一场创新技术的试验场。许多突破行业天花板的创新技术,经过双11考验,正源源不断地走向更多的应用领域。
阿里巴巴集团董事局主席兼首席执行官张勇在不久前谈及天猫双11时表示:“相比销售数字,我更关心技术的峰值。“
2019年的双11,阿里又试验了哪些技术?又经受了哪些考验呢?
阿里巴巴的核心系统100%跑在了公共云上!全球第一家把如此大规模的核心系统放在公共云上,即使大家耳熟能详的全球互联网公司也没有一家能做到。
阿里云扛住了世界上最大的流量洪峰,每秒订单创建峰值54.4万笔!而国内的某知名电商却正在为每秒1000笔创建订单而发愁。
阿里自研数据库POLARDB和OceanBase分别处理每秒8700万、6100万笔峰值请求;实时计算处理峰值每秒25.5亿笔;计算平台单日处理970PB数据;12亿笔物流智能化……
在双11当天,阿里CTO张建锋说,今年双11,阿里仍然是一家高速飞行中的飞机,我们成功的在这个过程中换上了全新的引擎。
那让我们看看,双11背后的阿里的那些神秘的技术。
1 神龙架构,要将虚拟化之间性能和损耗降为0
2017年,阿里云发布了第一代神龙架构。作为一个“新物种”,神龙开创了云计算时代新计算范式,将芯片、软件以及硬件服务器完美融合在一起,在全球率先攻克了计算资源和性能损耗的 “顽疾”。
虚拟化技术让云计算具备弹性等优势,但也会如同黑洞般吸收走一部分机器的性能。例如,一台96内核的服务器上运行云服务器,可能需要占用8核32G来抵消虚拟化的开销,留给用户使用的只剩88核和剩余内存,造成了算力的浪费。
尽管云厂商、芯片商、虚拟化厂商都在试图尝试新的方法,减少资源和性能损耗,如Intel等芯片厂商提供了硬件级别的虚拟化支持,虚拟化技术本身也从Xen演进到了KVM,但由于软件、硬件、系统集成商各层之间依旧是各玩各的,并把自己的领域做到更好,都未能在根本上解决问题。
而神龙架构能弥补虚拟化带来的性能损耗,同时拥有云的弹性和运维优势。
2019年杭州云栖大会上,阿里云推出了第三代神龙架构,全面支持ECS虚拟机、裸金属、云原生容器等,在IOPS、PPS等方面提升5倍性能。
阿里云推出第三代神龙架构
在历经软件虚拟化、通用硬件虚拟化、专用硬件芯片虚拟化三个阶段后,第三代神龙架构实现了裸金属服务器、ECS虚拟机等计算平台的架构统一,能够将线下的物理集群非常顺滑得迁移到云,不仅保证稳定运行,在性能上还有非常大的飞跃:在云原生场景下,高效调度和自动化弹性伸缩的容器化产品可帮助用户降低50%的计算成本,性能比物理机更优越。
未来,神龙架构能将虚拟化之间性能和损耗降为0吗?确实非常值得期待的!
2 PolarDB:首次服务双11的云数据库经受住流量峰值考验
阿里云自主研发的PolarDB今年首次服务于阿里经济体双11,在11日凌晨顺利通过了流量峰值的考验,创下了每秒处理8700万笔请求的峰值记录。
PolarDB的特色首先体现在它是国内首个云原生数据库,采用存储计算分离、软硬一体化等创新设计,满足大规模业务场景上云需求。
第二,在性能上经受主了考验。在双11期间的70个小时的10TB的业务数据创建只读副本,在PolarDB上只需2分多钟。
第三,PolarDB另一个更关键的是成本只有商用数据库的1/10。
在数据库市场,云数据库服务日渐兴起,成为用户使用数据的一个重要方式。今年双11期间,阿里云旗下自研数据库PolarDB、RDS、AnalyticDB、TSDB等全线数据库产品参与双11,申通、大润发等业务背后都有阿里云数据库产品做支撑。
3 OceanBase:服务于金融业务,不能丢失一条数据
在金融领域,Oracle数据库占据统治地位。要想撼动Oracle数据库的地位,就要保证不能丢失任何一条数据这个底线,也绝对不能出现支付时不停“画圈“的体验。
天猫双11走过11年,消费者早已习惯了“丝般顺滑”的支付体验。这背后是支付宝技术的不断提升与创新,支付宝自主研发的金融级分布式关系数据库OceanBase,就是其中的翘楚。
2014年,支付宝开启去IOE征程,大胆尝试将10%的交易支付切换到OceanBase,结果超出想象。
今年10月,OceanBase在 “数据库领域世界杯”TPC-C基准测试中,打破了由美国公司Oracle保持了9年之久的联机交易处理系统(OLTP)世界纪录,成为首个登顶该榜单的中国数据库产品,被评价为“中国基础软件取得的重大突破”。
值得一提的是,今年天猫双11前夕,OceanBase完成了Oracle模式的研发,银行和金融机构原先使用Oracle的业务可以平滑迁移到OceanBase上。
目前已有银行伙伴完成了业务到OceanBase迁移,不仅帮助金融机构降低数据库使用成本,还可以享受分布式带来的红利,如高可用、高性能和在线扩展等。
4 飞天大数据平台:国内最大规模数据的计算平台
今年双11单日数据处理量再创记录,达到970PB。这一天量数据,什么样的平台能应付得了?
抗住这一规模数据挑战的就是阿里的飞天大数据平台,飞天大数据平台也成为国内规模最大的计算平台,创下了多项世界记录:
2013年8月15日,阿里云历史性地突破了同一个集群内5000台服务器同时计算的局限,如今可扩展至10万台计算集群。
2015、2016年,阿里云刷新世界计算奥运会SortBenchmark的六项世界纪录。
2017年,完成全球首次基于公共云的100TB BigBench大数据基准测试。
此外,平台还攻克了多个技术难题。如可以将不同的数据源用类似的方式存储,用统一的方法计算,提供一套标准化语言,快速实现不同类型数据的计算。
用“交互式查询”来解决海量数据查询慢的瓶颈,系统可以预判户将会做哪些查询,提前准备,大大降低大规模数据查询的时间。
飞天大数据平台也已服务于电商、工业、医疗、农业、气象、教育等诸多行业,帮助数万企业用更低成本、更高效率计算海量数据。
5 Flink:开源实时计算服务更多用户
每个双11,我们在数据大屏上看到的实时交易额,背后的技术支撑就是Apache Flink。
自2017年起,通过三年双11的大规模实战检验,阿里在流计算和批处理上积累了大量新功能,实现性能快速提升,并把探索出来的成果第一时间反馈给Flink社区,半年时间就向社区推进了120万代码。
Flink 技术支持显示海量实时交易量
Apache Flink 作为业界公认为最好的流计算引擎,不仅仅局限于做流处理,而是一套兼具流、批、机器学习等多种计算功能的大数据引擎,以其高吞吐低延时的优异实时计算能力、支持海量数据的亚秒级快速响应帮助企业和开发者实现数据算力升级。
如今,Apache Flink已成为CCTV、新浪微博、千寻位置、滴滴、美团、字节跳动、Netflix、Lyft等知名公司建设流处理平台的首要选择。
多年来,阿里技术被双11倒逼不断打破自己的天花板,也通过开源形式分享技术红利、不断输出给行业,成为推动全球技术进步的强大动力。
6 阿里AI:支撑60余个业务方向
天猫双11每一笔订单的产生,从搜索、推荐、咨询,到下单、支付,库存、物流等所有环节,背后都有阿里AI的支撑。这方面的应用非常丰富。
比如,达摩院的语音技术服务于阿里集团内部40余个BU、60余个业务方,包括天猫精灵、集团CCO、钉钉、阿里妈妈、蚂蚁客服MISA、阿里文学、UC&夸克浏览器、零售通、盒马、菜鸟、大麦和高德等。
阿里翻译AI能熟练使用超过20余种语言,60余种语言方向,服务全球100多个国家和地区的用户。在双11当天,翻译调用量突破16.6亿次,全天翻译超过2000亿个单词。
智能客服方面,阿里小蜜承接了淘宝天猫平台97%的在线服务需求,提供了相当于8.5万名人工客服小二的工作量。智能客服赋能数十万商家,解决店铺客人的在线服务需求,全天提供在线咨询对话量3亿次,解决率达到70%。11日凌晨,在“淘宝第一主播”薇娅的直播间,人数峰值达到4310万。
达摩院在人工智能领域拥有深厚的底层技术积累。在AI算法层,达摩院成立两年来在自然语言处理、智能语音、视觉计算等领域夺得40多项世界第一。
7 物流数智技术:1亿包裹签收再提速4小时
2019年天猫双11物流再创新速度。数据显示,11月13日10时左右,2019天猫双11的第1亿个包裹已经送达,比去年提速约4小时,仅用2.4天,创下数智物流新记录。过去6年天猫双11,1亿包裹送达时间从2013年9天,到今年只用了2.4天。
菜鸟驿站可容纳几万包裹 机器人送快递
数智技术已经渗透进物流的毛细血管,悄然驱动物流提速。
今年天猫双11,菜鸟在无锡投入了中国新一代智能仓,在一个库区内使用多种类型的机器人、机械臂等超过千台,智能协作,将整个仓库的发货效率提升60%。
位于宁波杭州湾的菜鸟进口保税仓是双11期间处理进口包裹量最大的保税仓之一,也是菜鸟打造的首个全数字化跨境仓库。通过一系列IoT智能设备,员工在仓库的作业流程被数字化,可实时记录、追踪、调配,整个仓库产能提高了50%,人效提高了20%。
菜鸟全球包裹网络中,也通过使用智能算法合单等技术,让原本需要50天送达俄罗斯普通快递,免费升级成了航空特快,仅仅10天可以送达俄罗斯消费者手中。在菜鸟驿站,人脸识别取件、高拍仪识别取件等Iot设备和人工智能技术的应用,让“一秒取件”成为末端取件的新体验。
8 绿色数据中心:自研液冷、深层水冷技术节能更环保
2019年,阿里巴巴启用了南通、深圳、张北等三地绿色数据中心备战双11,其中深圳河源、和南通是首次投入使用。
因为需要庞大的计算量,阿里巴巴从2010年就开始自建数据中心,并把绿色节能降耗放在重要位置。
2016年,阿里云就推出了全球首台“凉得快”服务器,为了给数据中心降温,工程师直接把服务器“泡在水里”——这是一种极其高效的散热方式:浸没式液冷。服务器被浸泡在一种特殊的绝缘冷却液里,运算产生热量直接被冷却液吸收进入外循环冷却,全程用于散热的能耗几乎为零,整体节能可达70%以上。
人工智能技术也被应用到数据中心里,算法模型可根据外部温度优化服务器负载,实现智能化电力和热能管控。这些技术都全面支撑双11的电商交易、支付、物流等环节,让双11更节能、环保。
在2019双11前夕,阿里巴巴宣布基于自主研发的液冷、深层水冷等技术,将数据中心的节能效果逼近极限,将每万笔电商交易的耗电量控制在2度电以内,这意味着仅双11一天,就能为社会节省超过20万度电。
阿里巴巴已建设了很多座新一代绿色数据中心,不仅有液冷技术、深层湖水制冷、低温空气制冷等高效的散热方式。未来这些节能技术会更大规模的覆用,在更大范围内推广。
原文发布时间:2019-11-23
本文作者:【原创】刘学习
本文来自云栖社区合作伙伴“中国软件网”,了解相关信息可以关注“中国软件网”