双十一背后的云计算技术奇迹

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 双十一背后的云计算技术奇迹

双十一当天,我坐在阿里巴巴双十一主会场的媒体中心里,真真切切地体会到了一次由数据带来的巨大震撼感。当双十一零点时刻来临,在数据大屏幕上,代表着交易数据的光束密集而快速地飞驰,全球无数个国家和地区被相继点亮,交易额的数字疯狂地在变化,18秒过亿,1分12秒过十亿,12分28秒过百亿……从之前的“剁手党”变身为俯视这场商业盛宴的“旁观者”,在惊叹阿里取得巨大商业成功的同时,也深深为支撑这场商业史上规模最大,参与人数最多,交易最频繁的电商狂欢节的阿里云计算的实力所折服。当然也引起了我的好奇,要怎样强大的云计算能力,才能驯服全世界“剁手党”的疯狂?


被“逼”出来的世界级技术创新

OceanBase是由阿里巴巴自主研发,中国首个具有自主知识产权的数据库,也是全球首个应用在金融业务的分布式关系数据库。今年它承载了双十一100%的交易流量,支付宝整个核心链路是运行在OceanBase上面,14万每秒的订单创建,8.59万笔每秒支付,以交易系统为例,在“双十一”一天写进数据库的数据量有10TB,再次验证了低成本数据库OceanBase的高效与稳定。而阿里的技术人员在被问及研发OceanBase的初衷时,竟坦称时被逼出来的。为了摆脱对个别固定厂商的依懒性,降低成本,以及满足云计算技术的发展和阿里业务的扩展需求,逼迫着他们去研发探寻成本更低、更稳定、更安全、更高效的新型数据库技术。


除了OceanBase,为了支撑起阿里电商平台在双十一产生的惊人交易量,阿里巴巴的工程师们搭建了全球最大规模的混合云架构,将淘宝、天猫核心交易链条和支付宝核心支付链条的部分流量,直接切换到了阿里云的公共云计算平台,通过公共云和专有晕的无缝连接支撑起了双十一的天量交易量,不仅在全球首家实现了核心交易系统的上云,还成就了一场全球最大规模的混合云弹性架构实践,让全世界见识了中国强大的计算能力。混合云的弹性架构真正实现了云计算能力的“削峰填谷”,极大地降低了IT采购成本,检验了阿里各系统软件间的兼容性问题,为未来整体计算能力的输出奠定基础。当然,混合云的架构也是“逼”出来的,它是基于双十一峰值的特性和电商交易各环节的特性催生出的“标准化”产品,正如阿里的技术人员所讲,阿里不可能为了双十一当天的峰值而无限地采购IT资源。


“异地多活”作为阿里的主要创新技术,在今年的双十一实现首秀。数据显示:阿里双十一订单创建峰值指标从2009年每秒钟400笔飙升至14万笔,支付峰值从每秒200笔提高到8.59万笔,从2009年到2015年,“双11”订单创建峰值增长了350倍,支付峰值增长了430倍。在交易和支付峰值不断攀高的情况下,要做到平稳度过峰值,就必须要求阿里进一步提升容灾能力和计算水平的伸缩能力,业内通用的“两地三中心”做法已经相形见拙,而系统可以根据业务需要,在多个数据中心之间调度流量,弹性利用服务器资源的“异地多活”技术将成为未来主流技术。从2014年双十一的“异地双活”到今年双十一的“异地多活”,电商对数据的同步性和一致性要求,迫使阿里攻克开源技术在“异地多活”方面的技术空白,形成自己的技术体系,并有意将这一技术逐步开放出来让更多企业用户受益。


中小企业和创业者将再不会经历阿里的“痛苦”

在今年的双十一热卖榜单里,除了手机,服饰、牛奶、食品……之外,出乎意料的是计算服务成为企业采购争抢的对象。阿里云在其官网,设有“云产品”、“域名与网站”、“云市场”、“行业云”、“国际站”、“学生站”等六个分会场,几乎囊括了用户一站式上云所需的所有产品与服务,在双十一当天狂欢售卖。来自阿里的数据显示:截止11月11日24时,超过3万家创新创业企业通过阿里云官网抢购计算资源,采购量相当于一座大型数据中心,较传统方式节省了上亿元的IT成本。其中,还包括了不少新疆、甘肃、宁夏、青海、西藏等中西部地区的创业者。可见,云计算不再是经济发达地区的“奢侈品”,越来越多偏远地区的创新创业者,开始利用其打破IT成本的桎梏,与其他创业者站在了同一起跑线上。对此,阿里云总裁胡晓明表示,以往只有大众消费品才是双11的热门商品,计算资源的热卖,恰恰说明了云计算已经成为普惠科技。阿里巴巴的技术能力,不仅仅只属于天猫和淘宝,而应该服务更多创新创业者。


上文提到的阿里自主研发的数据库OceanBase,在今年6月助力网商银行完全摆脱商业数据库,成为第一家低层数据库全部采用OceanBase的金融机构,这项技术也将有望明年通过阿里云的公共云计算平台正式对外界开放。阿里关于混合云架构的输出,在业界早有成功案例。我们熟知的铁路售票官方网站12306同样采用了阿里云技术构建起了庞大的混合云,它所面临的问题和双十一是一样的,峰值的考验和IT成本的平衡。去年春运售票高峰期,阿里云公共计算平台分流了12306高达75%的余票查询流量。12306采用的混合云架构是完全基于阿里云官网在售的标准化产品搭建,也就是说,通过阿里云的这些标准化产品,完全可以搭建起像淘宝、天猫、12306专业的万亿级的企业应用,让中小企业和创业者可以从容应对各种极端业务的挑战,而不会再经历当年阿里受限于扩容性的“痛苦”。


阿里每年的双十一,如果从技术角度来看,更像是一年一度世界上最顶尖IT技术的演兵场,阿里的技术团队要千方百计地研发新技术应对因为电商业务的增长带来的各种挑战,而这些技术都要经过双十一的严格考验,只有通过考验的技术才会被沉淀下来,进而形成标准化产品对外输出。一举创造4项世界纪录阿里云大数据处理平台ODPS就是其中的典型。ODPS最早用于支撑阿里系内部所有大数据处理工作,而现在外部开发者可享受同阿里工程师无差别的技术体验。而此次经过双十一考验并计划输出的技术将包括:应用于异地多活的数据传输产品Data Transmission、全球首个应用在金融业务的分布式关系数据库OceanBase、实时计算系统StreamSQL、数据可视化引擎dataV等。阿里云的愿景正是要将这些世界顶尖的技术加速对外输出,让这些技术变成普惠科技,将来甚至可以催生出无数个阿里巴巴。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
存储 安全 网络安全
云计算与网络安全:技术融合的未来之路
【10月更文挑战第30天】在数字化浪潮的推动下,云计算已成为企业信息技术架构的核心。然而,随之而来的网络安全问题也日益凸显。本文将探讨云计算与网络安全的关系,分析云服务中的安全挑战,并提出相应的解决方案。我们将通过实例展示如何在云计算环境中实现网络安全的最佳实践,以期为读者提供一条技术融合的未来之路。
|
8天前
|
存储 监控 安全
云计算与网络安全:云服务、网络安全、信息安全等技术领域的融合与挑战
本文将探讨云计算与网络安全之间的关系,以及它们在云服务、网络安全和信息安全等技术领域中的融合与挑战。我们将分析云计算的优势和风险,以及如何通过网络安全措施来保护数据和应用程序。我们还将讨论如何确保云服务的可用性和可靠性,以及如何处理网络攻击和数据泄露等问题。最后,我们将提供一些关于如何在云计算环境中实现网络安全的建议和最佳实践。
|
9天前
|
存储 安全 网络安全
云计算与网络安全:云服务、网络安全、信息安全等技术领域的融合与挑战
随着云计算技术的飞速发展,越来越多的企业和个人开始使用云服务。然而,云计算的广泛应用也带来了一系列网络安全问题。本文将从云服务、网络安全、信息安全等方面探讨云计算与网络安全的关系,分析当前面临的挑战,并提出相应的解决方案。
33 3
|
19天前
|
监控 安全 网络安全
云计算与网络安全:探索云服务中的信息安全技术
【10月更文挑战第43天】本文将深入探讨云计算与网络安全的交汇点,重点分析云服务中的信息安全技术和策略。我们将从云计算的基础架构出发,逐步剖析网络安全的重要性,并介绍如何通过实施有效的安全措施来保护数据和应用程序。文章还将提供实用的代码示例,帮助读者更好地理解和应用这些安全技术。
31 4
|
22天前
|
存储 安全 网络安全
云计算与网络安全:云服务、网络安全、信息安全等技术领域
【10月更文挑战第40天】随着互联网技术的不断发展,云计算已经成为了现代社会中不可或缺的一部分。然而,云计算的普及也带来了一系列的安全问题。本文将探讨云计算与网络安全之间的关系,包括云服务、网络安全、信息安全等领域。我们将通过代码示例来展示如何保护云计算环境中的敏感信息和数据。最后,我们将总结云计算与网络安全之间的紧密联系,并展望未来的发展趋势。
|
23天前
|
云安全 安全 网络安全
云计算与网络安全:技术挑战与解决策略
【10月更文挑战第39天】随着云计算技术的飞速发展,网络安全问题也日益凸显。本文将探讨云计算环境下的网络安全挑战,并提出相应的解决策略。通过分析云服务模型、网络安全威胁以及信息安全技术的应用,我们将揭示如何构建一个安全的云计算环境。
|
24天前
|
云安全 安全 网络安全
云计算与网络安全:技术融合的未来之路
【10月更文挑战第38天】 在数字化浪潮中,云计算和网络安全成为支撑现代企业和个人数据安全的两大基石。本文将深入探讨云计算服务如何与网络安全技术相结合,保障信息安全,并分析面临的挑战及未来发展趋势。我们将通过实际案例,揭示云安全的最佳实践,为读者提供一条清晰的技术融合路径。
|
25天前
|
安全 网络安全 数据库
云计算与网络安全:技术融合的未来之路
【10月更文挑战第37天】本文将探讨云计算与网络安全的交汇点,揭示它们如何共同塑造信息安全的未来。我们将深入了解云服务的核心组件、网络安全的关键策略以及两者如何相互增强。通过分析当前的挑战和未来的趋势,本文旨在为读者提供一条清晰的路径,以理解并应对这一不断发展的技术领域。
|
23天前
|
安全 持续交付 云计算
揭秘云计算中的容器化技术及其优势
揭秘云计算中的容器化技术及其优势
28 1
|
27天前
|
存储 安全 网络安全
云计算与网络安全:技术融合与挑战
【10月更文挑战第35天】本文将探讨云计算与网络安全的交叉点,包括云服务、网络安全和信息安全等技术领域。我们将深入了解云计算的基本概念,以及如何通过云服务实现网络安全和信息安全。同时,我们还将讨论云计算面临的安全挑战,并提出相应的解决方案。最后,我们将通过代码示例展示如何在云计算环境中实现网络安全和信息安全。
31 3