阿里云重磅开源实时计算平台Blink,挑战计算领域的“珠峰”

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Blink应约开源。

【编者按】如果读者对Blink和Flink的关系,Blink研发历史等感兴趣,推荐阅读:
新闻背后|关于Blink和Flink,开发者的这些问题可以从这篇文章得到回答

对于Blink开源技术讨论,可参考《终于等到你!阿里正式向 Apache Flink 贡献 Blink 源码》


信息爆炸的时代,智能推荐已经被应用到各类互联网产品中,但为千万级甚至亿级规模的用户实时做精准的推荐难度极高。这一难题已经被阿里攻克了:双11的第1分钟,数千万人同时涌进天猫,点开APP的一瞬间,心仪的宝贝就已经出现在屏幕上,这种一秒都没延迟的体验来自阿里云的“计算王牌”——实时计算平台Blink。

1月28日,阿里云正式宣布,将这一技术开源,要让所有计算在线、实时,帮助人类追赶时间。

blink_

Blink是一项典型的“传火于薪”开源技术,传承自Flink开源框架,后者最早适用于小流量互联网场景的数据处理。

由于看好实时计算,阿里率先对Flink进行改造,并将Flink的计算能力推向巅峰,推出内部版Blink,将计算延迟降低到人类无法感知的毫秒级:浏览网页的时候,你只是眨了一下眼睛,但在淘宝、天猫处理的信息已经刷新了17亿次。

实时计算到底有多重要?2004年,谷歌开启了离线计算时代,可以针对海量数据进行定时计算,但随着电商、金融等行业的发展对大数据计算提出了新的需求,在金融交易场景里,风控系统如果不能实时观察每一个账户的行为动态,就可能因为1秒的延迟遗漏风险,无法阻断危险交易,造成消费者损失。但实时计算突破了这一技术瓶颈。

现在,阿里巴巴集团的全部核心业务已经用上Blink。除了技术大考双11之外,ET城市大脑实时计算着杭州1300个信号灯路口、4500路视频,保障着交通动脉的通畅;淘宝、天猫每天为数亿用户展现实时的“专属”页面。

未来,这项技术还会被应用到社会的各个场景:工厂设备的物联网设备能实时分析数据、提高生产良品率;物流派送平台能第一时间下单,把商品及时送到消费者手中;导航软件时刻紧随出行轨迹,不再错过转弯口……

关于这次开源,Data Artisans(Flink创始公司)的 CTO Stephan Ewen兴奋地表示:“阿里巴巴是Flink最大的贡献者之一,很高兴阿里能将内部优化的Flink版本开源给社区,让开发者享受到更先进的计算能力。”

阿里巴巴集团副总裁周靖人说:“我们一直密切关注并积极参与最前沿的计算技术。Flink过去几年在计算领域获得了很大成功,阿里、Uber、Netflix等都是Flink的受益者,我们希望通过这次开源进一步服务整个社会。”

在此之前,阿里已经为Flink社区贡献近20万行代码改动,参与建立了首个Flink中文社区,推动了这项实时计算技术在国内的发展。

据了解,在各大开源社区,阿里表现活跃,已有400多个开源项目,涉及中间件、框架、组件、数据库、存储等,包括滴滴、网易、Netflix、Uber在内的互联网公司都是阿里开源项目的使用者。在GitHub贡献排行榜上,阿里是唯一一家入围顶尖贡献名单的中国公司。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
2月前
|
消息中间件 Java Kafka
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
52 1
|
4月前
|
存储 SQL 安全
联通实时计算平台问题之如何体现集群治理的效果
联通实时计算平台问题之如何体现集群治理的效果
|
4月前
|
消息中间件 分布式计算 Kafka
联通实时计算平台问题之实时计算平台对于用户订阅和数据下发是如何支持的
联通实时计算平台问题之实时计算平台对于用户订阅和数据下发是如何支持的
|
4月前
|
消息中间件 监控 Java
联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
|
4月前
|
消息中间件 监控 Kafka
联通实时计算平台问题之Flink状态后端数据量较大时,问题排查要如何进行
联通实时计算平台问题之Flink状态后端数据量较大时,问题排查要如何进行
|
4月前
|
消息中间件 存储 算法
联通实时计算平台问题之亿级标签关联实现且不依赖外部系统要如何操作
联通实时计算平台问题之亿级标签关联实现且不依赖外部系统要如何操作
|
4月前
|
消息中间件 监控 Kafka
联通实时计算平台问题之实时计算平台的数据处理流程是什么样的
联通实时计算平台问题之实时计算平台的数据处理流程是什么样的
|
4月前
|
监控 Java Serverless
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
|
3月前
|
运维 数据处理 数据安全/隐私保护
阿里云实时计算Flink版测评报告
该测评报告详细介绍了阿里云实时计算Flink版在用户行为分析与标签画像中的应用实践,展示了其毫秒级的数据处理能力和高效的开发流程。报告还全面评测了该服务在稳定性、性能、开发运维及安全性方面的卓越表现,并对比自建Flink集群的优势。最后,报告评估了其成本效益,强调了其灵活扩展性和高投资回报率,适合各类实时数据处理需求。
|
1月前
|
存储 分布式计算 流计算
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
本文介绍了阿里云开源大数据团队在实时计算领域的最新成果——向量化流计算引擎Flash。文章主要内容包括:Apache Flink 成为业界流计算标准、Flash 核心技术解读、性能测试数据以及在阿里巴巴集团的落地效果。Flash 是一款完全兼容 Apache Flink 的新一代流计算引擎,通过向量化技术和 C++ 实现,大幅提升了性能和成本效益。
1075 73
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎