实时数据处理框架调研
产品
模型
API
保证次数
容错机制
状态管理
延时
吞吐量
成熟度
Storm
Native
Compositional
At least once
Record ACKs
Not built-in
< 1s
Low
High
Trident
Micro-batching
Compositi.
首次加入云栖大会的Flink专场,究竟都讲了啥?
9月19日,云栖大会的Flink分论坛,在杭州正式开幕。今天是云栖大会的第一天,据悉,这也是云栖大会首次加入Flink的论坛,足见阿里对于Flink前景的看好与重视。本次Flink分论坛,除了阿里巴巴的嘉宾外,论坛也邀请了Data Artisans的联合创始人,Flink的开创者和发扬者同台,共话Flink的前世今生。
准实时异常检测系统
本文为您介绍利用实时计算设计准实时(延迟在100ms以内)异常检测系统。
背景介绍
比如一家银行要做一个实时的交易检测,判断每笔交易是否是正常交易:如果用户的用户名和密码被盗取,系统能够在盗取者发起交易的瞬间检测到风险来决定是否冻结这笔交易。
Hadoop summit 2015 实时计算
有幸参加了6月9号到6月11号在圣何塞举办Hadoop summit 2015,主要关注了实时计算相关的topic。
本次参会的主要感受是:实时处理成为各个公司的标配,OLAP是基本需求。
下面我主要分享如下三个议题:
实时计算框架(主要是storm,spark主题太少,涉及实时计算的基本没有
实时计算在「阿里影业实时报表业务」技术解读
阿里影业实时报表开始做法也是按照传统型报表做法一样,直接从阿里云rds写sql查询,随着数据量越来越大,这种做法已经没有办法满足业务扩张,带来的问题响应时间变慢,吞吐量低,我们急需要一种技术方案能满足未来2-3年随着影院增加,数据增长,而报表功能还能很好的满足客户需求技术方案。
菜鸟双11在「仓储配送数据实时化」的台前幕后
2017年双11,虽然仓配系统做了非常多业务端的优化,使得峰值不会达到如交易系统那般恐怖的程度,但仓配业务链路长、节点多、分析维度复杂的业务特点,也使我们在开发仓配实时数据的过程中,面临了不少挑战。而正好基于双11的业务背景,我们也开始着手建立起带有"仓配特色"的实时数据版图。
AI 时代,还不了解大数据?
如果要问最近几年,IT行业哪个技术方向最火?一定属于ABC,即AI + Big Data + Cloud,也就是人工智能、大数据和云计算。
5分钟从零构建第一个 Apache Flink 应用
作者:伍翀
在本文中,我们将从零开始,教您如何构建第一个Apache Flink (以下简称Flink)应用程序。
开发环境准备
Flink 可以运行在 Linux, Max OS X, 或者是 Windows 上。
实时计算Flink——发展历程
起源:脱胎于双十一实时大屏业务
实时计算 Flink脱胎于阿里巴巴集团内部双十一实时大屏业务,在阿里巴巴集团内部从最开始支持双十一大屏展现和部分实时报表业务的实时数据业务团队,历经多年的长期摸索和发展,到最终成长一个独立稳定的云计算产品团队。