说说阿里增量计算框架Galaxy
增量计算模型 (一)
背景
Galaxy是阿里数据平台事业部,实时计算组自研的增量计算框架。今年双十一,阿里直播大屏就是Galaxy支持和保障的重要业务之一,相信大家可能看过双十一之后网上一些介绍性的文章了,比如 阿里研发实时计算平台
每秒运算量将超千万 ,不过这篇文章面向非技术人员,最后的比喻也是有点醉。还这篇比较新的 阿里巴巴实时数据公共层助力双11媒体直播 。
10年+,阿里沉淀出怎样的搜索引擎?
阿里妹导读:搜索引擎是阿里的10年+沉淀,具有很高的技术/业务/商业价值。1688很多场景都借助了搜索中台的能力,基于此,以1688主搜为例介绍搜索全链路知识点,希望对你有所借鉴,有所启发。
分布式队列Celery入门
Celery 是一个简单、灵活且可靠的,处理大量消息的分布式系统,并且提供维护这样一个系统的必需工具。它是一个专注于实时处理的任务队列,同时也支持任务调度。Celery 是语言无关的,虽然它是用 Python 实现的,但他提供了其他常见语言的接口支持。
每天1000+架次航班起降,算法+大数据能做什么
自2016年9月22日开赛以来,吸引了3457支队伍参赛,选手覆盖中国大陆、中国香港、美国、日本、法国、英国、新加坡等13个国家和地区。大赛共设2个独立赛场,即“1场算法挑战赛(机场客流量的时空分布预测)+1场众智创新赛(机场停机位资源分配优化)”,直面机场管理痛点。
Flink 原理与实现:架构和拓扑概览
## 架构
要了解一个系统,一般都是从架构开始。我们关心的问题是:系统部署成功后各个节点都启动了哪些服务,各个服务之间又是怎么交互和协调的。下方是 Flink 集群启动后架构图。
![](http://img3.tbcdn.cn/5476e8b07b923/TB1ObBnJFXXXXXt