调度

首页 标签 调度
# 调度 #
关注
30504内容
说说阿里增量计算框架Galaxy
增量计算模型 (一) 背景 Galaxy是阿里数据平台事业部,实时计算组自研的增量计算框架。今年双十一,阿里直播大屏就是Galaxy支持和保障的重要业务之一,相信大家可能看过双十一之后网上一些介绍性的文章了,比如 阿里研发实时计算平台 每秒运算量将超千万 ,不过这篇文章面向非技术人员,最后的比喻也是有点醉。还这篇比较新的  阿里巴巴实时数据公共层助力双11媒体直播 。
10年+,阿里沉淀出怎样的搜索引擎?
阿里妹导读:搜索引擎是阿里的10年+沉淀,具有很高的技术/业务/商业价值。1688很多场景都借助了搜索中台的能力,基于此,以1688主搜为例介绍搜索全链路知识点,希望对你有所借鉴,有所启发。
《交互式分析六脉神剑》之Dataworks-HoloStudio初体验
HoloStudio是基于交互式分析的一站式开发平台,深度集成于DataWorks,除了提供可视化UI一键建表外,还支持纯SQL语言编写,也提供终端功能,像使用psql客户端一样使用HoloStudio来开发交互式分析,方便快捷,灵活巧妙,满足不同用户的不同开发习惯。
分布式队列Celery入门
Celery 是一个简单、灵活且可靠的,处理大量消息的分布式系统,并且提供维护这样一个系统的必需工具。它是一个专注于实时处理的任务队列,同时也支持任务调度。Celery 是语言无关的,虽然它是用 Python 实现的,但他提供了其他常见语言的接口支持。
搭建高可用负载均衡器: haproxy+keepalived
企业业务量比较小的时候,单台服务器就可以满足业务需要了。但是随着业务发展,单服务器的问题就凸显出来了,如何透明的扩展服务器和带宽,增加服务器吞吐量呢?负载均衡器可以解决以上问题。
每天1000+架次航班起降,算法+大数据能做什么
自2016年9月22日开赛以来,吸引了3457支队伍参赛,选手覆盖中国大陆、中国香港、美国、日本、法国、英国、新加坡等13个国家和地区。大赛共设2个独立赛场,即“1场算法挑战赛(机场客流量的时空分布预测)+1场众智创新赛(机场停机位资源分配优化)”,直面机场管理痛点。
Flink 原理与实现:架构和拓扑概览
## 架构 要了解一个系统,一般都是从架构开始。我们关心的问题是:系统部署成功后各个节点都启动了哪些服务,各个服务之间又是怎么交互和协调的。下方是 Flink 集群启动后架构图。 ![](http://img3.tbcdn.cn/5476e8b07b923/TB1ObBnJFXXXXXt
阿里容器调度系统Sigma仿真平台Cerebro揭秘
2017年是 Sigma 正式上线以来第1次参与阿里双11,在双11期间成功支撑了全集团所有容器的调配,使双11IT成本降低50%。
【大数据技术干货】阿里云伏羲(fuxi)调度器FuxiMaster功能简介(一) 多租户(QuotaGroup)管理
转载自xingbao     各位好,这是介绍阿里云伏羲(fuxi)调度器系列文章的第一篇,今天主要介绍多租户(QuotaGroup)管理的实现 一、FuxiMaster简介 FuxiMaster和Yarn非常相似,定位于分布式系统中资源管理与分配的角色:一个典型的资源分配流程图如下所
免费试用