基于DAG的分布式任务调度平台-Maat
背景
什么是Maat
Maat是一个基于开源项目Airflow的流程调度系统,它支持用户自定义地组装流程节点,流程可以在用户指定的时间触发(支持crontab格式),或由用户手动触发。
Maat的所有节点分布式地运行在Hippo上,由Drogo调度。
结构化大数据分析平台设计
前言
任何线上系统都离不开数据,有些数据是业务系统自身需要的,例如系统的账号,密码,页面展示的内容等。有些数据是业务系统或者用户实时产生的,例如业务系统的日志,用户浏览访问的记录,系统的购买订单,支付信息,会员的个人资料等。
上传回调错误及排除
总结了SDK/API上传回调的示例、回调服务器的实现示例,说明了上传回调的调试方法,列举了上传回调的常见问题及排除方法。
视觉中国:基于容器云的同城双活微服务架构上云实践
本文正在参加阿里云「最佳上云实践」征文大赛(https://yq.aliyun.com/activity/150),欢迎届时给我们投票
视觉中国集团(Visual China Group)创立于2000年6月,是中国领先的视觉影像产品和服务提供商。
数据库案例集锦 - 开发者的《如来神掌》
案例
1、《多字段,任意组合(0建模) - 毫秒级实时圈人 - 最佳实践》
2、《IoT(物联网)极限写入、消费 最佳实践 - 块级(ctid)扫描》
3、数据采样和脱敏实践
《PostgreSQL 数据采样与脱敏》
《PostgreSQL 巧妙的数据采样方法》
4、数据清洗和去重实践
.
JindoFS: 云上大数据的高性能数据湖存储方案
JindoFS 是EMR打造的高性能大数据存储服务,可以为不同的计算引擎提供不同的存储服务,可以根据应用的场景来选择不同的存储模式。在2019杭州云栖大会大数据生态专场,阿里巴巴计算平台事业部EMR团队技术专家殳鑫鑫和Intel大数据团队软件开发经理徐铖共同向大家分享了云上大数据的高性能数据湖存储方案JindoFS的产生背景、架构以及与Intel DCPM的性能评测。
阿里云OSS同城冗余存储技术解析
一、背景
近年来,面对数字化转型带来的挑战,越来越多的企业开始将关键业务系统上云,也有更多的业务创新在云上,帮助企业实现业务增长,这些数据已经成为企业最重要的资产、资源。对于企业来说,如何确保宝贵的数据资产不丢失,不因为数据的原因影响业务的正常访问,一直是数据面对的重要挑战。