Apache Flink 漫谈系列(04) - State
实际问题
在流计算场景中,数据会源源不断的流入Apache Flink系统,每条数据进入Apache Flink系统都会触发计算。如果我们想进行一个Count聚合计算,那么每次触发计算是将历史上所有流入的数据重新新计算一次,还是每次计算都是在上一次计算结果之上进行增量计算呢?答案是肯定的,Apache Flink是基于上一次的计算结果进行增量计算的。
解决RocketMQ报No route info of this topic:异常
近日在做RocketMQ的时候,mqnamesrv和mqbroker都正常启动了,但是在运行生产者的时候,报了个No route info of this topic的异常,让我很是郁闷。上网找了一些资料,现把解决办法记录如下,如果还有其他的原因导致这个问题的,后续会补充。
Linux系统下:
在启动mqbroker的时候需要指定autoCreateTopicEnable=true
[Docker入门系列教程] 目录索引
Docker是一个开源平台,使开发者和系统管理员可以构建、发布和运行分布式应用。Docker包括Docker引擎、可移植的轻量级运行环境和打包工具,Docker Hub提供了分享应用和自动化工作流的云服务,Docker可以使应用由多个组件快速装配起来,消除了开发、测试和生产环境的差异。
重磅发布 | 《不一样的 双11 技术,阿里巴巴经济体云原生实践》电子书开放下载
2019 双11,订单创新峰值达到 54.4 万笔/秒,单日数据处理量达到 970PB,面对世界级流量洪峰,今年的阿里巴巴交出了一份亮眼的云原生技术成绩单,并实现了100% 核心应用以云原生的方式上云:
双11 基础设施 100% 上云
支撑 双11 在线业务容器规模达到 200 万
采用神龙弹性裸金属服务器计算性价比提升 20%
这些数据背后是对一个个技术问题的反复尝试与实践。
微服务架构从概念到实践
系列介绍:云原生时代 Devops 实操笔记
点击《架构师成长系列》立即订阅更多本系列直播
对于大部分程序员来说,架构师是一个令人向往的角色。如果说程序员的工作是谋一域,作为架构师就需要对技术的深度和广度都有深刻的了解,是不折不扣的谋全局者。
使用 Kafka 和 Flink 构建实时数据处理系统
引言
在很多领域,如股市走向分析, 气象数据测控,网站用户行为分析等,由于数据产生快,实时性强,数据量大,所以很难统一采集并入库存储后再做处理,这便导致传统的数据处理架构不能满足需要。流计算的出现,就是为了更好地解决这类数据在处理过程中遇到的问题。