kafka基本原理
下载安装地址:http://kafka.apache.org/downloads.html
原文链接:http://www.jasongj.com/2015/01/02/Kafka深度解析
Kafka主要术语直观解释
BrokerKafka集群包含一个或多个服务器,这种服务器被称为broker
Topic每条发布到Kafka集群的消息都有一个类别,这个类别被称为topic。
zookeeper集群搭建
软件环境:
linux服务器 1、3、5 (2*n + 1 )。 与选举相关,不能是偶数。
jdk1.7
zookeeper 3.
升级这十点认知,你就是大佬!
这是星球-静夜思模块里面一篇文章,有感于星球微信群的一次交流,连夜边思考边记录了下来。
静夜思模块完全是深夜里由感而发,大多包含但不限于: 认知的梳理 、方法论的探讨、各种问题的暗时间思考…
Spark Streaming 的一些问题
Spark Streaming 的一些问题,做选型前关注这些问题可以有效的降低使用风险。
checkpoint
checkpoint 是个很好的恢复机制。但是方案比较粗暴,直接通过序列化的机制写入到文件系统,导致代码变更和配置变更无法生效。
还没使用过消息队列?这一份书单值得你好好看看!
如果想看更多技术好书,可以关注微信公众号【程序员书单】作者黄小斜,目前是阿里Java工程师,业余时间广泛读书,在公众号里除了分享程序员必读的技术书籍之外,也会推荐很多关于个人成长、投资理财等方面的书籍。
Hadoop-No.12之数据采集的时效性
数据采集的时效性,指的是可进行数据采集的时间与Hadoop中工具可访问数量的时间之间的间隔.采集架构的时间分类会对存储媒介和采集方法造成很大的影响.
一般来说,在设计应用的采集构架之前建议使用以下分类中的一种.
反思 | 分布式框架是必须的吗?
本文讲的是反思 | 分布式框架是必须的吗,【编者的话】本文主要讲述了通过规范化处理流程,可以使用相同的处理流程来处理流式或者批量处理任务,例如Hadoop和Storm,从而提高重用性。