spark概述与编程模型
spark快的原因1.内存计算
2.DAG
spark shell已经初始化好了SparkContext,直接用sc调用即可
lineage 血统
RDD wide and narrow dependencies
窄依赖每个 RDD partition最多被一个子RDD partirion依赖
/sbin(system binary)放的都是涉及系统管理的命令。有些系统里面
Gradle 1.12用户指南翻译——第二十三章. Java 插件
其他章节的翻译请参见:
http://blog.csdn.net/column/details/gradle-translation.html
翻译项目请关注Github上的地址:
https://github.com/msdx/gradledoc/tree/1.12。
Flink单机版安装与wordCount
Flink为大数据处理工具,类似hadoop,spark.但它能够在大规模分布式系统中快速处理,与spark相似也是基于内存运算,并以低延迟性和高容错性主城,其核心特性是实时的处理流数据。从此大数据生态圈又再填一员。
Kafka快速上手(2017.9官方翻译)
为了帮助国人更好了解、上手kafka,特意翻译、修改了个文档。官方Wiki : http://kafka.apache.org/quickstart
快速开始
本教程假定您正在开始新鲜,并且没有现有的Kafka或ZooKeeper数据。
Gradle 2.0用户手册——总览(译)(转)
2.1 特性
本章将介绍一系列Gradle的特性。
申明式构建和基于约定的构建
Gradle的核心是基于Groovy呈现了一种丰富的针对特定领域的语言,称之为Domain Specific Language(DSL)。