开发者学堂课程【Hadoop 快速入门：Hadoop 大数据技术生态体系】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/92/detail/1399
Hadoop 大数据技术生态体系
大数据技术生态体系如图所示：
数据来源层：数据从哪里来，都有什么类型。
1)文件日志（半结构化结构）：浏览的网页和内容信息都保存在这里。关于半结构化数据，最后只能保存在数据库中。
2)视频、ppt 等非结构化数据。
数据传输层：
1）Sqoop 数据传递：负责从数据库（结构化数据）导出数据。
2）Flume 日志收集：负责从文件日志（半结构化数据）中读取数据，十分专业。
数据存储层：
1）HDFS 文件存储：最为强大的文件存储器。
2）Kafka 消息列队中也能存储一些文件，大概默认为 1G。
3）HBase 非关系型数据库：一般以 <k,v> 一对的形式存储数据。
资源管理层：
都由 YARN 来负责调配。
数据计算层：
1）MapReduce 离线计算：基于 Hadoop
l Hive 数据查询
l Mahout 数据挖掘
2）Spark Core 内存计算:基于内存
l SparkMlib 数据挖掘
l Spark R 数据分析
l Spark Sql 数据查询
实时计算：
1）Spark Streaming 实时计算
2）Storm 实时计算
