开发者学堂课程【高校精品课-北京理工大学-大数据技术导论：大数据技术引论（三）】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/857/detail/14595
大数据技术引论（三）
内容介绍：
一、大数据概念
二、大数据处理过程
一、大数据概念
学习一下大数据的概念,比较典型的概念就是4v 的概念，这四个 V 包括：数据量、数据类型、数据变化的速度、价值密度
第一个 v 肯定是量大第二个数据类型繁多，就是面广，第三个，因为我们好多大型场景都是在线的，包括在线这个推荐等等，那么这些这个数据变化是非常非常快的，我们简称叫做快变。
第三个就是它的价值密度，显著的特点就是价值密度低，就说明我们这个大数据质量就是指的存在很大的问题，这个也很好理解，比如说我们大家都非常了解我们这个互联网，实际上在互联网里面尽管数量巨大，但是它的质量很大问题，这里面如果发现很有价值的东西的话，难度很大，这是我们从这个思维来判断一下我们大数据的基本这个特征，
简单提一下这个量大，我们看一组数据发现确实是在一些应用里面，这个数据量是巨大的，比如说我们这个神经网络，大概我们有14亿个神经元以及上千亿个神经连接，应该说这个数据量是非常巨大的。
比如说我们大家非常熟悉的这个移动社交和移动支付，我们的支付宝活动用户大概达到8.7亿，这个微信用户达到达到这个8.9个亿，脸书是20亿，推特用户是5亿，可以应该说这些这个社交，包括移动支付的这个用户量非常巨大的。比如我们来看一下这双11，这个双11就是购物节，其实那天大家可能不太了解，大家了解一天成就的额，但是在每秒钟处理的这个交易，也就是我每秒钟做这个买卖交易，大概是25.6万笔交易这个量，这种在线处理的对系统的要求还是非常非常之高的。
二、大数据处理过程
下面我们来简单看一下大数据这个处理过程，我们要想从大数据里面发现有价值的东西，得到这个大价值的话，是需要一系列的过程，大概要经历这么四个大的过程，第一个数据获取和数据的管理，在这里可能又涉及到一些大数据资源的管理，以及公共政策，其实公共政策这一部分，现在各个国家也在逐步的开始重视，包括欧盟已经这个托管有关数据方面的，这个 GDP 的这个有关隐私方面保护，因为这个东西也很难讲，比如说在淘宝里面的数据，这个数据到底是属于谁的，是属于国家，是属于淘宝还是我们个人用户自己？
这个现在没有法律来确定它。所以说在这一块有很多需要研究的东西，包括数据采集。数据来了，我们需要把它放起来，就是数据的存储，我们把他管好，高质量运用这些数据，所以这里面涉及到大出一些基础设施以及一些处理平台。当然我们要得到数据的价值的话，最后两个大的这个过程也是非常非常重要。
第一个就是数据的分析和数据理解，这一块对可以得到价值是至关重要的一步，这里面包含一些大数据的这个分析处理，以及这个技术调参等等技术和科学问题。当然大数据也是面相领域，比如说我们钢铁大数据，医疗大数据等等，那么这些大数据没有这个领域支持的话，我们不和这个理想结合的时候，我们也很难把它这个在领域应用的很好，所以这里面需要领域的科学家来共同来把这个大数据转换成我们这个数据价值。
大数据处理有这么四个基本这个步骤的基本过程。
那从上面这个大处理过程看，我们这个大数据很显然是一个多学科交叉的一个学科，随着我们的计算机，刚才我们看了也随着我们这个领域，那么在分析这一块儿的话，可能这个数据统计，包括统计学习等等等等一些知识点，这是我们整个大数据分析的一个基础。
下面是我们一些典型的非常基本的一些大数据处理系统，从大数据处理框架本身来讲的话，大概分三类，
一类是批处理，一类是流计算，还有这个批流混合。所谓批处理的话，实际上说白了就是离线处理，对历史数据的处理。那么这里面非常典型的包括 hadoop、Spark，以及flink等等这些非常著名的一些开源系统。第二个就是流计算，流计算的就是在线处理，实时计算。那么这个典型的这个代表，包括 storm、flink、Spark streaming等等怨系统，第三个就是把批流能够混合支持这个框架，这个典型代表就是 IBM 这个 beam 的这个系统，以上就是大数据系统进行比较简单的这个介绍。
下面想跟大家推出的就是我认为大学教育需要培养大数据思维，要提到的思维，我们要来看一下科学研究的这个示范，
其实可以一共有四种范型第一就是实验思维，很简单，就是我们通过观察来总结，来推理我们一般的这个科学规律。这个比较典型的就是牛顿的万有引力定律，他观察苹果落地了，他认为有万有引力，第二个科学范式就就是从逻辑推演，特别是理论科学，理论反省，他是从一般到特殊，从理论到实践来进行推演。
这个比如说这个爱因斯坦相对论的，比如说 e 等于 MC 平方，实际上他在开始提到这个公式的话，实际上它是有系数e 等于 K 的 MC 平方，他说如果上帝完美的话，这个 k 肯定是等于一，所以后来被实验科学所佐证，这个K就是1。
这个就是逻辑思维一个典型的这个案例，第三个范式就是计算思维，就是计算机仿真，那么这个比较典型的就是阿波罗登月计划，如果说没有计算机仿真的话，无法确保我们登月是什么样子，还有一个非常好的例子就是我们这个核不扩散条约签署，那我想任何一个国家，如果说核爆模拟技术不过关的话，他一定不会去签署的条约，因为只有在保障在进行仿真条件，这个5G 是可控的，能够进行演化，大家才能够去签署这个合同条约，这样的话是采用这个模拟仿真，然后计算思维识别方式来开展科学研究。
下面就是数据思维，其实上面已经非常明确地大概体现了一些大数据思维，就是数据关联分析，通过这些手段来发现数据的价值，实际上通过历史来看现在，通过历史来看未来，那么就是这样的数据思维的这个体现。
我们从大数据特征，大数据处理过程，大数据处理系统以及大数据思维等四个方面介绍一下我们大数据这个基本概念。
