大数据技术引论(一)|学习笔记

简介: 快速学习大数据技术引论(一)

开发者学堂课程【高校精品课-北京理工大学-大数据技术导论:大数据技术引论(一)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/857/detail/14195


大数据技术引论(一)

 

内容介绍:

一、 课程概况

二、大数据时代背景

 

一、课程概况

大数据技术导论这门课程的概况是以大数据处理技术为平台,介绍涵盖数据采集、数据处理、数据分析等全过程的大数据处理知识,课程内容包括数据采集、大数据组织与管理、大数据处理技术、大数据分析、数据安全、数据可视化、大数据应用等

首先介绍大数据技术导论的引用部分,包括三个知识点,第一个是大数据时代背景,第二个是大数据应用价值及大数据基本概念。

 

二、大数据时代背景

1、工业革命的变革历程

首先看一下工业革命的变革历程,我们一共经历了四次工业革命历程,第一次工业革命是17-18世纪,这个世纪随着蒸汽机的使用,进入了蒸汽机时代,大大推动了机械工业的快速发展;第二次工业革命是19-20世纪初,在这次工业革命中随着流水线作业和电力的应用,进入了电气时代,在这个时代极大的提高了企业的自动化水平;第三次工业革命主要是发生在20世纪,这一次工业革命与我们计算机密切相关联,随着半导体技术和计算机软硬件技术的快速发展,人类社会进入了信息化时代,在这个时代极大的推动了企业的转型升级;第四次工业革命就是大数据时代,就是和我们大数据密切相关联,主要是随着21世纪以来,包括互联网、云计算、大数据技术的快速发展,人类社会进入了大数据时代。

 图片199.png

2、信息技术社会正在经历从 IT 时代到 DT 时代的转变
经过40年来的快速发展,信息技术社会的演进经历了五大形态,第一个社会形态是IT信息时代,这个时代是上世纪80年代,PC的快速普及,信息化成为时代主题;第二个社会形态是互联网时代,上世纪90年代,通信技术和互联网技术迅猛发展,互联网信息共享成为时代主题;第三个社会形态是移动互联网时代,21世纪前十年,随着智能手机爆发,信息个性化出现,互联网+成为时代主题;第四个社会形态是大数据时代,在2012年随着大数据时代已经降临,我们人类社会方方面面的决策将日益基于数据和分析而作出,将来我们的信息技术时代可能进入 AI 时代也可能进入IOT时代,在大数据时代出现以来后面形态的划分可能不是特别层次清晰,体现出四浪叠加包括大数据、人工智能、物联网以及5G,在这个时代还体现了三要素,包括物联网、云计算以及大数据,如果说物联网是生产关系的话,那么云计算一定是生产力,而我们的大数据是生产资料,从这关系来看大数据在信息技术社会当中起到深重的作用。

 图片198.png

3、大数据产业对国民经济的重要支撑作用
有两组数据,第一组数据是从狭义大数据产值口径来看,所谓狭义大概包括专门大数据的软件、硬件及服务,大致在2013年时市场份额达到了300亿美元,从现在来看狭义大数据产值口径规模更大。

图片197.png另一种是从广义的大数据应用于各个行业来看,在各个国家包括欧盟、美国、英国、中国大概占到国民经济帧数的2%,所以说大数据无论从狭义还是广义来讲对国民经济的支撑作用十分显著,因此各国政府都高度重视大数据,纷纷推出各自的大数据战略,包括美国、欧盟,他们从推进数据开放、支持技术创新、打浩协作环境等方面多措并举,促进大数据快速发展,美国主要分成三步走,包括做强、做大以及注重隐私保护,从美国推进三步走战略之后各国紧随跟进包括欧盟、英国、日本、澳大利亚等等。

 图片196.png

我们国家也十分重视大数据战略的发展,从2015年开始到十八届五中全会提出了实施国家大数据发展战略,中国的大数据战略主要包括云计算与大数据重点专项、政务信息系统整合共享、人工智能重人工程以及人数据重人工程,这四个大数据战略决定了整个中国大数据的推进情况。

 图片195.png

3、大数据产业的快速发展对人才培养提出了新需求

在2017年,2018年华为和中国软件行业协会联合推出了中国ICT人才生态白皮书,在书中指出,2017年大数据市场规模为234亿,2020年达到578亿,2017年大数据领域人才需求缺口126万,2020年257万人,所以说我们的产业对大数据人才需求大。

5、小结

从工业革命历程、信息技术社会形态、大数据对国民经济的支撑作用、大数据发展战略、大数据人才需求,这五方面介绍了大数据的时代背景。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
2月前
|
存储 人工智能 大数据
云栖2025|阿里云开源大数据发布新一代“湖流一体”数智平台及全栈技术升级
阿里云在云栖大会发布“湖流一体”数智平台,推出DLF-3.0全模态湖仓、实时计算Flink版升级及EMR系列新品,融合实时化、多模态、智能化技术,打造AI时代高效开放的数据底座,赋能企业数字化转型。
725 0
|
4月前
|
数据采集 人工智能 分布式计算
ODPS在AI时代的发展战略与技术演进分析报告
ODPS(现MaxCompute)历经十五年发展,从分布式计算平台演进为AI时代的数据基础设施,以超大规模处理、多模态融合与Data+AI协同为核心竞争力,支撑大模型训练与实时分析等前沿场景,助力企业实现数据驱动与智能化转型。
411 4
|
5月前
|
存储 分布式计算 Hadoop
Hadoop框架解析:大数据处理的核心技术
组件是对数据和方法的封装,从用户角度看是实现特定功能的独立黑盒子,能够有效完成任务。组件,也常被称作封装体,是对数据和方法的简洁封装形式。从用户的角度来看,它就像是一个实现了特定功能的黑盒子,具备输入和输出接口,能够独立完成某些任务。
|
2月前
|
数据可视化 大数据 关系型数据库
基于python大数据技术的医疗数据分析与研究
在数字化时代,医疗数据呈爆炸式增长,涵盖患者信息、检查指标、生活方式等。大数据技术助力疾病预测、资源优化与智慧医疗发展,结合Python、MySQL与B/S架构,推动医疗系统高效实现。
|
4月前
|
SQL 分布式计算 大数据
我与ODPS的十年技术共生之路
ODPS十年相伴,从初识的分布式计算到共生进化,突破架构边界,推动数据价值深挖。其湖仓一体、隐私计算与Serverless能力,助力企业降本增效,赋能政务与商业场景,成为数字化转型的“数字神经系统”。
|
4月前
|
存储 人工智能 算法
Java 大视界 -- Java 大数据在智能医疗影像数据压缩与传输优化中的技术应用(227)
本文探讨 Java 大数据在智能医疗影像压缩与传输中的关键技术应用,分析其如何解决医疗影像数据存储、传输与压缩三大难题,并结合实际案例展示技术落地效果。
|
4月前
|
机器学习/深度学习 算法 Java
Java 大视界 -- Java 大数据在智能物流运输车辆智能调度与路径优化中的技术实现(218)
本文深入探讨了Java大数据技术在智能物流运输中车辆调度与路径优化的应用。通过遗传算法实现车辆资源的智能调度,结合实时路况数据和强化学习算法进行动态路径优化,有效提升了物流效率与客户满意度。以京东物流和顺丰速运的实际案例为支撑,展示了Java大数据在解决行业痛点问题中的强大能力,为物流行业的智能化转型提供了切实可行的技术方案。
|
5月前
|
数据采集 自然语言处理 分布式计算
大数据岗位技能需求挖掘:Python爬虫与NLP技术结合
大数据岗位技能需求挖掘:Python爬虫与NLP技术结合
|
5月前
|
存储 分布式计算 算法
Java 大视界 -- Java 大数据在智能教育在线考试监考与作弊检测中的技术创新(193)
本文探讨了Java大数据技术在智能教育在线考试监考与作弊检测中的创新应用。随着在线考试的普及,作弊问题日益突出,传统监考方式难以应对。通过Java大数据技术,可实现考生行为分析、图像识别等多维度监控,提升作弊检测的准确性与效率。结合Hadoop与Spark等技术,系统能实时处理海量数据,构建智能监考体系,保障考试公平性,推动教育评价体系的数字化转型。
|
5月前
|
SQL 缓存 监控
大数据之路:阿里巴巴大数据实践——实时技术与数据服务
实时技术通过流式架构实现数据的实时采集、处理与存储,支持高并发、低延迟的数据服务。架构涵盖数据分层、多流关联,结合Flink、Kafka等技术实现高效流计算。数据服务提供统一接口,支持SQL查询、数据推送与定时任务,保障数据实时性与可靠性。