大数据技术引论(二)|学习笔记

简介: 快速学习大数据技术引论(二)

开发者学堂课程【高校精品课-北京理工大学-大数据技术导论:大数据技术引论(二)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/857/detail/14196


大数据技术引论(二)

 

大数据应用价值

1. 实例(1)

常胜将军林彪林彪是玩转大数据的鼻祖。林彪每天都要听汇报,实际上是在进行信息的采集。

在锦州战役中,采用战术是围城打援。林彪听值班参谋的汇报时,发现了几种的数据的诡异,问值班参谋三个问题。

为什么这次战役所缴获的短枪和长枪的比例比平常的战役要略高?为什么在那里缴获小车和大车的比例比平常略高?

为什么在那里俘获的军官与士兵的比例比其他的战役要略高?

他敏锐的发现击溃的是敌军的指挥部所在地,连夜发布命令追击敌军指挥部,果然俘获了廖伟祥。林彪非常善意去应用大数据来指挥战略战术。

2. 实例(2)

滴滴网约车大数据。滴滴利用其网约车在济南,新疆进行了大量的有关智慧城市方面的建设和系统开发。为什么网约车数据可以用来进行项目整理控制,以及汽车导航等一些有关智慧城市方面建设的内容?因为滴滴公司可以拿到网约车的交通数据。根据网约车交通数据,可得到网约车在城市的运行交通模型。

网约车的交通模型可以是看到整个城市的交通模型的样本,因为是在整个城市范围交通模型里面进行采样。根据样本,可以得到整个城市的交通模型。有了城市的交通模型,就可从事任何有关智慧城市的工作,如:更合理的控制信号灯、汽车导航、预测整个人流分布等。

 图片187.png

3. 实例(3)

工业大数据,一般控制里面有被控对象,被控对象包括裂解炉、铝电解槽、氧气顶吹转炉等,都是一些高耗能的被控对象。一般控制方式包括两种,一种是模型控制,一种是数据控制或称为模型驱动和数据驱动。关于模型驱动,需要人对被控对象的生产机理搞得非常清楚,包括其物理过程,包括其化学过程等,此时用模型来进行控制没有问题。但是对于控制机理不清晰或在一些复杂场景情况时,用控制模型效果会不理想。此时基于大数据的方法可能会成为一个唯一的可行的解决方法。 

图片186.png 

4. 实例(4)

医疗健康大数据,是国际民生的一个非常重要的领域。在 70 年代和 80 年代交通不发达的乡村,诊断疾病诊断需要赤脚医生背着药箱到下乡去看病。那时看病的模式是经验,现在医生看病时基于医学影像信息来进行诊断,谁家设备好诊断的水平就高。麦肯锡研究所进行了一个预测。

在将来疾病诊断时,疾病诊断模式一定会基于大数据。医生会参考包括医学影像数据,包括诊疗信息,包括药物和药物的一些效果等等,需要看大量的数据,才能得出一个综合的结论。

图片185.png

5. 实例(5)

钢铁大数据。中国的钢铁企业非常大,但是不强,还存在许多矛盾。第一个是钢铁企业的大规模生产。只有生产规模变大,效益才好。但是存在大批个性化且相对较小的订单。

 图片184.png

因为生产成本不合适导致超大规模的企业不受理50万吨以下的订单。另外大众的原材料采购价格受市场波动影响较大。

第三,国内一些少数高端产品其性能稳定性不足,无法做到价格和成本上的有效控制

因此基于大数据进行全流程控制是解决这些矛盾的一个可行之道。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
2月前
|
存储 人工智能 大数据
云栖2025|阿里云开源大数据发布新一代“湖流一体”数智平台及全栈技术升级
阿里云在云栖大会发布“湖流一体”数智平台,推出DLF-3.0全模态湖仓、实时计算Flink版升级及EMR系列新品,融合实时化、多模态、智能化技术,打造AI时代高效开放的数据底座,赋能企业数字化转型。
725 0
|
4月前
|
数据采集 人工智能 分布式计算
ODPS在AI时代的发展战略与技术演进分析报告
ODPS(现MaxCompute)历经十五年发展,从分布式计算平台演进为AI时代的数据基础设施,以超大规模处理、多模态融合与Data+AI协同为核心竞争力,支撑大模型训练与实时分析等前沿场景,助力企业实现数据驱动与智能化转型。
411 4
|
5月前
|
存储 分布式计算 Hadoop
Hadoop框架解析:大数据处理的核心技术
组件是对数据和方法的封装,从用户角度看是实现特定功能的独立黑盒子,能够有效完成任务。组件,也常被称作封装体,是对数据和方法的简洁封装形式。从用户的角度来看,它就像是一个实现了特定功能的黑盒子,具备输入和输出接口,能够独立完成某些任务。
|
2月前
|
数据可视化 大数据 关系型数据库
基于python大数据技术的医疗数据分析与研究
在数字化时代,医疗数据呈爆炸式增长,涵盖患者信息、检查指标、生活方式等。大数据技术助力疾病预测、资源优化与智慧医疗发展,结合Python、MySQL与B/S架构,推动医疗系统高效实现。
|
4月前
|
SQL 分布式计算 大数据
我与ODPS的十年技术共生之路
ODPS十年相伴,从初识的分布式计算到共生进化,突破架构边界,推动数据价值深挖。其湖仓一体、隐私计算与Serverless能力,助力企业降本增效,赋能政务与商业场景,成为数字化转型的“数字神经系统”。
|
4月前
|
存储 人工智能 算法
Java 大视界 -- Java 大数据在智能医疗影像数据压缩与传输优化中的技术应用(227)
本文探讨 Java 大数据在智能医疗影像压缩与传输中的关键技术应用,分析其如何解决医疗影像数据存储、传输与压缩三大难题,并结合实际案例展示技术落地效果。
|
4月前
|
机器学习/深度学习 算法 Java
Java 大视界 -- Java 大数据在智能物流运输车辆智能调度与路径优化中的技术实现(218)
本文深入探讨了Java大数据技术在智能物流运输中车辆调度与路径优化的应用。通过遗传算法实现车辆资源的智能调度,结合实时路况数据和强化学习算法进行动态路径优化,有效提升了物流效率与客户满意度。以京东物流和顺丰速运的实际案例为支撑,展示了Java大数据在解决行业痛点问题中的强大能力,为物流行业的智能化转型提供了切实可行的技术方案。
|
5月前
|
数据采集 自然语言处理 分布式计算
大数据岗位技能需求挖掘:Python爬虫与NLP技术结合
大数据岗位技能需求挖掘:Python爬虫与NLP技术结合
|
5月前
|
存储 分布式计算 算法
Java 大视界 -- Java 大数据在智能教育在线考试监考与作弊检测中的技术创新(193)
本文探讨了Java大数据技术在智能教育在线考试监考与作弊检测中的创新应用。随着在线考试的普及,作弊问题日益突出,传统监考方式难以应对。通过Java大数据技术,可实现考生行为分析、图像识别等多维度监控,提升作弊检测的准确性与效率。结合Hadoop与Spark等技术,系统能实时处理海量数据,构建智能监考体系,保障考试公平性,推动教育评价体系的数字化转型。
|
5月前
|
SQL 缓存 监控
大数据之路:阿里巴巴大数据实践——实时技术与数据服务
实时技术通过流式架构实现数据的实时采集、处理与存储,支持高并发、低延迟的数据服务。架构涵盖数据分层、多流关联,结合Flink、Kafka等技术实现高效流计算。数据服务提供统一接口,支持SQL查询、数据推送与定时任务,保障数据实时性与可靠性。