上一篇提到机器与机器之间交流，这里解释一下意思，其实说的是机器与机器间像人一样交流，但交流的密度更甚于人与人之间，甚至于远远超过人，因为它突破了很多人的限制。首先最重要突破的限制是交流的频率和交流的网络，交流的频率就是人与人交流一条消息的平均时间和机器与机器交流的时间的对比。交流的网络，正因为交流频次的不是一个数量级，那交流的网络就更不是一个数量级，一个人能够交流的最大上限是多少，那一台机器呢？那么问题就能引出来了，数据量的增长，数据关系的复杂度和现在的现状相比，肯定不是一个数量级。
那接着上一篇，怎么去存储，整合并分析，还是说需要再设计一个自动整合并分析的机器，然后供我们去参考，值得去思考！
（该文章未完，让思路飞一会儿）
大数据数据分析架构探究（二）
2019-04-19
1286
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
上一篇提到机器与机器之间交流，这里解释一下意思，其实说的是机器与机器间像人一样交流，但交流的密度更甚于人与人之间，甚至于远远超过人，因为它突破了很多人的限制。首先最重要突破的限制是交流的频率和交流的网络，交流的频率就是人与人交流一条消息的平均时间和机器与机器交流的时间的对比。
相关实践学习
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理，需要搭建数据仓库？学它！ 没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！ 想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！ 想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！ 出品人：阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps
目录
相关文章
|
2天前
|
SQL
数据可视化
大数据
|
2月前
|
大数据
【赵渝强老师】大数据主从架构的单点故障
大数据体系架构中，核心组件采用主从架构，存在单点故障问题。为提高系统可用性，需实现高可用（HA）架构，通常借助ZooKeeper来实现。ZooKeeper提供配置维护、分布式同步等功能，确保集群稳定运行。下图展示了基于ZooKeeper的HDFS HA架构。
61
0
0
|
1月前
|
存储
SQL
分布式计算
大数据时代的引擎：大数据架构随记
大数据架构通常分为四层：数据采集层、数据存储层、数据计算层和数据应用层。数据采集层负责从各种源采集、清洗和转换数据，常用技术包括Flume、Sqoop和Logstash+Filebeat。数据存储层管理数据的持久性和组织，常用技术有Hadoop HDFS、HBase和Elasticsearch。数据计算层处理大规模数据集，支持离线和在线计算，如Spark SQL、Flink等。数据应用层将结果可视化或提供给第三方应用，常用工具为Tableau、Zeppelin和Superset。
412
8
9
|
2月前
|
SQL
数据采集
分布式计算
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层：数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中，大数据平台层为核心，负责数据的存储和计算，支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型，应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
315
3
3
|
1月前
|
存储
负载均衡
监控
揭秘 Elasticsearch 集群架构，解锁大数据处理神器
Elasticsearch 是一个强大的分布式搜索和分析引擎，广泛应用于大数据处理、实时搜索和分析。本文深入探讨了 Elasticsearch 集群的架构和特性，包括高可用性和负载均衡，以及主节点、数据节点、协调节点和 Ingest 节点的角色和功能。
52
0
0
|
2月前
|
并行计算
数据挖掘
大数据
|
2月前
|
存储
分布式计算
数据挖掘
|
2月前
|
存储
分布式计算
大数据
|
18天前
|
分布式计算
Shell
MaxCompute
|
2月前
|
数据采集
监控
数据管理
数据治理之道：大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展，数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理，包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理，为企业数据治理提供参考。
124
1
1
热门文章
最新文章
1
使用Qwen2.5+SpringBoot+SpringAI+SpringWebFlux的基于意图识别的多智能体架构方案
2
基于HarmonyOS 5.0的元服务：技术架构、应用场景与未来发展【探讨】
3
ARM架构PC退货率与CEO策略透视
4
《docker基础篇：2.Docker安装》包括前提说明、Docker的基本组成、Docker平台架构图解(架构版)、安装步骤、阿里云镜像加速、永远的HelloWorld、底层原理
5
《鸿蒙HarmonyOS应用开发从入门到精通（第2版）》学习笔记——HarmonyOS架构介绍
6
RWKV-7：RWKV系列开源最新的大模型架构，具有强大的上下文学习能力，超越传统的Attention范式
7
StockMixer：上海交大推出预测股票价格的 MLP 架构，通过捕捉指标、时间和股票间的复杂相关性，预测下一个交易日的收盘价
8
一文看懂Elasticsearch的技术架构：高效、精准的搜索神器
9
为什么企业需要开展架构治理？
10
面向AI的服务器计算软硬件架构实践和创新
1
深度挖掘数据，智慧决策，VeryReport报表软件引领数据分析新潮流
89
2
在会议系统工程中，Python可以用于多种任务，如网络请求（用于视频会议的连接和会议数据的传输）、数据分析（用于分析会议参与者的行为或会议效果）等。
110
3
Python数据分析加速器：深度挖掘Pandas与NumPy的高级功能
66
4
空间单细胞｜10x Visium数据分析、可视化与整合(2)
46
5
解锁 Python 数据分析新境界：Pandas 与 NumPy 高级技巧深度剖析
70
6
Python 数据分析工具箱：深挖 Pandas 与 NumPy 高级功能，驱动智能决策
73
7
这份Excel+Python飞速搞定数据分析手册，简直可以让Excel飞起来
100
8
MATLAB数据分析、从算法到实现
74
9
探索Linux中的snice命令：一个虚构但启发性的数据分析工具
189
10
Linux命令shuf详解：随机排序与数据分析的得力助手
355