《阿里云产品手册2022-2023 版》——开源大数据平台 E-MapReduce
2023-05-31
109
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
《阿里云产品手册2022-2023 版》——开源大数据平台 E-MapReduce
目录
相关文章
|
12天前
|
存储
人工智能
数据管理
|
5天前
|
存储
人工智能
数据管理
媒体声音｜专访阿里云数据库周文超博士：AI就绪的智能数据平台设计思路
在生成式AI的浪潮中，数据的重要性日益凸显。大模型在实际业务场景的落地过程中，必须有海量数据的支撑：经过训练、推理和分析等一系列复杂的数据处理过程，才能最终产生业务价值。事实上，大模型本身就是数据处理后的产物，以数据驱动的决策与创新需要通过更智能的平台解决数据多模处理、实时分析等问题，这正是以阿里云为代表的企业推动 “Data+AI”融合战略的核心动因。
156
3
3
|
2月前
|
消息中间件
运维
大数据
大数据实时计算产品的对比测评：实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比，涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务，显著降低了运维成本，提供了强大的集成能力和弹性扩展，特别适合中小型团队和业务波动大的场景。文中还提出了改进建议，并探讨了与其他产品的联动可能性。总结指出，实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色，是大数据实时计算的优选方案。
173
56
56
|
11天前
|
机器学习/深度学习
分布式计算
数据挖掘
MaxFrame 性能评测：阿里云MaxCompute上的分布式Pandas引擎
MaxFrame是一款兼容Pandas API的分布式数据分析工具，基于MaxCompute平台，极大提升了大规模数据处理效率。其核心优势在于结合了Pandas的易用性和MaxCompute的分布式计算能力，无需学习新编程模型即可处理海量数据。性能测试显示，在涉及`groupby`和`merge`等复杂操作时，MaxFrame相比本地Pandas有显著性能提升，最高可达9倍。适用于大规模数据分析、数据清洗、预处理及机器学习特征工程等场景。尽管存在网络延迟和资源消耗等问题，MaxFrame仍是处理TB级甚至PB级数据的理想选择。
38
4
4
|
20天前
|
数据采集
分布式计算
大数据
MaxCompute MaxFrame 产品评测报告
MaxCompute MaxFrame是阿里云自研的分布式计算框架，专为Python开发者设计。它支持Python接口，充分利用MaxCompute的大数据资源，提升大规模数据分析效率。本文分享了MaxFrame在分布式Pandas处理和大语言模型数据预处理中的最佳实践，展示了其在数据清洗、特征工程等方面的强大能力，并提出了改进建议。
57
13
14
|
19天前
|
SQL
DataWorks
数据可视化
阿里云DataWorks评测：大数据开发治理平台的卓越表现
阿里云DataWorks是一款集数据集成、开发、分析与管理于一体的大数据平台，支持多种数据源无缝整合，提供可视化ETL工具和灵活的任务调度机制。其内置的安全体系和丰富的插件生态，确保了数据处理的高效性和安全性。通过实际测试，DataWorks展现了强大的计算能力和稳定性，适用于中小企业快速搭建稳定高效的BI系统。未来，DataWorks将继续优化功能，降低使用门槛，并推出更多灵活的定价方案，助力企业实现数据价值最大化。
66
3
3
|
19天前
|
分布式计算
大数据
数据处理
技术评测：MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展，数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame（简称“MaxFrame”）是一个专为Python开发者设计的分布式计算框架，它不仅支持Python编程接口，还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评，探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现，并分析其在实际工作中的应用潜力。
57
2
3
|
20天前
|
机器学习/深度学习
分布式计算
数据处理
|
23天前
|
SQL
分布式计算
DataWorks
DataWorks产品测评|基于DataWorks和MaxCompute产品组合实现用户画像分析
本文介绍了如何使用DataWorks和MaxCompute产品组合实现用户画像分析。首先，通过阿里云官网开通DataWorks服务并创建资源组，接着创建MaxCompute项目和数据源。随后，利用DataWorks的数据集成和数据开发模块，将业务数据同步至MaxCompute，并通过ODPS SQL完成用户画像的数据加工，最终将结果写入`ads_user_info_1d`表。文章详细记录了每一步的操作过程，包括任务开发、运行、运维操作和资源释放，帮助读者顺利完成用户画像分析。此外，还指出了文档中的一些不一致之处，并提供了相应的解决方法。
260
7
7
|
1月前
|
人工智能
分布式计算
DataWorks
大数据& AI 产品月刊【2024年11月】
大数据& AI 产品技术月刊【2024年11月】，涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解阿里云大数据& AI 方面最新动态。
101
5
5
热门文章
最新文章
1
使用Hadoop MapReduce进行大规模数据爬取
2
DataWorks产品测评|基于DataWorks和MaxCompute产品组合实现用户画像分析
3
针对MaxCompute经典网络域名下线，Dataphin应对策略的公告
4
深入探索人工智能与大数据的融合之路
5
大数据时代的引擎：大数据架构随记
6
大数据& AI 产品月刊【2024年11月】
7
在大数据时代，高维数据处理成为难题，主成分分析（PCA）作为一种有效的数据降维技术，通过线性变换将数据投影到新的坐标系
8
智能化运维：AI与大数据在IT运维中的应用探索####
9
DataWorks产品评测：大数据开发治理平台的最佳实践与体验
10
聊聊DataWorks——这个一站式智能大数据开发治理平台
1
阿里云E-MapReduce Trino专属集群外连引擎及权限控制踩坑实践
480
2
阿里云E-MapReduce集群-开源Ldap密码不安全问题解决方案
554
3
伪分布式安装部署（运行MapReduce程序）
201
4
Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结（二）
126
5
Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结（一）
214
6
Hadoop基础学习---6、MapReduce框架原理（二）
127
7
Hadoop基础学习---6、MapReduce框架原理（一）
151
8
Hadoop基础学习---5、MapReduce概述和WordCount实操（本地运行和集群运行）、Hadoop序列化
224
9
MapReduce 优化经验
144
10
MapReduce 的原理、流程【重要】
204