AI 助理
备案控制台

开源大数据平台 E-MapReduce

首页 标签 开源大数据平台 E-MapReduce
# 开源大数据平台 E-MapReduce #
关注
1808内容
相关子社区
倚天
166内容 1活动 383关注
最新 热门 文章 问答 视频 电子书 训练营 活动
鸿初
|
博文
|
来自： 大数据与机器学习
hive在E-MapReduce集群的实践（二）集群hive参数优化
本文介绍一些常见的集群跑hive作业参数优化，可以根据业务需要来使用。 提高hdfs性能 修改hdfs-site，注意重启hdfs服务 dfs.client.read.shortcircuit=true //直读 dfs.
# 开源大数据平台 E-MapReduce # SQL # 大数据 # HIVE
云无谓
|
博文
|
来自： 大数据与机器学习
开源深度学习库BigDL在阿里云E-MapReduce上的实践
近些年来机器学习中的子领域深度学习成为一个热门的话题。本文要介绍Intel开源的深度学习框架BigDL，它也是在Spark上的一个算法库，提供了全面的深度学习算法支持，包括数值计算（Tensor）和高阶神经网络等。
# 开源大数据平台 E-MapReduce # 机器学习/深度学习 # 分布式计算 # 算法 # 测试技术 # Spark
开源大数据EMR
|
博文
|
来自： 大数据与机器学习
开源大数据周刊-第97期
本期周刊带来了开源社区重要的产品更新，包括Flink和Alluxio等，还有互联网一线公司以及传统银行业的最新大数据应用实践。
# 云原生大数据计算服务 MaxCompute # 实时计算 Flink版 # 开源大数据平台 E-MapReduce # 机器学习/深度学习 # 大数据 # Apache # 流计算 # 人工智能
梅熙
|
博文
|
来自： 大数据与机器学习
通过ZeppelinHub viewer来分享zeppelin的notebook和报表数据
最近有使用E-MapReduce的同学咨询如果将zeppelin中的表表数据进行共享。这里就介绍一下在Aliyun E-MapReduce的集群中使用ZeppelinHub来进行notebook和报表的分享。
# 开源大数据平台 E-MapReduce # JSON # 安全 # BI # 数据格式
开源大数据EMR
|
博文
|
来自： 大数据与机器学习
Apache Spark + Intel Analytics Zoo 进行深度学习
Analytics Zoo 是由 Intel 开源,基于 Apache Spark 和 Inte BigDL 的大数据分析和 AI 平台，方便用户开发基于大数据、端到端的深度学习应用。本文简单介绍了如何在阿里云 E-MapReduce 使用 Analytics Zoo 来进行深度学习。
# 开源大数据平台 E-MapReduce # 机器学习/深度学习 # 分布式计算 # 大数据 # Apache # Python
寒沙牧
|
博文
|
来自： 大数据与机器学习
使用Ranger对Hive数据进行脱敏
Ranger支持对Hive数据的脱敏处理(Data Masking)，它对`select`的返回结果进行脱敏处理，对用户屏蔽敏感信息。
# 开源大数据平台 E-MapReduce # SQL # HIVE
寒沙牧
|
博文
|
来自： 大数据与机器学习
E-MapReduce大数据安全实践
E-MapReduce从EMR-2.7.x/EMR-3.5.x版本开始支持创建安全类型的集群，即集群中的开源组件以Kerberos的安全模式启动,在这种安全环境下只有经过认证的客户端(Client)才能访问集群的服务(Service,如HDFS)。
# 数据安全中心 # 密钥管理服务 # 开源大数据平台 E-MapReduce # 安全 # 大数据 # 分布式数据库 # 数据安全/隐私保护 # Hbase
eric-li
|
博文
|
来自： 大数据与机器学习
E-MapReduce结合DataV进行数据展现
# DataV数据可视化 # 云数据库 RDS MySQL 版 # 日志服务 # 开源大数据平台 E-MapReduce # SQL # 数据可视化 # 关系型数据库 # HIVE # RDS
开源大数据EMR
|
博文
|
来自： 大数据与机器学习
Apache Flink : Checkpoint 原理剖析与应用实践
本文将分享 Flink 中 Checkpoint 的应用实践，包括四个部分，分别是 Checkpoint 与 state 的关系、什么是 state、如何在 Flink 中使用 state 和 Checkpoint 的执行机制
# 实时计算 Flink版 # 开源大数据平台 E-MapReduce # 流计算 # 存储 # Apache # 缓存 # BI # 算法 # Java # 监控
寒沙牧
|
博文
|
来自： 大数据与机器学习
E-MapReduce中Spark 2.x读写MaxCompute数据
最新的`aliyun-emapreduce-sdk`将`MaxCompute`数据以`DataSource`的方式接入Spark 2.x，用户可以使用类似Spark 2.x中读写`json/parquet/csv`的方式来访问MaxCompute.
# 云原生大数据计算服务 MaxCompute # 开源大数据平台 E-MapReduce # 分布式计算 # MaxCompute # Spark # SQL # API
免费试用