AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】Intel与Spark共同助推机器学习与深度学习

2017-02-11 2169
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生大数据计算服务 MaxCompute，5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute，500CU*H 100GB 3个月
简介： 本讲义出自Ziya Ma在Spark Summit East 2017上的演讲，主要介绍了人工智能对于目前各个行业的深刻变革并将继续释放大量的能量，并且讲述了人工智能目前需要更进一步提升的需求点，并且介绍了应对人工智能的需求，Intel所研发的BigDL大数据分析框架。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Ziya Ma在Spark Summit East 2017上的演讲，主要介绍了人工智能对于目前各个行业的深刻变革并将继续释放大量的能量，并且讲述了人工智能目前需要更进一步提升的需求点，并且介绍了应对人工智能的需求，Intel所研发的BigDL大数据分析框架。


BigDL特性与CAFEE以及TORCH相似，对于用户和开发者而言，BigDL非常易于使用，并且所需成本比较低，而且能够使得深度学习在大数据平台上易于扩展，而且能够在单点上具有较高的性能。

8282d580350cce0b8f33bbbc3c0b5e905e8d3960

27086eb2096b80ca9dd9926b266f429561592714

e93749b7f447cd3e80226d9444396a3edbba772d

528dd4813648c925d85e63e5039f245412a6f55d

806405bcb1b068e54cc2e369a4dfbfc4bb490962

cb84709d1565227a5c047d58667b655026bea8f5

48a161d6fe44f5724b68c70fb857c66385ec2a1d

269fcd661c6a37376785a791b696e7f577c60e70

2235cd5f016c364d003cc057dc30e3dd672b4c72

文章标签：
云原生大数据计算服务 MaxCompute
机器学习/深度学习
人工智能
大数据
分布式计算
Spark
开发者
MaxCompute
关键词：
人工智能平台 PAI深度学习
机器学习深度学习
深度学习机器学习
apache spark机器学习
spark人工智能平台 PAI
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析，通过分析能得到用户群体年龄分布，性别分布，地理位置分布，以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理，需要搭建数据仓库？学它！ 没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！ 想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！ 想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！ 出品人：阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
小猫吃鱼569
目录
相关文章
极客李华
|
9月前
|
机器学习/深度学习 分布式计算 算法
Spark中的机器学习库MLlib是什么？请解释其作用和常用算法。
Spark中的机器学习库MLlib是什么？请解释其作用和常用算法。
极客李华
160 0
kng32f3vbngrm
|
9月前
|
机器学习/深度学习 数据采集 分布式计算
【机器学习】Spark ML 对数据进行规范化预处理 StandardScaler 与向量拆分
标准化Scaler是数据预处理技术，用于将特征值映射到均值0、方差1的标准正态分布，以消除不同尺度特征的影响，提升模型稳定性和精度。Spark ML中的StandardScaler实现此功能，通过`.setInputCol`、`.setOutputCol`等方法配置并应用到DataFrame数据。示例展示了如何在Spark中使用StandardScaler进行数据规范化，包括创建SparkSession，构建DataFrame，使用VectorAssembler和StandardScaler，以及将向量拆分为列。规范化有助于降低特征重要性，提高模型训练速度和计算效率。
kng32f3vbngrm
187 6
kng32f3vbngrm
|
9月前
|
机器学习/深度学习 分布式计算 算法
【机器学习】Spark ML 对数据特征进行 One-Hot 编码
One-Hot 编码是机器学习中将离散特征转换为数值表示的方法，每个取值映射为一个二进制向量，常用于避免特征间大小关系影响模型。Spark ML 提供 OneHotEncoder 进行编码，输入输出列可通过 `inputCol` 和 `outputCol` 参数设置。在示例中，先用 StringIndexer 对类别特征编码，再用 OneHotEncoder 转换，最后展示编码结果。注意 One-Hot 编码可能导致高维问题，可结合实际情况选择编码方式。
kng32f3vbngrm
145 6
jjczqyjxgdegi
|
8月前
|
机器学习/深度学习 分布式计算 API
技术好文：Spark机器学习笔记一
技术好文：Spark机器学习笔记一
jjczqyjxgdegi
55 0
vohelon
|
9月前
|
机器学习/深度学习 分布式计算 算法
使用Spark进行机器学习
【5月更文挑战第2天】使用Spark进行机器学习
vohelon
106 2
晓之以理的喵~~
|
9月前
|
机器学习/深度学习 分布式计算 算法
Spark MLlib简介与机器学习流程
Spark MLlib简介与机器学习流程
晓之以理的喵~~
214 0
Maynor
|
9月前
|
机器学习/深度学习 人工智能 分布式计算
机器学习(一)Spark机器学习基础
机器学习(一)Spark机器学习基础
Maynor
71 0
热烈的马
|
9月前
|
机器学习/深度学习 分布式计算 搜索推荐
【大数据技术】Spark MLlib机器学习协同过滤电影推荐实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习协同过滤电影推荐实战（附源码和数据集）
热烈的马
297 0
热烈的马
|
9月前
|
机器学习/深度学习 分布式计算 前端开发
【大数据技术】Spark MLlib机器学习线性回归、逻辑回归预测胃癌是否转移实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习线性回归、逻辑回归预测胃癌是否转移实战（附源码和数据集）
热烈的马
96 0
热烈的马
|
9月前
|
机器学习/深度学习 分布式计算 大数据
【大数据技术】Spark MLlib机器学习特征抽取 TF-IDF统计词频实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习特征抽取 TF-IDF统计词频实战（附源码和数据集）
热烈的马
88 0

热门文章

最新文章

  • 1
    MNN：阿里开源的轻量级深度学习推理框架，支持在移动端等多种终端上运行，兼容主流的模型格式
  • 2
    利用深度学习进行系统健康监控：智能运维的新纪元
  • 3
    基于Python深度学习的眼疾识别系统实现~人工智能+卷积网络算法
  • 4
    深度学习在安全事件检测中的应用：守护数字世界的利器
  • 5
    打造智能音乐推荐系统：基于深度学习的个性化音乐推荐实现
  • 6
    穹彻智能-上交大最新Nature子刊速递：解析深度学习驱动的视触觉动态重建方案
  • 7
    深度学习在数据备份与恢复中的新视角：智能化与效率提升
  • 8
    基于yolov4深度学习网络的排队人数统计系统matlab仿真,带GUI界面
  • 9
    基于Python深度学习果蔬识别系统实现
  • 10
    云上一键部署 DeepSeek-V3 模型，阿里云 PAI-Model Gallery 最佳实践
  • 1
    全球首发！龙蜥社区助力 Intel SPR 加速器上云
    216
  • 2
    《龙蜥+超级探访》走进 Intel 活动公示
    117
  • 3
    释放硬件潜能，激活软件生态 《龙蜥+超级探访》第二期走进 Intel
    99
  • 4
    走进 Intel，深度探讨合作发展规划交流会圆满结束 | 理事长走进系列
    93
  • 5
    阿里云ADB MySQL X Intel联合推出训练营,参营完成任务即可获100元话费卡！
    390
  • 6
    专为Intel Arc GPU设计：oneAPI的详细图文安装教程
    488
  • 7
    Bios启用Intel VT-x虚拟化功能问题
    191
  • 8
    线上观看 5 万+，“芯”有灵“蜥”融合·创新！龙蜥社区走进 Intel MeetUp 回顾来了
    312
  • 9
    Intel 的 SGX 技术小知识
    1136
  • 10
    倒计时 1 天！21 位大咖 11个议题，龙蜥社区走进 Intel MeetUp 即将在上海召开
    153

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 深度学习与自动驾驶
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 零基础入门Serverless：基于函数计算快速搭建基于人工智能的目标检测系统
    • 下一篇
    阿里云上1分钟搞定幻兽帕鲁联机服务器搭建