AI 助理
文档备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

6月23日 Spark 社区技术直播【半小时，将你的Spark SQL模型变为在线服务】

2020-06-22 872
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： SparkSQL在机器学习场景中应用模型从批量到实时面临的问题 - SparkSQL 转换成实时执行成本高 - 离线特征和在线特征保持一致困难 - 离线效果与在线效果差距大 我们是如何解决这些问题 相对传统实现方式我们优势 SparkSQL实时上线demo

讲师：

王太泽
第四范式特征工程数据库负责人
曾在百度担任资深研发工程师
一直致力于解决机器学习模型从离线到在线特征一致性问题和性能问题。

时间：

6月23日 19：00

观看直播方式：

扫描下方二维码入群，或届时进入直播间（回看链接）
https://developer.aliyun.com/live/43347?spm=a2c6h.12873587.0.0.127052c22xBiZl

直播介绍

SparkSQL在机器学习场景中应用模型从批量到实时面临的问题

  • SparkSQL 转换成实时执行成本高
  • 离线特征和在线特征保持一致困难
  • 离线效果与在线效果差距大

我们是如何解决这些问题
相对传统实现方式我们优势
SparkSQL实时上线demo

6月23.png

文章标签：
客服工作台
开源大数据平台 E-MapReduce
机器学习/深度学习
分布式计算
SQL
Spark
数据库
关键词：
apache spark SQL
客服工作台模型
技术客服工作台
apache spark技术
SQL spark
阿里云E-MapReduce团队
目录
相关文章
Echo_Wish
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
Echo_Wish
619 79
武子康
|
存储 缓存 分布式计算
大数据-83 Spark 集群 RDD编程简介 RDD特点 Spark编程模型介绍
大数据-83 Spark 集群 RDD编程简介 RDD特点 Spark编程模型介绍
武子康
255 4
人物我非-32022
|
分布式计算 运维 Serverless
EMR Serverless Spark服务和EMR Serverless StarRocks服务的比较
**EMR Serverless Spark** 以其出色的稳定性、高效性能、减轻运维负担及成本优化著称，适合大规模数据处理。**EMR Serverless StarRocks** 则以高速查询、存算分离架构和灵活扩缩容见长，侧重企业级功能。两者在不同应用场景中有各自优势，选择应基于具体需求。更多详情，参考阿里云官方资源。
人物我非-32022
438 4
游客s67t3mdq4gcco
|
存储 自然语言处理 机器人
基于的Qwen模型的智能客服Discord机器人，使用🐫 CAMEL、SambaNova、Firecrawl和Qdrant实现RAG Agent
基于Qwen模型的智能客服Discord机器人，使用CAMEL、SambaNova、Firecrawl和Qdrant实现RAG Agent。构建了一个能够处理复杂问题并能进行快速响应的强大聊天机器人。该机器人可在Discord平台上运行，支持实时对话和语义搜索，提供准确、全面的回答。项目包含详细的安装步骤、代码示例及集成指南，适合开发者快速上手。
游客s67t3mdq4gcco
1087 36
土木林森
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代，数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件，通过HDFS存储数据和Spark进行高效计算，实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践，包括数据存储、处理、安全和可视化等方面，展示了它们在实际应用中的协同效应。
土木林森
676 2
土木林森
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用，通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理，确保高可靠性和容错性；Spark则凭借其高性能和丰富的API，进行深度分析和机器学习，实现高效的批处理和实时处理。
土木林森
577 1
aliyun4381607004
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景，随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码，发现使用的`nativeBooster.saveModel`方法不支持OSS路径，而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令，帮助用户顺利迁移模型存储路径。
aliyun4381607004
842 1
东方睿赢
|
SQL 数据管理 关系型数据库
SQL转换秘籍：Vanna+Qwen双剑合璧，轻松实现私有模型转换》——揭秘如何利用Vanna和Qwen这两款神级工具，让你的SQL数据管理和转换如虎添翼！
【9月更文挑战第1天】2
东方睿赢
1057 5
张飞的猪
|
分布式计算 大数据 Spark
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
《Spark大数据处理：技术、应用与性能优化》深入浅出介绍Spark核心，涵盖部署、实战与性能调优，适合初学者。作者基于微软和IBM经验，解析Spark工作机制，探讨BDAS生态，提供实践案例，助力快速掌握。书中亦讨论性能优化策略。[PDF下载链接](https://zhangfeidezhu.com/?p=347)。![Spark Web UI](https://img-blog.csdnimg.cn/direct/16aaadbb4e13410f8cb2727c3786cc9e.png#pic_center)
张飞的猪
521 1
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    阿里封神谈hadoop生态学习之路
  • 2
    分布式快照算法: Chandy-Lamport
  • 3
    如何使用Kafka Connect实现同步RDS binlog数据
  • 4
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 5
    基于Alluxio系统的Spark DataFrame高效存储管理技术
  • 6
    如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue
  • 7
    HIVE MapJoin异常问题处理总结
  • 8
    漫谈分布式计算框架
  • 9
    首次揭秘|为6.4亿人次出行提供无线网络的技术架构
  • 10
    助力云上开源生态 - 阿里云开源大数据平台的发展
  • 1
    EMR Serverless Spark 携手 PAI/百炼，开启“SQL 即 AI”的新篇章
    33
  • 2
    诗悦游戏基于DLF与EMR StarRocks降本38%
    189
  • 3
    基于DLF构建实时数据湖
    165
  • 4
    数仓-湖仓-湖流，人力家基于阿里云OpenLake架构演进与思考
    200
  • 5
    淘宝闪购基于阿里云 EMR Serverless Spark&Paimon的湖仓实践：超大规模下的特征生产&多维分析双提效
    344
  • 6
    有奖实践：EMR Serverless StarRocks × Serverless Spark x DLF 共探 TPC 极致性能
    534
  • 7
    大模型RAG实战：从零搭建专属知识库问答助手
    875
  • 8
    大模型微调技术入门：从核心概念到实战落地全攻略
    639
  • 9
    活动报名 | Apache Spark Meetup · 上海站，助力企业构建高效数据平台
    280
  • 10
    0 基础建站？PageAdmin CMS 10 分钟搞定，源码免费拿！
    568

    • 相关课程

    更多
  • SQL完全自学手册
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 大数据实时计算框架Spark快速入门
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • Phoenix在客服系统的实践
  • # Apache Spark系列技术直播# 第八讲 【 微软Azure平台利用Intel Analytics Zoo构建AI客服支持实践 】
  • 客服领域的数据智能实践
    • 下一篇
    PHP：将本地文件上传到阿里云OSS存储