AI 助理
备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

6月23日 Spark 社区技术直播【半小时，将你的Spark SQL模型变为在线服务】

2020-06-22 724
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
EMR Serverless StarRocks，5000CU*H 48000GB*H
简介： SparkSQL在机器学习场景中应用模型从批量到实时面临的问题 - SparkSQL 转换成实时执行成本高 - 离线特征和在线特征保持一致困难 - 离线效果与在线效果差距大 我们是如何解决这些问题 相对传统实现方式我们优势 SparkSQL实时上线demo

讲师：

王太泽
第四范式特征工程数据库负责人
曾在百度担任资深研发工程师
一直致力于解决机器学习模型从离线到在线特征一致性问题和性能问题。

时间：

6月23日 19：00

观看直播方式：

扫描下方二维码入群，或届时进入直播间（回看链接）
https://developer.aliyun.com/live/43347?spm=a2c6h.12873587.0.0.127052c22xBiZl

直播介绍

SparkSQL在机器学习场景中应用模型从批量到实时面临的问题

  • SparkSQL 转换成实时执行成本高
  • 离线特征和在线特征保持一致困难
  • 离线效果与在线效果差距大

我们是如何解决这些问题
相对传统实现方式我们优势
SparkSQL实时上线demo

6月23.png

文章标签：
客服工作台
机器学习/深度学习
分布式计算
SQL
Spark
数据库
关键词：
模型客服工作台
apache spark SQL
SQL技术
技术客服工作台
apache spark模型
阿里云E-MapReduce团队
目录
相关文章
武子康
|
3月前
|
存储 缓存 分布式计算
大数据-83 Spark 集群 RDD编程简介 RDD特点 Spark编程模型介绍
大数据-83 Spark 集群 RDD编程简介 RDD特点 Spark编程模型介绍
武子康
50 4
游客s67t3mdq4gcco
|
7天前
|
存储 自然语言处理 机器人
基于的Qwen模型的智能客服Discord机器人，使用🐫 CAMEL、SambaNova、Firecrawl和Qdrant实现RAG Agent
基于Qwen模型的智能客服Discord机器人，使用CAMEL、SambaNova、Firecrawl和Qdrant实现RAG Agent。构建了一个能够处理复杂问题并能进行快速响应的强大聊天机器人。该机器人可在Discord平台上运行，支持实时对话和语义搜索，提供准确、全面的回答。项目包含详细的安装步骤、代码示例及集成指南，适合开发者快速上手。
游客s67t3mdq4gcco
111 36
游客nsyhaoxcmeiq6
|
2月前
|
SQL 存储 算法
比 SQL 快出数量级的大数据计算技术
SQL 是大数据计算中最常用的工具，但在实际应用中，SQL 经常跑得很慢，浪费大量硬件资源。例如，某银行的反洗钱计算在 11 节点的 Vertica 集群上跑了 1.5 小时，而用 SPL 重写后，单机只需 26 秒。类似地，电商漏斗运算和时空碰撞任务在使用 SPL 后，性能也大幅提升。这是因为 SQL 无法写出低复杂度的算法，而 SPL 提供了更强大的数据类型和基础运算，能够实现高效计算。
游客nsyhaoxcmeiq6
54 1
aliyun4381607004
|
2月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景，随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码，发现使用的`nativeBooster.saveModel`方法不支持OSS路径，而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令，帮助用户顺利迁移模型存储路径。
aliyun4381607004
96 1
赵渝强老师
|
2月前
|
SQL JSON 分布式计算
【赵渝强老师】Spark SQL的数据模型：DataFrame
本文介绍了在Spark SQL中创建DataFrame的三种方法。首先，通过定义case class来创建表结构，然后将CSV文件读入RDD并关联Schema生成DataFrame。其次，使用StructType定义表结构，同样将CSV文件读入RDD并转换为Row对象后创建DataFrame。最后，直接加载带有格式的数据文件（如JSON），通过读取文件内容直接创建DataFrame。每种方法都包含详细的代码示例和解释。
赵渝强老师
53 0
游客qsxez56gggwqy
|
3月前
|
SQL 安全 数据库
sql注入技术
sql注入技术
游客qsxez56gggwqy
66 2
阿里云开发者
|
4月前
|
SQL 机器学习/深度学习 自然语言处理
Text-to-SQL技术演进 - 阿里云OpenSearch-SQL在BIRD榜单夺冠方法剖析
本文主要介绍了阿里云OpenSearch在Text-to-SQL任务中的最新进展和技术细节。
阿里云开发者
166 7
武子康
|
3月前
|
SQL 分布式计算 大数据
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
武子康
86 0
武子康
|
3月前
|
SQL 分布式计算 算法
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
武子康
107 0
武子康
|
3月前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
武子康
77 0
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    阿里封神谈hadoop生态学习之路
  • 2
    分布式快照算法: Chandy-Lamport
  • 3
    Spark in action on Kubernetes - Playground搭建与架构浅析
  • 4
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 5
    基于Alluxio系统的Spark DataFrame高效存储管理技术
  • 6
    HIVE MapJoin异常问题处理总结
  • 7
    阿里封神-大数据处理技术漫谈
  • 8
    JindoFS概述：云原生的大数据计算存储分离方案
  • 9
    在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
  • 10
    EMR Spark Relational Cache的执行计划重写
  • 1
    搭建设计一个校园交友系统源码该怎么入手？售后一对一+全开源码教程+全面指南
    16
  • 2
    EMR管控平台全面升级：智能化助力客户实现在离线混部和降本增效
    20
  • 3
    年轻人如果运用圈子系统进行扩列，社交圈子论坛app扩列的好处，兴趣行业圈子提升社交技能
    40
  • 4
    拍立淘API是基于图像识别技术的服务接口，支持淘宝、1688和义乌购平台。
    43
  • 5
    有奖实践，基于EMR StarRocks实现游戏玩家画像和行为分析
    81
  • 6
    基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
    479
  • 7
    【赵渝强老师】部署Hadoop的本地模式
    61
  • 8
    EMR Serverless Spark：一站式全托管湖仓分析利器
    201
  • 9
    降本60% ，阿里云 EMR StarRocks 全新发布存算分离版本
    429
  • 10
    阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
    150

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Phoenix在客服系统的实践
  • # Apache Spark系列技术直播# 第八讲 【 微软Azure平台利用Intel Analytics Zoo构建AI客服支持实践 】
  • 客服领域的数据智能实践

    • 相关实验场景

    更多
  • 以客服场景意图分类为例写Prompt
  • PolarDB for AI：在数据库中通过SQL实现AI能力
  • 玩转MaxCompute SQL! 30分钟搞定数据分析挖掘
  • SQL进阶之约束、索引
  • SQL进阶之子句、关键字和操作符
  • 一小时快速掌握 SQL 语法
    • 下一篇
    DataWorks智能交互式数据开发与分析之旅