AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 文章 正文

2023 云栖大会 | 「动手实践」基于阿里云构建博学谷平台实时湖仓

2023-10-25 588
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
实时计算 Flink 版，5000CU*H 3个月
推荐场景：
实时发现最热Github项目
简介： 2023 云栖大会来啦，众多主题活动与你同聚，门票免费领取中，数量有限，先到先得！

传智教育技术专家将在云栖大会「动手实践」环节带领开发者基于阿里云构建博学谷平台实时湖仓。本实践介绍如何基于阿里云 Flink、EMR-StarRocks、ECS 、RDS Mysql 以及 DataV 等组件快速部署实时湖仓 demo，为实时需求场景提供简单易用的解决方案。

  • 时间：2023-11-02 11:00～12:00
  • 地址：杭州·云栖小镇 D4-2A

点击领取门票

点击领取门票

更多内容

img

活动推荐

阿里云基于 Apache Flink 构建的企业级产品-实时计算 Flink 版现开启活动：
0 元试用 实时计算 Flink 版（5000CU*小时，3 个月内）
了解活动详情：https://free.aliyun.com/?pipCode=sc

image.png

文章标签：
云原生数据仓库AnalyticDB MySQL版
实时计算 Flink版
云栖大会
流计算
关系型数据库
数据可视化
弹性计算
关键词：
构建云原生数据仓库AnalyticDB MySQL版
云原生数据仓库AnalyticDB MySQL版构建
阿里云云原生数据仓库AnalyticDB MySQL版
阿里云构建云原生数据仓库AnalyticDB MySQL版
云栖大会构建
相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL，玩转SQL开发等功能！本教程介绍如何在AnalyticDB MySQL中，一键加载内置数据集，并基于自动生成的查询脚本，运行复杂查询语句，秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库，高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准，可以对海量数据进行即时的多维分析透视和业务探索，快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
灵杰开发者
目录
相关文章
灵杰开发者
|
11天前
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享，主要涵盖四个方面：鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖，解决了Hudi入湖的痛点，并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外，还探讨了湖仓一体平台的落地效果及未来技术发展方向，包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
灵杰开发者
84 1
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
技术小达人
|
1天前
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
技术小达人
11 2
技术小达人
|
1天前
|
存储 分布式计算 数据处理
湖仓实时化升级 ：Uniflow 构建流批一体实时湖仓
湖仓实时化升级 ：Uniflow 构建流批一体实时湖仓
技术小达人
12 1
灵杰开发者
|
2月前
|
存储 人工智能 分布式计算
湖仓实时化升级 ：Uniflow 构建流批一体实时湖仓
本文整理自阿里云产品经理李昊哲在Flink Forward Asia 2024流批一体专场的分享，涵盖实时湖仓发展趋势、基于Flink搭建流批一体实时湖仓及Materialized Table优化三方面。首先探讨了实时湖仓的发展趋势和背景，特别是阿里云在该领域的领导地位。接着介绍了Uniflow解决方案，通过Flink CDC、Paimon存储等技术实现低成本、高性能的流批一体处理。最后，重点讲解了Materialized Table如何简化用户操作，提升数据查询和补数体验，助力企业高效应对不同业务需求。
灵杰开发者
442 18
湖仓实时化升级 ：Uniflow 构建流批一体实时湖仓
灵杰开发者
|
2月前
|
SQL 监控 关系型数据库
用友畅捷通在Flink上构建实时数仓、挑战与最佳实践
本文整理自用友畅捷通数据架构师王龙强在FFA2024上的分享，介绍了公司在Flink上构建实时数仓的经验。内容涵盖业务背景、数仓建设、当前挑战、最佳实践和未来展望。随着数据量增长，公司面临数据库性能瓶颈及实时数据处理需求，通过引入Flink技术逐步解决了数据同步、链路稳定性和表结构差异等问题，并计划在未来进一步优化链路稳定性、探索湖仓一体架构以及结合AI技术推进数据资源高效利用。
灵杰开发者
436 25
用友畅捷通在Flink上构建实时数仓、挑战与最佳实践
阿里云大数据
|
11天前
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台，实现了数据与 AI 技术的有效融合，解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台，最终实现不同场景下整体性能提升50%以上，同时综合成本下降30%。
阿里云大数据
81 2
技术小达人
|
1天前
|
SQL 监控 关系型数据库
用友畅捷通在Flink上构建实时数仓、挑战与最佳实践
用友畅捷通在Flink上构建实时数仓、挑战与最佳实践
技术小达人
10 0
技术小达人
|
2天前
|
SQL 存储 OLAP
阿里云 EMR Serverless StarRocks3.x，极速统一的湖仓新范式
阿里云 EMR Serverless StarRocks3.x，极速统一的湖仓新范式
技术小达人
9 0
弹性计算-百晓生
|
4月前
|
存储 人工智能 弹性计算
阿里云弹性计算_加速计算专场精华概览 | 2024云栖大会回顾
2024年9月19-21日，2024云栖大会在杭州云栖小镇举行，阿里云智能集团资深技术专家、异构计算产品技术负责人王超等多位产品、技术专家，共同带来了题为《AI Infra的前沿技术与应用实践》的专场session。本次专场重点介绍了阿里云AI Infra 产品架构与技术能力，及用户如何使用阿里云灵骏产品进行AI大模型开发、训练和应用。围绕当下大模型训练和推理的技术难点，专家们分享了如何在阿里云上实现稳定、高效、经济的大模型训练，并通过多个客户案例展示了云上大模型训练的显著优势。
弹性计算-百晓生
104764 10
弹性计算-百晓生
|
5月前
|
存储 弹性计算 人工智能
阿里云弹性计算_通用计算专场精华概览 | 2024云栖大会回顾
阿里云弹性计算产品线、存储产品线产品负责人Alex Chen（陈起鲲）及团队内多位专家，和中国电子技术标准化研究院云计算标准负责人陈行、北京望石智慧科技有限公司首席架构师王晓满两位嘉宾，一同带来了题为《通用计算新品发布与行业实践》的专场Session。本次专场内容包括阿里云弹性计算全新发布的产品家族、阿里云第 9 代 ECS 企业级实例、CIPU 2.0技术解读、E-HPC+超算融合、倚天云原生算力解析等内容，并发布了国内首个云超算国家标准。
弹性计算-百晓生
101388 9
阿里云弹性计算_通用计算专场精华概览 | 2024云栖大会回顾
大数据与机器学习

实时计算 Flink

热门文章

最新文章

  • 1
    数据仓库介绍与实时数仓案例
  • 2
    权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算
  • 3
    OPPO数据中台之基石：基于Flink SQL构建实数据仓库
  • 4
    Flink SQL 功能解密系列 —— 维表 JOIN 与异步优化
  • 5
    通过Flink实时构建搜索引擎的索引
  • 6
    Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
  • 7
    阿里云实时计算产品案例&解决方案汇总
  • 8
    流计算精品翻译: The Dataflow Model
  • 9
    回顾 | Kafka x Flink Meetup 与世界人工智能大会大数据 AI 专场精彩回顾（附PPT下载）
  • 10
    Apache Flink 的迁移之路，2 年处理效果提升 5 倍
  • 1
    基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成
    177
  • 2
    小米基于 Apache Paimon 的流式湖仓实践
    24
  • 3
    Flink基于Paimon的实时湖仓解决方案的演进
    282
  • 4
    鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
    84
  • 5
    Flink Materialized Table：构建流批一体 ETL
    332
  • 6
    Flink+Paimon+Hologres，面向未来的一体化实时湖仓平台架构设计
    453
  • 7
    Flink CDC YAML：面向数据集成的 API 设计
    379
  • 8
    微财基于 Flink 构造实时变量池
    330
  • 9
    湖仓实时化升级 ：Uniflow 构建流批一体实时湖仓
    442
  • 10
    Flink 基础详解：大数据处理的强大引擎
    253

    • 相关课程

    更多
  • AnalyticDB PostgreSQL 企业智能数据中台：一站式管理数据服务资产
  • 云原生数据仓库AnalyticDB PostgreSQL 产品入门
  • 大数据知识图谱系列—如何选择合适的OLAP引擎进行数据湖分析
  • 大数据知识图谱—一文读懂云原生一体化数仓
  • 阿里云实时数仓实战 - 用户行为数仓搭建
  • 阿里云云原生数据仓库AnalyticDB MySQL版 使用教程

    • 相关电子书

    更多
  • 阿里云云原生一体化数仓
  • 基于云原生数据仓库AnalyticDB PG的最佳实践
  • 新氧云原生全栈数仓最佳实践

    • 相关实验场景

    更多
  • 基于百炼构建可以划重点、规划学习计划的学习助手
  • DataWorks智能交互式数据开发与分析之旅
  • 【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
  • SAE 极速部署专属AI证件照神器
  • 【AI破次元壁合照】少年白马醉春风，函数计算一键部署AI绘画平台
  • 借助OSS搭建在线教育视频课程分享网站
    • 下一篇
    通义万相：视觉生成大模型再进化