阿里巴巴大数据产品最新特性介绍—DataWorks |2019大数据技术公开课第三季
本次直播将为您做DataWorks增值版本的高级feature及场景化介绍,帮您更好的了解和使用DataWorks增值版本。 <br/> 直播嘉宾:刘天鸢 阿里云智能事业群 高级产品经理
阿里巴巴大数据产品最新特性介绍—MaxCompute|2019大数据技术公开课第三季
本次直播将为您讲解MaxCompute产品近期最新发布的feature,涵盖SQL多项最新功能、预付费资源监控报警、IP白名单支持IPV6以及Logview中增加SQL复杂度等内容。 直播嘉宾: 曲宁 阿里云智能事业群 产品专家 <br/>
生活服务---MaxCompute在高德大数据上的应用
高德对数据平台的要求不仅是数据集成、开发、运维中心、数据质量、数据地图、数据安全以及数据服务等全链路All in One,还希望能以可视化的方式进行用户交互,以提高开发效率。以运维中心为例,希望所使用的工具能够将调度节点可视化,方便进行不同时间粒度的任务依赖。同时,还希望拥有可视化的数据地图用于管理元数据信息,方便上下游即时查看。MaxCompute正是符合高德数据业务诉求的给力产品。不仅具有零学习成本和完善的IDE等优势,更具备超高弹性,让高德得以轻松应对国庆假期的超高流量。同时,基于MaxCompute等阿里云产品,让高德内部迄今为止最大的公共项目“魔方”得以实现,为用户提供更优质的出行服务。
新零售---衣二三基于MaxCompute的最佳实践
作为亚洲最大的共享时装月租平台,衣二三基于MaxCompute构建个性化、智能化运营工具,完成了精准的商品分析和采购指导。MaxCompute 不仅数据吞吐量大,查询性能好,更具备可视化任务编辑界面,易于上手,省去复杂作业运维工作。使用成本低,并能与阿里云大数据产品 生态融为一体。
从 Apache ORC 到 Apache Calcite | 第二讲 春蔚专访 《MaxCompute 与 Calcite 的技术和故事》
【直播主题】春蔚专访《MaxCompute 与 Calcite 的技术和故事》【分享嘉宾】雷春蔚 阿里云智能计算平台 高级开发工程师 / Apache Calcite Committer / 华中科技大学硕士【直播时间】5月30日 16:00-16:50【精彩剧透】什么是Apache Calcite开源项目?MaxCompute在SQL层面做了哪些优化?如何进入大数据行业?又如何一步步成为Calcite committer?【系列直播预告】6月6日 16:00-16:50 苑海胜专访 《MaxCompute 与大数据查询引擎的技术和故事》
Quick BI移动微应用,提升企业数据消费效率
Quick BI 移动微应用,助力企业提升数据消费效率。通过微应用实现数据的灵活消费,员工直接在办公软件微应用上查看Quick BI报表数据。
2024FFA分论坛-生产实践2
FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来,将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。
2024FFA分论坛-数据集成1
FFA2024数据集成专场由Apache Flink核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展,讨论实时技术如何提升数据处理的全链路时效性,分析如何基于 Flink 设计实时数据集成框架,以及实时数据集成技术在不同业务领域的最佳实践。
2024FFA分论坛-数据集成2
FFA2024数据集成专场由Apache Flink核心贡献者与来自阿里云智能、杭州银行、光大银行、货拉拉、数新智能、镜舟科技等公司的一线技术专家聚焦于实时技术在数据集成场景的价值与发展,讨论实时技术如何提升数据处理的全链路时效性,分析如何基于 Flink 设计实时数据集成框架,以及实时数据集成技术在不同业务领域的最佳实践。
2024FFA分论坛-生产实践3
FFA2024生产实践专场由Apache Flink核心贡献者与来自快手、eBay、阿里云、抖音集团、Uber、鹰角、移动云、京东、用友畅捷通、搜配云、度小满、天翼云等公司的一线技术专家带来,将聚焦于在生产中使用和部署Flink的痛点, 经验以及最佳实践, 共同探讨如何在真实环境中更高效, 安全, 敏捷地落地实时数据处理框架。
2024FFA分论坛-核心技术2
FFA2024核心技术专场由Apache Flink核心贡献者与来自阿里云智能、小红书、哔哩哔哩、Shopee、蚂蚁金服等公司的一线技术专家解析 Flink 技术动向与应用实践,重点探讨 Flink 的核心技术(如状态管理、容错机制、数据传输、大规模调度和核心算法等)在实际生产环境中面临的挑战,以及如何通过最佳实践来进行扩展和改进。
EMR StarRocks OLAP 数据分析场景
EMR StarRocks 线上公开课 第3期直播亮点EMR Serverless StarRocks 极速分析存算分离架构升级Trino兼容,无缝替换讲师/嘉宾简介周康(榆舟)阿里云高级技术专家开源大数据OLAP引擎团队负责人StarRocks TSC Member
Havenask入门系列第10节:Havenask Kubernetes模式
hape工具参考:https://havenask.net/# /doc/sql/petool/intro kubernetes部署参考: https://havenask.net/# /doc/v1-2-0/sql/petool/startcluster/k8smode k8s模式问题排查:https://havenask.net/# /doc/v1-2-0/sql/petool/problem# k8s%E6%A8%A1%E5%BC%8F%E9%97%AE%E9%A2%98%E6%8E%92%E6%9F%A5 Havenask是阿里巴巴自主研发的大规模分布式搜索引擎,主要专注于智能搜索和海量数据实时检索,其核心能力广泛应用于阿里巴巴内部的众多业务,如淘宝、天猫商品搜索,盒马搜索,菜鸟物流订单实时检索等。并于2022年11月对外正式开源,具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们,为大家全面讲解Havenask的相关知识,通过课程可以了解到产品能力、架构原理、安装部署等内容,同时还有详细的操作演示,帮助大家更好了解和使用产品。 课程介绍:此视频为Havenask入门教程系列的第9节课《问题排查》,将对Havenask使用中4块内容进行讲解。 ● Hape运维脚本 ● 集群 ● 表创建 ● 数据写入与查询 我们期望通过课程可以帮助您更好的使用Havenask,欢迎广大开发者加入项目开发,共建高质量的搜索引擎,共同推进国产化开源搜索引擎技术快速发展,普惠更多的开发者和企业。 此外,对于有使用需求的企业级开发者,我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch,欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch 官网地址:https://havenask.net/ Github:https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群:78c5cfa61c64a55cdeb0655ac7eb2849.png
Havenask入门系列第8节:日志查询
Havenask是阿里巴巴自主研发的大规模分布式搜索引擎,主要专注于智能搜索和海量数据实时检索,其核心能力广泛应用于阿里巴巴内部的众多业务,如淘宝、天猫商品搜索,盒马搜索,菜鸟物流订单实时检索等。并于2022年11月对外正式开源,具有灵活的定制和开发能力,支持算法快速迭代,帮助客户和开发者量身定做适合自身业务的智能搜索服务,助力业务增长。 这次系列课程邀请了负责Havenask研发工作的技术专家们,为大家全面讲解Havenask的相关知识,通过课程可以了解到产品能力、架构原理、安装部署等内容,同时还有详细的操作演示,帮助大家更好了解和使用产品。 课程介绍:此视频为Havenask入门教程系列的第8节课《日志查询》,将对Havenask的日志查询进行介绍。 我们期望通过课程可以帮助您更好的使用Havenask,欢迎广大开发者加入项目开发,共建高质量的搜索引擎,共同推进国产化开源搜索引擎技术快速发展,普惠更多的开发者和企业。 此外,对于有使用需求的企业级开发者,我们也已在阿里云上提供了基于 Havenask 打造的全托管、免运维的一站式对话式搜索服务——阿里云 OpenSearch,欢迎企业级开发者们试用体验。 阿里云 OpenSearch 官网:https://www.aliyun.com/product/opensearch 官网地址:https://havenask.net/ Github:https://github.com/alibaba/havenask 欢迎钉钉扫码加入 Havenask 开源官方技术交流群:
生产实践专场(二)
生产实践专场集结字节跳动、华为、蚂蚁金服、Shopee、B站、快手、腾讯、京东物流、小红书的技术专家探讨基于 Flink 的实时场景下技术优化及实践。
流批一体专场
流批一体专场由来自阿里云智能、小红书、字节跳动、小米等企业的技术专家为你呈现流批一体的大规模应用实践案例,了解业务在数仓建设过程中的痛点与思考。另有来自阿里云智能高级技术专家将分享流批融合的理念与优势,结合全增量一体数据处理场景介绍流批融合的技术挑战与设计方案,以及 Flink 社区在这方面的最新进展与未来规划。
核心技术专场(一)
核心技术专场由 Apache Flink 核心贡献者与阿里云智能、字节跳动、网易、美团、蚂蚁金服等公司的一线技术专家解析 Flink 2.0 技术动向与应用实践。
自动化AutoTalk第三期-自动化实践Tips
云上自动化的四个层次; 自动化实践过程的关键点; 不同规模企业如何规划自动化; 自动化时间过程中的角色责任; 自动化实践过程中的工作流程。
Streaming Lakehouse Meetup
本次 Meetup 邀请了来自阿里巴巴、字节跳动的七位技术专家,聚焦大规模 CDC 数据入湖实践、Flink 一站式湖仓一体构建、流式数据湖关键特性以及统一的 RSS 等,全方位解析 Streaming Lakehouse 最前沿的技术,最新的产业实践!Flink、Paimon、Celeborn、Flink CDC、StarRocks 多个开源项目汇聚在一起,会碰撞出怎样的火花?敬请期待! 讲师: 李劲松 阿里云开源大数据表存储团队负责人、阿里巴巴高级技术专家 徐榜江 阿里云 Flink 数据通道负责人 刘大龙 阿里云研发工程师 李国君 字节跳动基础架构工程师 周克勇 阿里云/数据湖Spark引擎负责人 曾庆栋 阿里云高级开发工程师 王洪顺 阿里云大数据开发工程师
AI技术分享会第十一期 | 展心展力MetaApp:基于DeepRec的稀疏模型训练实践
MetaApp-推荐广告研发部,主要负责 MetaApp 拳头产品 233 乐园的首页信息流的推荐和广告系统,是比较传统的推广搜组。本次议题介绍了 MetaApp-推荐广告研发部 从传统的TensorFlow(cpu)+自研分布式ps方案,逐步迁移到使用基于阿里云开发的开源分布式机器学习训练框架DeepRec的方案,包括了离线训练和线上inference的完整流程。迁移完成后,新方案大大提高了训练效率和线上服务的效率,并且有效的降低了成本。 一、分享议题 展心展力MetaApp:基于DeepRec的稀疏模型训练实践 二、直播时间 2023年7月5日(周三)18:00-18:40 三、听众收益 多级存储的性能问题 模型压缩 基于GPU的训练 完全基于显存训练
Flink Forward 平台建设 “小米基于Flink的实时数仓建设实践”
Flink Forward 平台建设 “小米基于Flink的实时数仓建设实践”周超小米软件开发工程师
Flink Forward 平台建设 “联通Flink实时计算平台运维实践”
Flink Forward 平台建设“联通Flink实时计算平台运维实践”穆纯进联通数科实时计算团队负责人
Flink Forward 核心技术 “StateBackend performance improvement with TerakDB”
Flink Forward 核心技术 “StateBackend performance improvement with TerakDB”李明字节跳动架构工程师王义字节跳动基础架构工程师
Flink Forward 核心技术 “Flink state的优化与remote state的探索”
Flink Forward 核心技术 “Flink state的优化与remote state的探索”张杨bilibili 资深开发工程师
五、培训课程-AIE技术分享之遥感AI算法原理
为加强用户对AI Earth的理解,促进双方交流,提升AI Earth在地球科学领域的服务支撑能力,达摩院多位专家带来AI Earth地球科学云平台线上系列培训,干货满满,诚邀参与!
Flink Forward 数据集成“Flink CDC & MongoDB 联合实时数仓的探索实践”
Flink Forward 数据集成“Flink CDC & MongoDB 联合实时数仓的探索实践”孙家宝Xtransfer基础架构团队
Flink Forward 实时湖仓“Flink Table Store 0.3 构建流式数仓最佳实践”
Flink Forward 实时湖仓“Flink Table Store 0.3 构建流式数仓最佳实践”李劲松 Flink PMC
Flink Forward 平台建设“字节跳动Flink大规模云原生化实践”
Flink Forward 平台建设“字节跳动Flink大规模云原生化实践”刘畅 字节跳动基础架构工程师
Flink Forward 平台建设“Dinky 在 Flink 开发模式的开源探索实践”
Flink Forward 平台建设“Dinky 在 Flink 开发模式的开源探索实践”亓文凯 开源 Dinky Maintainer
Flink Forward 核心技术“Flink Connector 社区新动向与开发指南”
Flink Forward 核心技术“Flink Connector 社区新动向与开发指南”罗根 阿里云技术专家任庆盛 阿里云开发工程师
Flink Forward 核心技术“Flink Unaligned Checkpoint 在 Shopee 的优化和实践”
Flink Forward 核心技术“Flink Unaligned Checkpoint 在 Shopee 的优化和实践”范瑞 Apache StreamPark Committer
Flink Forward 行业案例“运满满 实时计算实践和思考”
Flink Forward 行业案例“运满满 实时计算实践和思考”欧锐 满帮实时计算团队负责人
Flink Forward Asia 生产实践专场 “抖音实时数仓保障与治理实践”
Flink Forward Asia 生产实践专场 “抖音实时数仓保障与治理实践”茅旭辉 字节跳动实时数据研发工程师李建国 字节跳动实时数据研发工程师
实时数仓workshop北京站"阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践"
实时数仓workshop北京站"阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践"徐闻春阿里巴巴技术专家
《开源大数据热力报告 2022》解读
11 月 5 日,开放原子开源基金会、X-lab 开放实验室、阿里巴巴开源联合发布了《开源大数据热力报告 2022》。该报告收集了2015 年至 2022 年的相关公开数据进行关联分析,研究开源大数据进入“后 Hadoop 时代”的技术趋势,以及开源社区的运作模式对技术走向的助推作用。 本周四,我们将以直播的方式,就《开源大数据热力报告 2022》的结论进行延申,讨论应如何提高开源开发者活跃度,提升开源项目热力。讲师/嘉宾简介赵生宇(X-lab开放实验室核心成员、开源社成员、同济大学计算机在读博士生、OpenDigger开源项目发起人)燕青(Apache Kyuubi PPMC、Apache Spark Committer、Apache Submarine Committer、网易技术专家)、赵恒(StarRocks PMC、StarRocks产品负责人)徐榜江(雪尽)(Flink CDC Maintainer、Apache Flink Committer、阿里云技术专家)、徐昱(StarRocks Active Contributor,Apache Hudi Contributor,华米科技高级大数据工程师 )
Lakehouse Meetup“Apache Hudi 实时湖仓解决方案
Lakehouse Meetup“Apache Hudi 实时湖仓解决方案”陈玉兆阿里巴巴技术专家Apache Hudi PMCApache Calcite PMC
Flink Forward Asia 2022 数据集成 11.26 下午
云原生为数据集成领域注入了全新生命力,本专场邀请小红书、小米、科杰科技、易车、京东、顺丰、XTransfer、阿里等技术专家分享基于 Flink 的数据集成系统探索与实践。讲师/嘉宾简介徐榜江|阿里云技术专家, Apache Flink Commiter & Flink CDC Maintainer阮航|阿里云高级开发工程师,Apache Flink Contributor & Flink CDC Maintainer袁奎|小红书高级开发工程师胡焕|小米计算平台高级工程师张军|科杰科技大数据架构师,Apache Flink、Iceberg、StreamPark Contributor
Flink Forward Asia 2022 平台建设 11.27 上午
平台建设专场由来自爱奇艺、知乎、Dinky 社区、货拉拉、美团、联通、小米、StreamPark、阿里巴巴、蚂蚁集团的技术专家分享基于 Apache Flink 的实时计算平台演进与实践。讲师/嘉宾简介周凯波|阿里云高级技术专家,Apache Flink Contributor李志刚|蚂蚁集团 高级技术专家、蚂蚁集团流计算平台负责人李恒|爱奇艺资深研发工程师贾承昆|知乎大数据架构负责人亓文凯|开源 Dinky Maintainer
大数据与机器学习
大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。