灵杰开发者_个人页

2023年06月

• 06.12 17:27:03
  发表了文章 2023-06-12 17:27:03

  美团买菜基于 Flink 的实时数仓建设

  美团买菜实时数仓技术负责人严书，在 Flink Forward Asia 2022 实时湖仓专场的分享。

  
• 06.09 17:58:17
  发表了文章 2023-06-09 17:58:17

  揭秘阿里云 Flink 智能诊断利器——Flink Job Advisor

  阿里云实时计算 Flink 作为一款专业级别的高性能实时大数据处理系统，它在各种业务场景中都发挥了关键的作用。丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。然而，随着系统的复杂性增加，用户在日常使用中往往需要面临诸如复杂的数据开发报错分析、任务运行报错处理、任务运行调优等疑难问题。

  
• 06.09 17:15:06
  发表了文章 2023-06-09 17:15:06

  基于Kibana Dashboard创建仪表板，可视化匹配航班信息

  通过本教程，您将学习如何创建、配置、共享仪表板，并与创建的仪表板进行数据交互。

  
• 06.08 17:12:41
  发表了文章 2023-06-08 17:12:41

  基于Kibana Lens进行数据可视化，灵活分析航班信息

  通过本教程，您将通过简单的拖放操作，体验Elasticsearch Kibana Lens灵活的数据可视化功能，在仪表板中创建条形图、表格、圆环图和树状图等可视化视图。

  
• 06.08 17:04:47
  发表了文章 2023-06-08 17:04:47

  活动预告｜6月15 日 Apache Paimon Meetup，深入解读 Apache Paimon 0.4.0 ！

  深入解读 Apache Paimon 0.4.0 Meetup，6月15日｜线上活动，敬请期待！

  
• 06.07 19:39:58
  发表了文章 2023-06-07 19:39:58

  基于Kibana Discover筛选数据，自由搜索航班信息并导出CSV报告

  通过本教程，您将体验Kibana的Discover功能，包括筛选数据（查询栏下添加筛选或在查询栏中使用KQL语法筛选）、保存搜索和导出搜索结果为CSV报告。
• 06.05 17:40:19
  发表了文章 2023-06-05 17:40:19

  快手 Flink 的稳定性和功能性扩展

  快手技术专家刘建刚，在 Flink Forward Asia 2022 生产实践专场的分享。

  
• 06.01 17:27:32
  发表了文章 2023-06-01 17:27:32

  小米基于 Flink 的实时数仓建设实践

  本次分享围绕小米在实时数仓方面的探索与实践展开，主要涉及：Flink+Iceberg 实时数仓架构升级，稳定性与实时性优化；基于当前 Flink 实时数仓的不确定性问题，介绍 Merge into 功能和算子级状态清理的解决方案。

  

2023年05月

• 05.30 19:39:31
  发表了文章 2023-05-30 19:39:31

  Flink CEP 在抖音电商的业务实践｜电商行业实践专栏上线

  Flink-learning 学训平台和电商行业实践专栏来啦！

  
• 05.29 17:59:40
  发表了文章 2023-05-29 17:59:40

  基于 Log 的通用增量 Checkpoint

  本文将从 Checkpoint 的性能优化历程出发，介绍 ChangelogStateBackend 的基本机制、应用场景和未来规划，同时介绍最新版本在 State 上的一些优化工作。

  
• 05.26 17:57:18
  发表了文章 2023-05-26 17:57:18

  Hybrid Shuffle 测试分析和使用建议

  本文将基于测试结果详细分析 Hybrid Shuffle 的优势场景，并基于我们的经验给出一些使用建议。

  
• 05.25 17:58:37
  发表了文章 2023-05-25 17:58:37

  电商行业实践专栏上线｜阿里巴巴风控实战如何解决大规模风控的技术难点？

  Flink-learning 学训平台第 4 期课程——电商行业实践专栏上线啦！

  
• 05.24 18:24:25
  发表了文章 2023-05-24 18:24:25

  深入解读 Flink 1.17

  阿里云技术专家，Apache Flink PMC Member & Committer、Flink CDC Maintainer 徐榜江(雪尽) 在深入解读 Flink 1.17 的分享。

  
• 05.23 17:31:50
  发表了文章 2023-05-23 17:31:50

  流批一体架构在快手的实践和思考｜行业实践专栏上线

  Flink-learning 学训平台和互娱行业实践专栏来啦！

  
• 05.22 16:53:14
  发表了文章 2023-05-22 16:53:14

  基于 Log 的通用增量 Checkpoint 在美团的进展

  美团计算引擎工程师王非凡，在 Flink Forward Asia 2022 核心技术专场的分享。

  
• 05.18 17:50:58
  发表了文章 2023-05-18 17:50:58

  流批一体的近实时数仓的思考与设计

  欢迎大家多分享具体实践，一起共筑新的数据实践方式。

  
• 05.16 17:42:29
  发表了文章 2023-05-16 17:42:29

  尘锋信息基于 Apache Paimon 的流批一体湖仓实践

  尘锋信息基于 Apache Paimon 构建流批一体湖仓

  
• 05.15 17:29:19
  发表了文章 2023-05-15 17:29:19

  B 站构建实时数据湖的探索和实践

  bilibili 大数据实时团队资深开发工程师周晖栋，在 Flink Forward Asia 2022 实时湖仓专场的分享。
• 05.11 18:02:23
  发表了文章 2023-05-11 18:02:23

  行业实践专栏上线｜互娱领域专家解读 Flink 企业应用实践

  Flink-learning 学训平台第 3 期课程——互娱行业实践专栏上线啦！
• 05.10 17:48:49
  发表了文章 2023-05-10 17:48:49

  Flink SQL 的数据脱敏解决方案

  Flink SQL 的数据脱敏解决方案，支持面向用户级别的数据脱敏访问控制，即特定用户只能访问到脱敏后的数据。
• 05.09 17:05:22
  发表了文章 2023-05-09 17:05:22

  蚂蚁实时低代码研发和流批一体的应用实践

  蚂蚁实时数仓架构师马年圣，在 Flink Forward Asia 2022 流批一体专场的分享。
• 05.08 18:27:32
  发表了文章 2023-05-08 18:27:32

  日常节省 30%计算资源：阿里云实时计算 Flink 自动调优实践

  Flink 流作业的资源调优一直是业界难题，该 Topic 主要介绍阿里云上 Flink 资源调优的一些实践。
• 05.05 17:42:27
  发表了文章 2023-05-05 17:42:27

  Hive SQL on Flink 构建流批一体引擎

  阿里巴巴开发工程师罗宇侠&方盛凯，在 Flink Forward Asia 2022 流批一体专场的分享。

2023年04月

• 04.27 18:02:41
  发表了文章 2023-04-27 18:02:41

  巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践

  巴别时代基于 Apache Paimon(Incubating) 构建 Streaming Lakehouse 的生产实践经验。
• 04.26 18:09:08
  发表了文章 2023-04-26 18:09:08

  Flink 2.0 启航，开启全新篇章

  欢迎大家参加关于 Flink 2.0 的愿景、功能、时间表、流程、路线图等方面的讨论！
• 04.24 18:20:20
  发表了文章 2023-04-24 18:20:20

  最佳实践｜如何写出简单高效的 Flink SQL？

  通过几个经典案例介绍 Flink SQL 的最佳实践：如何写出简单高效的 Flink SQL，哪些 SQL 是 BAD SQL。帮助大家更好地的认识 Flink SQL。

  
• 04.21 18:13:56
  发表了文章 2023-04-21 18:13:56

  Elastic产品技术回顾与前瞻

  3月16日阿里云 × Elastic 中国用户峰会2023 Elastic中国区首席解决方案架构师--朱杰分享Elastic产品技术回顾与前瞻
• 04.21 17:46:15
  发表了文章 2023-04-21 17:46:15

  Apache Flink ML 2.2.0 发布公告

  Apache Flink 社区很荣幸地宣布 Apache Flink ML 2.2.0 版本正式发布！
• 04.20 11:26:59
  发表了文章 2023-04-20 11:26:59

  阿里云Elasticsearch总结与展望

  5周年 我们再出发
• 04.12 10:01:02
  发表了文章 2023-04-12 10:01:02

  阿里云Elasticsearch智能存储引擎能力再升级，索引存储大小降低超40%！

  Elastic中国开发者大会2023上，阿里云首次对外公开Elasticsearch全面Serverless化背后的产品技术架构，阿里云Elasticsearch依靠云原生底座技术升级，持续进行内核优化，并在日志场景大幅提升使用性价比，向用户提供更简单、更稳定、更弹性的搜索云服务。

  

2023年03月

• 03.16 16:18:48
  发表了文章 2023-03-16 16:18:48

  阿里云Elasticsearch 让搜索上云像使用“水电”一样简单

  在刚结束的2023年阿里云 X Elastic中国用户峰会上，阿里云Elasticsearch宣布全面Serverless化，依靠6年来持续的产品体验创新，和云原生底座技术升级，向用户提供更简单、更稳定、更弹性的搜索云服务。

  
• 03.08 15:04:17
  发表了文章 2023-03-08 15:04:17

  直播预约｜Search for Future，阿里云 × Elastic 中国用户峰会 2023

  阿里云 × Elastic 中国用户峰会 2023，将于3月16日在线上举办。此次大会邀请国内外众多搜索领域的一线技术专家和行业领袖，分享他们基于 Elasticsearch 的实践经验，从解决方案、最佳实践、用户案例以及技术前瞻性等多个维度现身说法，为企业贡献后疫情时代如何使用云上搜索实现降本增效的锦囊妙计。

  

2022年07月

• 07.18 15:20:38
  发表了文章 2022-07-18 15:20:38

  免费下载！《Databricks数据洞察：从入门到实践》

  本书从技术基础介绍到场景应用实践，帮助读者入门数据湖Lakehouse以及部分spark相关应用。

  

2022年06月

• 06.21 17:17:41
  发表了文章 2022-06-21 17:17:41

  使用Databricks+Confluent进行实时数据采集入湖和分析【Databricks 数据洞察公开课】

  本文介绍网约车模拟数据从产生，发布到流数据服务 Confluent，通过Databricks Structured Streaming进行实时数据处理，存储到LakeHouse，并使用spark和spark sql进行分析的应用实践。

  
• 06.01 17:00:23
  发表了文章 2022-06-01 17:00:23

  使用 Databricks 进行营销效果归因分析的应用实践【Databricks 数据洞察公开课】

  本文介绍如何使用Databricks进行广告效果归因分析，完成一站式的部署机器学习，包括数据ETL、数据校验、模型训练/评测/应用等全流程。

  

2022年05月

• 05.16 11:45:15
  发表了文章 2022-05-16 11:45:15

  使用Databricks+Mlflow进行机器学习模型的训练和部署【Databricks 数据洞察公开课】

  介绍如何使用Databricks和MLflow搭建机器学习生命周期管理平台，实现从数据准备、模型训练、参数和性能指标追踪、以及模型部署的全流程。

  
• 05.09 15:03:26
  发表了文章 2022-05-09 15:03:26

  使用Databricks进行零售业需求预测的应用实践【Databricks 数据洞察公开课】

  本文从零售业需求预测痛点、商店商品模型预测的实践演示，介绍Databricks如何助力零售商进行需求、库存预测，实现成本把控和营收增长。

  
• 05.09 15:02:07
  发表了文章 2022-05-09 15:02:07

  企业版Spark Databricks + 企业版Kafka Confluent 联合高效挖掘数据价值

  本文介绍了如何使用阿里云的Confluent Cloud和Databricks构建数据流和LakeHouse，并介绍了如何使用Databricks提供的能力来挖掘数据价值，使用Spark MLlib构建您的机器学习模型。

  
• 05.09 15:00:56
  发表了文章 2022-05-09 15:00:56

  如何使用Delta Lake构建批流一体数据仓库【Databricks 数据洞察公开课】

  Delta Lake是一个开源存储层，它为数据湖带来了可靠性。Delta Lake提供了ACID事务、可扩展的元数据处理，并统一了流式处理和批处理数据处理。Delta-Lake运行在现有数据湖之上，并且与Apache Spark API完全兼容。希望本篇能让大家更深入了解Delta Lake，最终可以实践到工作当中。

  
• 05.09 14:52:46
  发表了文章 2022-05-09 14:52:46

  Delta Lake基础介绍（商业版）【Databricks 数据洞察公开课】

  介绍 Lakehouse 搜索引擎的设计思想，探讨其如何使用缓存，辅助数据结构，存储格式，动态文件剪枝，以及 vectorized execution 达到优越的处理性能。

  

2022年04月

• 04.25 16:14:37
  发表了文章 2022-04-25 16:14:37

  使用Databricks进行零售业需求预测的应用实践【Databricks 数据洞察公开课】

  本文从零售业需求预测痛点、商店商品模型预测的实践演示，介绍Databricks如何助力零售商进行需求、库存预测，实现成本把控和营收增长。

  
• 04.13 11:14:08
  发表了文章 2022-04-13 11:14:08

  企业版Spark Databricks + 企业版Kafka Confluent 联合高效挖掘数据价值

  本文介绍了如何使用阿里云的Confluent Cloud和Databricks构建数据流和LakeHouse，并介绍了如何使用Databricks提供的能力来挖掘数据价值，使用Spark MLlib构建您的机器学习模型。

  
• 04.11 17:30:37
  发表了文章 2022-04-11 17:30:37

  如何使用Delta Lake构建批流一体数据仓库【Databricks 数据洞察公开课】

  Delta Lake是一个开源存储层，它为数据湖带来了可靠性。Delta Lake提供了ACID事务、可扩展的元数据处理，并统一了流式处理和批处理数据处理。Delta-Lake运行在现有数据湖之上，并且与Apache Spark API完全兼容。希望本篇能让大家更深入了解Delta Lake，最终可以实践到工作当中。

  

2022年03月

• 03.22 18:41:01
  发表了文章 2022-03-22 18:41:01

  Delta Lake基础介绍（商业版）【Databricks 数据洞察公开课】

  介绍 Lakehouse 搜索引擎的设计思想，探讨其如何使用缓存，辅助数据结构，存储格式，动态文件剪枝，以及 vectorized execution 达到优越的处理性能。

  
• 03.21 15:16:17
  发表了文章 2022-03-21 15:16:17

  基于Confluent+Flink的实时数据分析最佳实践

  在实际业务使用中，需要经常实时做一些数据分析，包括实时PV和UV展示，实时销售数据，实时店铺UV以及实时推荐系统等，基于此类需求，Confluent+实时计算Flink版是一个高效的方案。

  
• 03.21 15:01:23
  发表了文章 2022-03-21 15:01:23

  基于Confluent+Flink的实时数据分析最佳实践

  在实际业务使用中，需要经常实时做一些数据分析，包括实时PV和UV展示，实时销售数据，实时店铺UV以及实时推荐系统等，基于此类需求，Confluent+实时计算Flink版是一个高效的方案。