大数据平台开发规范示例1

本文涉及的产品
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 大数据平台开发规范示例1

大数据平台开发规范示例

一、前要

内容包括但不限于平台对内和对外的需求、代码开发、测验和上线流程规范。

大数据技术平台架构的视角,梳理如何与数仓、数据分析同学协作的规范示例,仅供参考。

二、环境信息

首先需要梳理出各组件的部署方式、host及版本等信息,让其他平台、数仓或数据分析同学了解平台底座的部署情况。

三、需求流程

3.1 主流程

整体需求主流程如下。

3.2 需求发起

3.2.1 需求发起人

包括但不限于如下人员。

  • 数仓开发
  • 数据分析
  • 数据产品
  • 内部人员(主动挖掘)

3.2.2 需求类型

  • 业务需求:需要通过组件支撑的业务需求,例如应用脚本开发
  • 组件功能需求:组件功能扩展,例如connector扩展或造轮子
  • 组件bug需求:由于组件设计缺陷或版本自身缺陷导致的bug,需要结合社区和源码进行解决

3.2.3 需求渠道

Tapd/DevOps/禅道(协作管理平台)

主要为组件bug需求,例如提交地址:数据平台_线上BUG汇总

飞书/钉钉/企业微信(企业办公平台)

主要为紧急且重要的问题/需求,可通过DA(数据需求入口群)、问题群或私聊反馈(允许私聊/私活,但需要内部互通,避免信息差),当前相关问题会记录于统一锚点:新集群问题记录

线下沟通

较为繁杂的需求可通过线下沟通,需要进行拆解和确认,例如:数仓需求记录

3.2.4 需求对接人

如果团队当前还处于发展中未成熟阶段,不建议采用【统一对接人】的方式,可采用【一主多从】的策略,即除团队负责人外,其他成员都可以为’需求对接人’,但无论谁是’需求对接人’,都需将需求记录于【需求池】,避免信息差。

  • 团队负责人
  • 组件责任人
  • 每个组件的管理(技术支持/答疑)需要指定第一责任和第二责任人
  • 需求池
  • 对需求的记录,避免需求丢失,有助于建立清晰的需求回溯,需求池记录列表:大数据平台需求池

3.3 需求处理

3.3.1 内部评估

对于可快速响应和处理的小需求可跳过这步及后续的流程,例如doris因为大sql内存oom而导致读写失败的问题

对于无法快速响应和处理的需求,需要由对接人组织临时会议,进行内部评估,例如doris升级事项

内部评估需要确认事项

需求是否合理及是否需要进行后续处理

明确需求优先级

明确需求处理人

3.3.2 计划排期

  • 由需求处理人根据需求优先级进行排期,并反馈给内外部相关人员

3.3.3 方案评审

  • 由需求处理人输出方案,方案形式可采用列表、123陈述、流程图或文档形式
  • 对于复杂需求/项目可先后输出概要和详细方案,例如需要自研中间件或应用系统底座等
  • 由需求处理人组织,评审方式可在座位上或会议等形式进行
  • 参会人员必须两人或两人以上,视需求而定是否需要拉上发起人

3.3.4 开发交付

  • 根据排期时间进行开发、测试及交付,如若因其它紧急事项需优先处理,可协调顺延
  • 具体流程参考如下【开发流程
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
7月前
|
SQL 分布式计算 大数据
大数据计算MaxCompute怎么查看示例的id呢?
大数据计算MaxCompute怎么查看示例的id呢?
79 0
|
2月前
|
消息中间件 分布式计算 大数据
大数据-121 - Flink Time Watermark 详解 附带示例详解
大数据-121 - Flink Time Watermark 详解 附带示例详解
76 0
|
3月前
|
机器学习/深度学习 数据可视化 大数据
阿里云大数据的应用示例
阿里云大数据应用平台为企业提供高效数据处理与业务洞察工具,涵盖Quick BI、DataV及PAI等核心产品。DT203课程通过实践教学,帮助学员掌握数据可视化、报表设计及机器学习分析技能,提升数据驱动决策能力。Quick BI简化复杂数据分析,DataV打造震撼可视化大屏,PAI支持全面的数据挖掘与算法应用。课程面向CSP、ISV及数据工程师等专业人士,为期两天,结合面授与实验,助力企业加速数字化转型。完成课程后,学员将熟练使用阿里云工具进行数据处理与分析。[了解更多](https://edu.aliyun.com/training/DT203)
|
5月前
|
分布式计算 运维 大数据
MaxCompute产品使用合集之如何查看示例的id
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
68 8
|
7月前
|
存储 数据挖掘 大数据
大数据数仓建模基础理论【维度表、事实表、数仓分层及示例】
数据仓库建模是组织和设计数据以支持数据分析的过程,包括ER模型和维度建模。ER模型通过实体和关系描述数据结构,遵循三范式减少冗余。维度建模,特别是Kimball方法,用于数据仓库设计,便于分析和报告。事实表存储业务度量,如销售数据,分为累积、快照、事务和周期性快照类型。维度表提供描述性信息,如时间、产品、地点和客户详情。数仓通常分层为ODS(源数据)、DWD(明细数据)、DIM(公共维度)、DWS(数据汇总)和ADS(应用数据),以优化数据管理、质量、查询性能和适应性。
1716 3
|
6月前
|
存储 分布式计算 运维
揭秘“撩”大数据的正确姿势:生动示例解说大数据“三驾马车”
揭秘“撩”大数据的正确姿势:生动示例解说大数据“三驾马车”
|
7月前
|
SQL 大数据 Java
大数据必知必会系列——萌新提问怎么定义HiveUDF函数?能否给个示例
大数据必知必会系列——萌新提问怎么定义HiveUDF函数?能否给个示例
61 0
|
大数据 数据挖掘 Java
大数据平台开发规范示例
大数据平台开发规范示例
222 0
大数据平台开发规范示例
|
运维 大数据 Java
大数据平台开发规范示例2
大数据平台开发规范示例2
158 0
|
XML 前端开发 Java
大数据平台后端一些开发规范
在研发的过程中,总结一些开发规范,希望可以帮助到小伙伴们。
593 0
大数据平台后端一些开发规范