Serveless架构的CICD探索

简介: ——袁坤阿里云云原生前端技术专家Serverless Devs开发者工具PMC

一、背景介绍

image.png

前端应用生命周期分为开发、部署、运维以及监控四个阶段。

开发层面的工具有比如构建方面Webpack 代理方面Proxy以及mock工具。部署方面更多的是开源工具,比如 Github Actiontravis CISQL CI运维系统一般需自行搭建。监控方面的工具有比如阿里云的ARMS监控Sentry以及DataDog

前端主要偏向应用交互,对资源的探索相对较少

image.png

在一个现代化的GitOps前端应用平台中,CICD 架构的灵魂。 CICD 层面有很多方案,无论是开源还是商业化版本前端开发者的诉求大多可以总结为以下三个:

l  免运维:无需关心资源的预留或容量的规划,无需关注底座资源不足导致构建失败。

l  前端友好整体架构基于Javascript语言开发,轻量简单

l  被集成:前端团队往往有自己内部的开发运维平台希望平台能够很好进行二次封装,从而快速开发内部的前端 PaaS平台。

二、ServerlessFaaS)架构CICD的实践

image.png

CICD业务流程如下:在Github Repo发布一条 commit 代码,push之后执行installbuildtest以及depoly步骤,整个流程具有以下三个特点:

l  事件驱动:所有触发流程通过事件驱动。

l  长时间运行因为网络问题或每个任务的脚本不一,执行时间可长达数小时,运行时长不确定。

l  流量波峰波谷::一般夜里流量较低,上班时间会提交代码,存在流量高峰。

image.png

FC 异步函数具有以下几个特点:

l  免运维无需做容量规划以及资源调度,无需维护调度集群按调用次数收费如果没有产生调用则不收费

l  对比K8s它已经具备完整的可观测能力,而k8s可能需要安装可观测相关插件弹性方面FC的异步函数具有毫秒级别伸缩速度,而k8s为分钟级; FC 每秒能够处理数万条任务,而k8s仅数百条

l  高阶能力:包括任务去重任务流控(任务失败自动重试)以及任务执行结果回调(所有执行结果均可进行投递以供后续处理)

image.png

上图展示了简单的系统流程。开发者 push 一段代码到Git Repo,再由系统Webhook触发 FaaS 函数。FaaS函数会接收到一个traffic请求,traffic不一定是 webhook 可能是其他请求类型。Triggerworker两个函数很重要的特点为,其中所有业务逻辑或任务处理相关的逻辑都属于nodeJS 生态。

image.png

 一个通用的产品必须具有相关规范,这里的规范主要有Trigger规范和触发器规范。

Trigger规范分为三种类型

第一,事件类型事件类型包括很多事件,通过插件化的方式实现。所有都需要经过两个流程:

l  鉴权。并非所有人都可以调用HTTP接口因此需要有鉴权的逻辑

l  FilterGithub可能每天触发上千条 webhook请求,因此需要通过filter筛选感兴趣的 webhook

第二,手动触发。比如失败后需要手动触发,或者希望将整体的能力集成到自建系统,需要 RustAPI进行直接调用。

第三,定时触发。比如定时的巡检、定时端到端的测试。

image.png

Task 规范最大的优点在于自定义step,提供了shellnpm模块以及goggle/zx。其中goggle/zx指用Javascript书写脚本的能力

其次,支持模板语法。比如要判断当前步骤执行或暂停、当前的任务是否影响其他任务调用以上所有能力都基于 npm 包实现。  

image.png

事件到达后,Trigger函数会调用 npm trigger 里的一些能力。然后执行worker函数调用上面的 task 方法,同时会产生日志信息日志信息是 interface 接口,可以存储到 OSS NAS SLS最终实现 Consul 日志信息进行处理。

此处还有持久化的存储能力,Ots它是 Serverless DB按调用次数收费。

image.png

函数能力设计的核心。

Trigger函数是一个 API server ,也是一个暴露出来HTTP请求, controller 函数,负责控制整体的流程运转。它主要负责以下几项工作:

① 鉴权:负责权限的拦截。比如验证不通过则会提示失败可以在 WebHook 里面查看失败的 WebHook 信息。

② 流量过滤:比如只接收Push流量,将issue等流量过滤掉。

③ 网关能力做路由的分发。

同时Trigger是单实例多并发的函数。在一分钟内会触发成千上百请求如果每一个请求都拉齐函数实例,会造成极大的资源浪费。而单实例多并发则意味着一个 POD里可以处理个请求查看,能够极大地节省资源。此外,Trigger函数只做简单的鉴权以及流量过滤,不存在过多计算,也无需与数据库交互,因此非常轻量。

Worker 函数的特点需要长时间运行,因此需要支持比如暂停取消高阶能力,同时它还能实现流量的过滤。

函数的特性来,首先它是事件函数,即无法通过 HTTP 接口在外部调用它第二它是异步函数第三它是Custom Runtime函数,能够一键切换语言以及版本,无需多余的维护此外,Worker函数天然拥有镜像加速能力,保证了拉起速度。

image.png

核心的 Npm 组件有以下三个:

① Trigger:负责parse Trigger spec

② Engine:负责parse Task spec

③ Core提供了一系列方法,比如日志方法、解析yaml环境变量以及 secret 等能力。

三、总结展望

image.png

后续将实现Pipeline能力。比如多个task编排,其中编排能力包括串行执行和并行执行,串行执行和并行执行的特点为无法暂停。任务的暂停和恢复等能力需要通过第三方机制比如通过 Redis 消息队列或 MQ 消息队列来实现。同时还支持cache缓存来减少网络开销。

region部署切换的能力可以根据灵活的配置规则将worker函数切换到不同region,解决了国内访问GitHub时经常出现的网络不通导致任务失败的问题

日志支持几种存储方式

第一,基于文件存储 NAS方案。优点为能够展示实时日志能够不断实时追加,可以很好地支持实时滚动实时的刷新等场景。缺点为文件没有生命周期,需要新建辅助函数清理日志;此外,QPS 并发较高时,会存在写入性能瓶颈。

第二,基于日志系统SLS方案。SLS 和函数计算结合非常紧密,因此使用极其方便,支持 stdout中读取流日志日志也具备完整的生命周期。缺点价格比较昂贵。

第三,基于 OSS 对象存储方案。优点为价格便宜,使用简单,因为 OSS rest接口,具备完整的生命周期缺点为无法像文件一样进行追加,因此无法支持实时日志执行完task之后才能获取当前的完整日志。

Q&A

Q:通过CICD将前端代码部署到server,是否还需要后端?

A:需要。CICD整个系统的server部署在FC,因此肯定需要后端。此处可理解为前端完成了后端的工作。业务逻辑(应用)维护在各种仓库里,对yaml进行定义即可触发函数。

QDemo里存在版本之间的切换,从v1切换到v2再切换到v1。那么版本驻在哪里?

A:不存在版本的概念。所有版本都来自于 git ,可以回退到任何一个 commit,只有git commit 的概念

Q:开发了新特性,更新到git仓库。发现有bug需要回退,git仓库是否也需要回退?

AGit仓库不需要回退,git记录了所有历史行为,因此通过git fetch获取commit即可。另外,如果是生产流程,则建议通过tag部署,以避免部署状态与git仓库不一致。

相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
Java 程序员
作为 Java 开发程序员,你知道什么是 Serveless 架构吗?(下)
Hello 大家好,我是阿粉,在了解什么是 Serveless 架构之前,我们先看下传统的项目发布和部署的流程是什么样子的。 物理机
作为 Java 开发程序员,你知道什么是 Serveless 架构吗?(下)
|
运维 Cloud Native 安全
作为 Java 开发程序员,你知道什么是 Serveless 架构吗?(上)
Hello 大家好,我是阿粉,在了解什么是 Serveless 架构之前,我们先看下传统的项目发布和部署的流程是什么样子的。 物理机
作为 Java 开发程序员,你知道什么是 Serveless 架构吗?(上)
|
2月前
|
Cloud Native Serverless API
微服务架构实战指南:从单体应用到云原生的蜕变之路
🌟蒋星熠Jaxonic,代码为舟的星际旅人。深耕微服务架构,擅以DDD拆分服务、构建高可用通信与治理体系。分享从单体到云原生的实战经验,探索技术演进的无限可能。
微服务架构实战指南:从单体应用到云原生的蜕变之路
|
弹性计算 API 持续交付
后端服务架构的微服务化转型
本文旨在探讨后端服务从单体架构向微服务架构转型的过程,分析微服务架构的优势和面临的挑战。文章首先介绍单体架构的局限性,然后详细阐述微服务架构的核心概念及其在现代软件开发中的应用。通过对比两种架构,指出微服务化转型的必要性和实施策略。最后,讨论了微服务架构实施过程中可能遇到的问题及解决方案。
|
5月前
|
缓存 Cloud Native Java
Java 面试微服务架构与云原生技术实操内容及核心考点梳理 Java 面试
本内容涵盖Java面试核心技术实操,包括微服务架构(Spring Cloud Alibaba)、响应式编程(WebFlux)、容器化(Docker+K8s)、函数式编程、多级缓存、分库分表、链路追踪(Skywalking)等大厂高频考点,助你系统提升面试能力。
292 0
|
Cloud Native Devops 云计算
云计算的未来:云原生架构与微服务的革命####
【10月更文挑战第21天】 随着企业数字化转型的加速,云原生技术正迅速成为IT行业的新宠。本文深入探讨了云原生架构的核心理念、关键技术如容器化和微服务的优势,以及如何通过这些技术实现高效、灵活且可扩展的现代应用开发。我们将揭示云原生如何重塑软件开发流程,提升业务敏捷性,并探索其对企业IT架构的深远影响。 ####
358 3
|
Cloud Native 安全 数据安全/隐私保护
云原生架构下的微服务治理与挑战####
随着云计算技术的飞速发展,云原生架构以其高效、灵活、可扩展的特性成为现代企业IT架构的首选。本文聚焦于云原生环境下的微服务治理问题,探讨其在促进业务敏捷性的同时所面临的挑战及应对策略。通过分析微服务拆分、服务间通信、故障隔离与恢复等关键环节,本文旨在为读者提供一个关于如何在云原生环境中有效实施微服务治理的全面视角,助力企业在数字化转型的道路上稳健前行。 ####
|
Java 开发者 微服务
从单体到微服务:如何借助 Spring Cloud 实现架构转型
**Spring Cloud** 是一套基于 Spring 框架的**微服务架构解决方案**,它提供了一系列的工具和组件,帮助开发者快速构建分布式系统,尤其是微服务架构。
1053 69
从单体到微服务:如何借助 Spring Cloud 实现架构转型
|
8月前
|
Cloud Native Serverless 流计算
云原生时代的应用架构演进:从微服务到 Serverless 的阿里云实践
云原生技术正重塑企业数字化转型路径。阿里云作为亚太领先云服务商,提供完整云原生产品矩阵:容器服务ACK优化启动速度与镜像分发效率;MSE微服务引擎保障高可用性;ASM服务网格降低资源消耗;函数计算FC突破冷启动瓶颈;SAE重新定义PaaS边界;PolarDB数据库实现存储计算分离;DataWorks简化数据湖构建;Flink实时计算助力风控系统。这些技术已在多行业落地,推动效率提升与商业模式创新,助力企业在数字化浪潮中占据先机。
475 12

热门文章

最新文章