生产环境发布管理

简介: 语雀新手指南:完成四步任务,赢30天会员!新建知识库、文档,写下第一篇笔记,下载客户端即可。同时详解大型团队生产发布管理:从开发到生产多环境部署,结合CI/CD、Jenkins、Docker实现自动化发布与日志追踪,提升效率与稳定性。(239字)

6

code
code
快速上手,得 30 天会员奖励 🎁

欢迎使用语雀,参考页面上的提示即可轻松完成新手任务,领取会员奖励

第一步:新建一个知识库
第二步:新建一篇文档
第三步:写下第一篇小记
第四步:下载客户端
生产环境发布管理

生产环境发布管理
前言
在一个大型团队中,生产发布是一件复杂的事情,从dev(前后端联调)-->test(测试集成&压力测试)-->pre(灰度测试)-->prod(生产环境)的多环境推进,以及生产环境的热更新、回滚等问题一直在困扰着各个公司,今天我将基于公司的自动化部署平台为大家讲解下我们是如何做到多环境部署。
每个环境做什么
在明确发布之前,我们需要明确一下每个环境的主要职责和角色:
DEV:也叫开发环境
事项:前后端接口联调,修复代码基础缺陷
角色:前端-后端
TEST:也叫测试环境
事项:测试集成测试、压力测试,开发修复bug
角色:开发(前端后端)、测试
PRE:也叫灰度环境
事项:生产环境冒烟测试,切5个左右真实生产数据,回归流程是否有问题
角色:开发(前端后端)、测试
PROD:也叫生产环境
事项:发布代码,做真实环境验证,有问题第一时间修复(sql止血订正或代码回滚)
角色:开发(前端后端)、测试、运维
大型公司如何管控代码发布
随着自动化部署CI/CD(DevOPS)成熟,目前大型公司都开始搭建自动化部署平台,形如下图:
图1 (自动化部署平台应用主页)
当用户进入应用主页后,会发现有不同的发布环境,每一个环境对应一台服务器、一个访问域名、一组中间件环境(即dev、test等环境的nacos-mysql等都是分环境部署的)。
图2 (自动化部署平台多环境)
同时自动化部署平台会自动整合公司的gitlab,将分支展现在发布平台,以便用户可以界面化操作和部署
图3 (自动化部署平台分支管理)
当用户需要创建分支时,不再需要像传统的那样去git创建,或者idea创建,而是可以直接在当前发布平台创建(底层是一样的,都是创建一个新的git分支)
图4 (自动化部署平台分支创建)
当用户需要发布时,只需要进入对应的环境(这里我们以test为例),勾选所需要发布的分支,即可实现自动化部署。下图可以看到test环境同时部署分支约20个。
图5 (自动化部署平台提交发布)
需要注意的是:假设我们需要对A分支进行发布,只需要勾选A分支,底层Jenkins会自动完成jar包构建,并执行底层的Docker run指令完成容器部署,这里部署的jar包每个环境都是隔离的。
即dev的jar跟test无关,每次都是新构建自己的。即使是test,点击两次发布也是构建了两个jar,只不过第二次的会覆盖第一次。这点各位需要明晰。
当测试提出我们有bug时,对应的开发人员就需要在idea中,A分支上完成代码修复并push,然后在自动化部署平台重新勾选分支,然后提交部署,完成一次重新发布,循环此过程,直至缺陷被修复。
如何排查日志
当测试提出某个环境有bug时,如果是传统Linux直接部署,我们会登录到指定的服务器用cat、grep、vim等指令进入日志文件,然后找到错误的堆栈信息。如果有结合Arthas的(Arthas排查错误)可以启动Arthas查看错误信息。但是现在一般都是会借助于Skywalking或ELK进行日志查看
图6 (自动化部署平台日志排查)
在上图中我们就可以看到:一个GET请求,请求路径是:/dict/default/staff,然后一个远程服务调用,使用的dubbo,最后查询mysql数据库,这样就完成一个完整的日志链路追踪。
如何回答相关问题
1.你们公司如何部署发布
方案一:Linux原生部署
我们公司的部署呢,还是比较原始的,就是直接部署在原生的Linux系统,我们平时dev发布就在idea构建好一个jar包,然后用XShell上传上去,用指令:nohup java -jar tj-learning.jar启动。测试环境和生产也是一样的操作
方案二:基于Jenkins的自动化部署平台
我们公司的部署都已经非常成熟了,有一套自动部署平台,底层是Jenkins+K8S实现自动化部署发布,我们只需要在dev、test、prod等环境勾选需要发布的分支就行,它全帮我们做好了自动部署。
2.你们公司怎么排查错误
方案一:Linux原生环境
我们公司的部署呢,还是比较原始的,就是直接部署在原生的Linux系统,所以排查日志也需要自己去找到error.log,然后手动找到报错的堆栈信息,分析出原因。比如有个NPE(NullPointException-空指针异常),就会显示具体哪行报错,我们就会分析、修复。
方案二:基于Docker的原生平台
我们公司目前的部署就是原生的Docker,通过docker logs命令人肉排查
方案三:基于Skywalking的日志检索平台(CI/CD平台)
对于日志排查,我们公司是有Skywalking的,只需要测试给我对应的traceId,我输入进去就可以看到完整的调用链路和报错的堆栈信息,然后就可以分析报错原因并修复了

油炸小波2024-08-01 11:553754
0
IP 属地广东
举报
分享到:
xiaofu

注册 7 天后即可参与评论 了解更多
1614字
语雀
关于语雀使用帮助数据安全服务协议English
油炸小波
微服务技术栈
搜索
Ctrl + J
首页
目录
Adblocker

相关文章
|
1天前
|
人工智能 Java API
快速入门
本课程讲解JDK安装与环境变量配置、IDEA开发工具使用及Java基础语法。涵盖真实工作场景中的开发准备,如JDK和IDEA的安装激活、首个Java程序编写、注释规范、字面量类型及常用快捷键,助你快速上手Java开发。
|
1天前
|
C++
模型评估
模型评估涵盖能力、对齐与效率三大维度,涉及语言理解、知识问答、推理代码等任务,常用MMLU、C-Eval、GSM8K等基准,结合Hugging Face工具实现自动评测,面试关注幻觉检测、指标设计与人工协同评估。
|
1天前
|
缓存 算法 C++
模型推理加速
大模型推理加速关键技术:KV-Cache优化、连续批处理、投机解码、模型并行与vLLM等。涵盖原理、内存计算、优化策略及实战,助力高效部署与面试备战。
|
1天前
|
算法
模型压缩与量化
模型压缩通过量化、稀疏化、知识蒸馏等技术,减小模型体积与计算开销,助力大模型在端侧部署。涵盖INT8/INT4、GPTQ、SmoothQuant等方法,平衡压缩比、精度与速度,并支持实战量化加载,提升推理效率。
|
1天前
|
存储 机器学习/深度学习 编解码
预训练技巧
预训练是大模型的核心基础,涵盖混合精度、分布式训练、ZeRO优化、FlashAttention等关键技术,通过高效计算与显存优化,实现大规模模型的快速稳定训练。
|
1天前
|
机器学习/深度学习 存储 知识图谱
知识蒸馏
知识蒸馏是一种模型压缩技术,通过让小模型(学生)模仿大模型(教师)的输出或中间特征,实现性能逼近甚至超越。核心方法包括基于软标签的Hinton蒸馏、带温度的softmax平滑分布、以及利用隐藏层特征的特征蒸馏。分为黑盒(仅用输出)与白盒(访问内部)两种模式,广泛用于加速推理与提升小模型泛化能力。(238字)
|
1天前
|
机器学习/深度学习 算法 关系型数据库
强化学习
强化学习(RL)是一种通过智能体与环境交互,以最大化累积奖励为目标的学习方法。核心包括状态、动作、奖励、策略与价值函数,依赖试错和延迟奖励机制。常见算法如Q-learning、PPO、DPO等,广泛应用于游戏、机器人及大模型训练。结合人类反馈(RLHF),可实现对齐人类偏好的智能行为优化。(239字)
|
1天前
|
存储 物联网 决策智能
微调技术
微调是适配预训练模型的关键技术,涵盖指令微调、对齐微调与高效参数微调。LoRA通过低秩分解减少参数量,提升训练效率;其变体如LoRA+、QLoRA、AdaLoRA进一步优化性能与资源消耗。Prefix Tuning与Prompt Tuning则通过少量参数实现高效微调,适用于不同场景需求。(239字)
|
1天前
|
机器学习/深度学习 自然语言处理 算法
分词器详解
分词器将文本转为模型可处理的数字序列,主流算法有BPE、WordPiece和SentencePiece。BPE高效但中文支持弱;WordPiece用于BERT,适合英文;SentencePiece语言无关,支持中日文。实战中常用SentencePiece处理中文,Hugging Face工具处理英文。面试需掌握算法差异、中文分词策略、词汇表设计及OOV问题解决。
|
1天前
|
自然语言处理
主流大模型结构
本文介绍了四大模型架构:Encoder-Decoder、Decoder-Only、Encoder-Only和Prefix-Decoder,涵盖代表模型与应用场景。详解GPT系列演进、LLaMA发展及主流中文大模型,并对比GPT-4、LLaMA-3、Qwen等在架构、参数量与上下文长度等方面的异同。