《构建实时机器学习系统》一1.8 实时机器学习模型的生存期

简介: 本节书摘来自华章出版社《构建实时机器学习系统》一 书中的第1章,第1.8节,作者:彭河森 汪涵,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.8 实时机器学习模型的生存期

进行实时机器学习开发必须考虑生存期。生存期是指一个系统从提出、设计、开发、 测试到部署运用、维护、更新升级或退役的整个过程。若在生存期设计上出现了数据,那么在后面的使用中就会出现各种各样的瓶颈阻碍应用产生价值。
从软件工程的角度上讲,开发实时机器学习也遵从构思、分析、设计、实现和维护五个步骤,这五个步骤可能会循环往复,随着业务的发展进行多次迭代。实时机器学习模型的应用由于其技术的特殊性,也具有自己的小型生存期,其中包括数据收集、数据分析、离线手工建模评测、上线自动化建模评测这四个方面。如图1-1所示,离线手工建模评测、上线自动化建模评测这两个部分主要是靠监督式机器学习。而数据分析主要是依靠非监督式机器学习和统计数据分析。

screenshot

值得一提的是,进行上面这四个步骤的前提是机器学习模型能够给组织和用户带来价值。但是,众多开发人员甚至是领导层都不愿意面对的一个问题是:我的模型真的有用吗?
对于一些非机器学习大数据类的初创公司来说,在用户数量并不太多的情况下,用非监督式机器学习进行少量数据分析,然后用人力进行反馈,反而有可能会取得更优良的投资回报率。笔者道听途说得知国内一些门户视频网站,就算在公司都已经上市之后,仍然还在使用人工选择的方式进行视频推介,甚至还取得了尚可的效果。
如果机器学习不能给组织带来直接效果,就算有高层支持,对于机器学习从业人员来说也不是很好的职业选择。在机器学习能为组织带来效益的情况下,让数据说话,从业人员才能够不断进行深挖,并得到更多的锻炼和领域洞见;与此相反,如果所建立的系统听起来很好,但是却没能带来相对应的效益,那么这样岗位上从业人员的工作重心就会像浮萍一样随波逐流,被公司政治利益驱动,长期来说这样很不利于从业人员的个人发展。
机器学习实战的最高境界,就是知行合一,在创造科技前沿作品的同时,能够为个人、组织和社会带来效益,这也是本书写作的指导思想。
在下面的章节里,我们将会从更实际的角度出发来探索实时机器学习的应用。其中,第2章到第4章,我们将会介绍监督式机器学习模型,并且学习建模的工具Pandas和Scikit-learn;第6章到第9章,我们将会介绍实时机器学习的架构,并且学习使用Docker、 RabbitMQ、Elasticsearch及数据库等重要组成部分。

相关文章
|
3月前
|
人工智能 自然语言处理 IDE
模型微调不再被代码难住!PAI和Qwen3-Coder加速AI开发新体验
通义千问 AI 编程大模型 Qwen3-Coder 正式开源,阿里云人工智能平台 PAI 支持云上一键部署 Qwen3-Coder 模型,并可在交互式建模环境中使用 Qwen3-Coder 模型。
771 109
|
4月前
|
人工智能 自然语言处理 运维
【新模型速递】PAI-Model Gallery云上一键部署Kimi K2模型
月之暗面发布开源模型Kimi K2,采用MoE架构,参数达1T,激活参数32B,具备强代码能力及Agent任务处理优势。在编程、工具调用、数学推理测试中表现优异。阿里云PAI-Model Gallery已支持云端部署,提供企业级方案。
333 0
【新模型速递】PAI-Model Gallery云上一键部署Kimi K2模型
|
5月前
|
机器学习/深度学习 人工智能 Kubernetes
Argo Workflows 加速在 Kubernetes 上构建机器学习 Pipelines
Argo Workflows 是 Kubernetes 上的工作流引擎,支持机器学习、数据处理、基础设施自动化及 CI/CD 等场景。作为 CNCF 毕业项目,其扩展性强、云原生轻量化,受到广泛采用。近期更新包括性能优化、调度策略增强、Python SDK 支持及 AI/大数据任务集成,助力企业高效构建 AI、ML、Data Pipelines。
592 1
|
5月前
|
机器学习/深度学习 算法 安全
差分隐私机器学习:通过添加噪声让模型更安全,也更智能
本文探讨在敏感数据上应用差分隐私(DP)进行机器学习的挑战与实践。通过模拟DP-SGD算法,在模型训练中注入噪声以保护个人隐私。实验表明,该方法在保持71%准确率和0.79 AUC的同时,具备良好泛化能力,但也带来少数类预测精度下降的问题。研究强调差分隐私应作为模型设计的核心考量,而非事后补救,并提出在参数调优、扰动策略选择和隐私预算管理等方面的优化路径。
411 3
差分隐私机器学习:通过添加噪声让模型更安全,也更智能
|
4月前
|
人工智能 自然语言处理 运维
【新模型速递】PAI-Model Gallery云上一键部署gpt-oss系列模型
阿里云 PAI-Model Gallery 已同步接入 gpt-oss 系列模型,提供企业级部署方案。
|
6月前
|
机器学习/深度学习 存储 运维
机器学习异常检测实战:用Isolation Forest快速构建无标签异常检测系统
本研究通过实验演示了异常标记如何逐步完善异常检测方案和主要分类模型在欺诈检测中的应用。实验结果表明,Isolation Forest作为一个强大的异常检测模型,无需显式建模正常模式即可有效工作,在处理未见风险事件方面具有显著优势。
488 46
|
5月前
|
机器学习/深度学习 人工智能 算法
Post-Training on PAI (4):模型微调SFT、DPO、GRPO
阿里云人工智能平台 PAI 提供了完整的模型微调产品能力,支持 监督微调(SFT)、偏好对齐(DPO)、强化学习微调(GRPO) 等业界常用模型微调训练方式。根据客户需求及代码能力层级,分别提供了 PAI-Model Gallery 一键微调、PAI-DSW Notebook 编程微调、PAI-DLC 容器化任务微调的全套产品功能。
|
6月前
|
存储 人工智能 运维
企业级MLOps落地:基于PAI-Studio构建自动化模型迭代流水线
本文深入解析MLOps落地的核心挑战与解决方案,涵盖技术断层分析、PAI-Studio平台选型、自动化流水线设计及实战构建,全面提升模型迭代效率与稳定性。
263 6

热门文章

最新文章