DLOps:用于深度学习的 MLOps(Valohai)

简介: 机器学习运维 (MLOps) 刚刚成为一个被广泛认可的概念——尽管不一定被广泛理解或认同。 但是,如果您在科技领域工作了很长时间,你就会知道下一个新的缩写词已经在角落里嗡嗡响了。DLOps 即深度学习运维,是 MLOps 的演变,旨在解决深度学习带来的独特运维挑战。 持怀疑态度的人可能会认为这是用一个新的流行词不必要地来搅浑水,但看看 DLOps 可能与 MLOps 不同的原因可能是有价值的。为此,我们应该先看看机器学习和深度学习之间的区别。

机器学习和深度学习的区别

深度学习是机器学习中涉及深度神经网络的一个概念。

一般来说,深度学习与传统机器学习的显著区别在于,深度学习可以解决特征工程复杂或难处理的问题(最常见的是结构化数据与非结构化数据)。

假设您想区分鲨鱼和海豚。 如果您有关于动物的表格数据,您将很容易找出重量、长度,也许还有重量与长度的比率是必不可少的信息。 另一方面,如果你有一组图片,你就很难确定哪些像素、形状、颜色等是必不可少的信息。 在这些情况下,首选深度学习,因为“特征工程”留给机器。

网络异常,图片无法展示
|


可以肯定地说,深度学习模型比传统的机器学习模型更大,并且更倾向于定制。 除此之外,深度学习模型通常与其他深度学习模型协同工作,使模型架构和训练管道更加复杂。

这并不是因为深度学习本身,而是它主要应用于涉及复杂问题的场景,例如:自然语言处理、语音识别、计算机视觉等。


DLOps 与 MLOps

回到原来的话题,DLOps。

首先,机器学习运维 (MLOps) 是用于开发、发布和维护机器学习能力的流程和工具的总称。

那么深度学习模型(与其他模型相比)在开发、发布和维护方面有什么不同吗?

大多数情况下,没有。同样的最佳实践往往适用。对数据、代码和参数的所有内容进行版本控制同样重要,自动化工作流程将产生类似的好处。

然而,深度学习至少在三个领域有其独特之处:

  1. 数据基础设施:数据处理和管理可能完全不同。大多数数据区域都专注于解决结构化数据中的问题。例如,特征存储(在 MLOps 中非常流行)与深度学习无关。
  2. 训练基础设施:训练简单的机器学习可以用相对较少的数据在 CPU 上快速完成。另一方面,深度学习涉及大量大文件(例如:图像),因此需要更多的计算能力和时间。
  3. 模型服务:实时在线推理是服务于许多机器学习模型的常见范式。对于深度学习模型,这种范式要么更难以实现,要么完全无效。例如,人脸识别应该在边缘进行,以确保即使互联网连接不佳也能正常工作。

在为深度学习构建技术堆栈时,您的决定可能与使用传统机器学习的人不同。例如,并行化和 GPU 机器可能与机器学习无关,但它们却有助于从一开始开发深度学习。

另一方面,某些几乎事实上用于传统机器学习(和结构化数据)的技术,例如:AutoML 和 Spark,并没有真正用于开发深度学习模型

那么有没有足够的差异来正当理由新的术语呢?可能没有,但时间会证明一切。


DLOps 和 Valohai

Valohai 最初是为深度学习而构建的。 我们发现,对于从事深度学习的数据科学家来说,访问计算资源是一个重要的绊脚石。 因此,我们非常重视机器编排。 今天,我们仍然看到灵活利用最强大和最具成本效益的机器对于深度学习场景更有价值。

然而,我们没有将自己定位为 DLOps 平台,而是认为 Valohai 是团队构建自定义模型的最佳平台。 我们强调技术不可知论、机器编排和所有场景自动化。


相关文章
|
1月前
|
机器学习/深度学习 人工智能 安全
探索AI的未来:从机器学习到深度学习
【10月更文挑战第28天】本文将带你走进AI的世界,从机器学习的基本概念到深度学习的复杂应用,我们将一起探索AI的未来。你将了解到AI如何改变我们的生活,以及它在未来可能带来的影响。无论你是AI专家还是初学者,这篇文章都将为你提供新的视角和思考。让我们一起探索AI的奥秘,看看它将如何塑造我们的未来。
72 3
|
7月前
|
机器学习/深度学习 算法 大数据
机器学习与深度学习介绍
机器学习与深度学习介绍
|
24天前
|
机器学习/深度学习 人工智能 算法
探索深度学习的最新进展
探索深度学习的最新进展
37 1
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
机器学习之解释性AI与可解释性机器学习
随着人工智能技术的广泛应用,机器学习模型越来越多地被用于决策过程。然而,这些模型,尤其是深度学习模型,通常被视为“黑箱”,难以理解其背后的决策逻辑。解释性AI(Explainable AI, XAI)和可解释性机器学习(Interpretable Machine Learning, IML)旨在解决这个问题,使模型的决策过程透明、可信。
48 2
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
什么是深度学习模型?如何部署它?
【8月更文挑战第23天】
179 0
|
7月前
|
机器学习/深度学习 数据采集 传感器
深度学习在图像识别中的应用进展构建高效机器学习模型:从数据预处理到模型优化的洞见
【5月更文挑战第29天】 在人工智能领域,深度学习技术已经成为推动图像识别进步的核心动力。随着卷积神经网络(CNN)的不断发展和优化,以及大数据和计算能力的显著提升,图像识别的准确性和效率得到了极大增强。本文将探讨深度学习技术在图像识别领域的最新应用,分析其关键技术创新点,并讨论未来可能的发展趋势。 【5月更文挑战第29天】 在探索数据科学与机器学习的融合艺术中,本文将引导读者穿越数据处理的迷宫,解锁特征工程的秘密,并最终在模型优化的顶峰俯瞰效率与准确性的壮丽景色。我们将通过一系列经过实战验证的技术感悟,展现如何打造一个既健壮又灵敏的机器学习模型。文章不仅聚焦于技术细节,更注重于概念理解与实
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
机器学习与深度学习
机器学习与深度学习的区别
43 0
|
机器学习/深度学习 数据采集
Azure 机器学习 - 使用 AutoML 预测进行深度学习
Azure 机器学习 - 使用 AutoML 预测进行深度学习
140 0
|
机器学习/深度学习 存储 JSON
Azure - 机器学习:使用自动化机器学习训练计算机视觉模型的数据架构
Azure - 机器学习:使用自动化机器学习训练计算机视觉模型的数据架构
69 0
|
机器学习/深度学习 人工智能 算法
【深度学习】(一)机器学习基础
AI人工智能包含的内容十分广泛,对于图像处理而言,机器学习、深度学习或者计算机视觉主要关注图像识别这部分内容,所以重点学习CNN卷积神经网络。今天先从上古时期的机器学习开始。
156 0
【深度学习】(一)机器学习基础