数学优化和机器学习结合使用的四种方法简介

简介: 数学优化(或数学规划)是一个强大的决策工具。通过制定目标并指定约束条件和变量,数学优化可以帮助在当前现实环境下做出最佳决策。它已经在航空、物流、电力和金融等许多不同行业证明了其价值。

数学优化与机器学习
image.png
数学优化(或数学规划)是一个强大的决策工具。通过制定目标并指定约束条件和变量,数学优化可以帮助在当前现实环境下做出最佳决策。它已经在航空、物流、电力和金融等许多不同行业证明了其价值。

机器学习是人工智能的一个分支领域。计算机可以识别数据中的模式并学习预测未来,可以进行聚类、检测异常或生成新的音乐或图像。机器学习的三种类型(有监督、无监督和强化学习)可以应用于所有行业,比如医疗保健,甚至是艺术。机器学习模型都是关于概率的,并预测将发生事情的概率

两种方法各有优缺点。当数据变化太多时,机器学习模型就变得毫无用处,模型需要重新训练或从头开始重建。数学优化需要良好的数学描述,它不能像机器学习那样处理非结构化数据。此外,如果问题变得太大,您可能需要一个商业解决程序来解决问题,这可能是相当昂贵的。

有些问题更适合机器学习,而另一些问题则更适合数学优化。当您希望发现数据中的模式、查找相似的数据样本或预测天气时,应该使用机器学习。如果您想创建一个时间表,找到设施的最佳位置或最小化问题的成本,数学优化是更好的选择。

如何结合数学优化和机器学习呢?
将数学优化和机器学习结合起来是很有用的。它们有不同的优点和缺点,有些问题太复杂,不能只使用两者中的一种。它们可以相互补充。这里有四种方法和实际例子,告诉你如何将它们结合起来。

  1. 使用机器学习预测作为优化模型中的约束

首先,您使用机器学习进行预测,这些预测被用作优化问题的输入。您可以使用机器学习模型的输出设置约束。

示例:使用机器学习预测观看人数,使用它们作为输入来创建一个优化的最佳计划

假设你是一家平台的数据科学家,你向其他公司出售广告空间。广告商购买播放时间,平台根据经验猜测有多少人会看到广告商的广告。作为数据科学家,您希望以最好的方式使用广告空间。首先,使用机器学习根据历史数据预测观看数据。然后,创建一个使用观看数据为输入的优化模型。你通过观看数据来优化计划。通过这样做,你可以使平台的利润最大化。

  1. 使用优化决策作为机器学习模型中的训练特征

与方法 1 相比,这是相反的方式:首先优化模型做出决策,决策被用作机器学习模型中的特征。实际上,这种方法不太常见,因为大多数决策 (MO) 都遵循预测 (ML)。这种方式可能在特定项目中很有用。

示例:在机器学习模型中使用运输决策
数学优化在物流中有着广泛的应用。如果您使用优化来决定需要从生产工厂运送到市场的供应量,它可以节省大量时间、金钱和资源。在获得这些结果之后,您可以将它们用于机器学习问题中,例如预测特定日期每个工厂需要多少员工。

3.利用机器学习输出来确定数学优化模型的范围
除了在优化问题中直接使用机器学习输出外,您还可以选择将它们独立地结合起来。您可以在同一个项目中使用它们,但不是在同一个过程中。您可以使用机器学习输出来简化数学优化问题:您可以使用机器学习确定优化模型的范围。这里的一个额外好处是优化模型可以在更短的时间内求解。

示例:使用预测性维护和聚类来确定路由问题的范围
在这个例子中,我们来看一家修理电源箱的公司。他们的修理工数量有限,希望以最好的方式使用这些修理工。首先,您可以使用预测性维护(机器学习)来决定哪些电源箱具有最高的故障风险。然后,使用聚类(机器学习)对高风险电源箱进行聚类。聚类是因为您希望一组电源箱彼此靠近。您可以选择与可用的修理工数量相等的聚类数量。最后,通过数学优化,您可以创建每个聚类的电源箱之间的最佳路线,每个修理工都有一条路线。

  1. 利用优化来解决机器学习问题

你可以使用优化来为机器学习问题找到一个最优的参数集。机器学习和数学优化在这里是紧密结合在一起的,因为在机器学习问题中使用了优化。下面的例子表明,混合整数规划(MIP)已经证明了它在解决一个经典研究问题中的价值。

例:求解线性回归中的最佳子集选择问题

在构建回归模型时,去除不相关的特征会使模型更容易解释,并且也不容易过度拟合数据。很难找到特征的最优子集,称为最佳子集选择问题。在过去的几十年里,混合整数规划(数学优化)在速度上有了显著的提高,这使得在现有问题上测试它很有用。

最后
希望本文能启发您尝试数学优化和机器学习的有趣结合!它们适用于不同类型的问题,并且可以相互补充。除了明显的方法(使用一个的输出作为另一个的输入)之外,还有其他方法可以将它们组合起来。你可以将它们松散地结合起来,就像第三种方法一样,使用机器学习来确定优化问题的范围。或者您可以将它们紧密集成以解决研究问题,如最后一个示例所示。

相关文章
|
2月前
|
机器学习/深度学习 数据采集 数据挖掘
实战派教学:掌握Scikit-learn,轻松实现数据分析与机器学习模型优化!
【10月更文挑战第4天】Scikit-learn凭借高效、易用及全面性成为数据科学领域的首选工具,简化了数据预处理、模型训练与评估流程,并提供丰富算法库。本文通过实战教学,详细介绍Scikit-learn的基础入门、数据预处理、模型选择与训练、评估及调优等关键步骤,助你快速掌握并优化数据分析与机器学习模型。从环境搭建到参数调优,每一步都配有示例代码,便于理解和实践。
99 2
|
15天前
|
机器学习/深度学习 算法 数据挖掘
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
58 4
|
20天前
|
机器学习/深度学习 PyTorch API
优化注意力层提升 Transformer 模型效率:通过改进注意力机制降低机器学习成本
Transformer架构自2017年被Vaswani等人提出以来,凭借其核心的注意力机制,已成为AI领域的重大突破。该机制允许模型根据任务需求灵活聚焦于输入的不同部分,极大地增强了对复杂语言和结构的理解能力。起初主要应用于自然语言处理,Transformer迅速扩展至语音识别、计算机视觉等多领域,展现出强大的跨学科应用潜力。然而,随着模型规模的增长,注意力层的高计算复杂度成为发展瓶颈。为此,本文探讨了在PyTorch生态系统中优化注意力层的各种技术,
48 6
优化注意力层提升 Transformer 模型效率:通过改进注意力机制降低机器学习成本
|
8天前
|
机器学习/深度学习 存储 运维
分布式机器学习系统:设计原理、优化策略与实践经验
本文详细探讨了分布式机器学习系统的发展现状与挑战,重点分析了数据并行、模型并行等核心训练范式,以及参数服务器、优化器等关键组件的设计与实现。文章还深入讨论了混合精度训练、梯度累积、ZeRO优化器等高级特性,旨在提供一套全面的技术解决方案,以应对超大规模模型训练中的计算、存储及通信挑战。
32 4
|
15天前
|
机器学习/深度学习 算法 UED
在数据驱动时代,A/B 测试成为评估机器学习项目不同方案效果的重要方法
在数据驱动时代,A/B 测试成为评估机器学习项目不同方案效果的重要方法。本文介绍 A/B 测试的基本概念、步骤及其在模型评估、算法改进、特征选择和用户体验优化中的应用,同时提供 Python 实现示例,强调其在确保项目性能和用户体验方面的关键作用。
22 6
|
15天前
|
机器学习/深度学习 Python
机器学习中模型选择和优化的关键技术——交叉验证与网格搜索
本文深入探讨了机器学习中模型选择和优化的关键技术——交叉验证与网格搜索。介绍了K折交叉验证、留一交叉验证等方法,以及网格搜索的原理和步骤,展示了如何结合两者在Python中实现模型参数的优化,并强调了使用时需注意的计算成本、过拟合风险等问题。
32 6
|
17天前
|
机器学习/深度学习 数据采集 算法
机器学习在医疗诊断中的前沿应用,包括神经网络、决策树和支持向量机等方法,及其在医学影像、疾病预测和基因数据分析中的具体应用
医疗诊断是医学的核心,其准确性和效率至关重要。本文探讨了机器学习在医疗诊断中的前沿应用,包括神经网络、决策树和支持向量机等方法,及其在医学影像、疾病预测和基因数据分析中的具体应用。文章还讨论了Python在构建机器学习模型中的作用,面临的挑战及应对策略,并展望了未来的发展趋势。
52 1
|
29天前
|
机器学习/深度学习 数据采集 数据处理
谷歌提出视觉记忆方法,让大模型训练数据更灵活
谷歌研究人员提出了一种名为“视觉记忆”的方法,结合了深度神经网络的表示能力和数据库的灵活性。该方法将图像分类任务分为图像相似性和搜索两部分,支持灵活添加和删除数据、可解释的决策机制以及大规模数据处理能力。实验结果显示,该方法在多个数据集上取得了优异的性能,如在ImageNet上实现88.5%的top-1准确率。尽管有依赖预训练模型等限制,但视觉记忆为深度学习提供了新的思路。
28 2
|
2月前
|
机器学习/深度学习 数据采集 数据挖掘
特征工程在营销组合建模中的应用:基于因果推断的机器学习方法优化渠道效应估计
因果推断方法为特征工程提供了一个更深层次的框架,使我们能够区分真正的因果关系和简单的统计相关性。这种方法在需要理解干预效果的领域尤为重要,如经济学、医学和市场营销。
74 1
特征工程在营销组合建模中的应用:基于因果推断的机器学习方法优化渠道效应估计
|
17天前
|
机器学习/深度学习 人工智能 TensorFlow
基于TensorFlow的深度学习模型训练与优化实战
基于TensorFlow的深度学习模型训练与优化实战
53 0