运筹优化学习04:禁忌搜索算法的历史

简介: 运筹优化学习04:禁忌搜索算法的历史

禁忌搜索算法的提出与学者们孜孜不倦的研究精确算法的努力一道发展起来的,启发式算法和精确算法同时汲取了人工智能和运筹学的成果精华;作为回馈,一些设计巧妙的算法也反过来推动了人工智能和运筹学的领域相关问题的解决。


禁忌搜索算法的一些特性正是基于这样的背景和视角,对其进行回顾有助于对其特征及影像有更深的理解。今天的研究者似乎忘记了人工智能和运筹学这两个领域曾经并驾齐驱,分享着许多相似的理念。但两个领域都需要针对一些具有挑战性的问题开发优秀的解决方案,而这些问题又分享着许多相似的特性。故在早期的启发式算法研究的早期,研究者们就意识到从人工智能和运筹学的视角进行算法改进;然而,在后来的发展过程两者出现了分歧,运筹学的研究者注重数学结果的收敛性,人工智能的研究者更注重符号化和定性分析。


这种分歧发展的初期,很少有人关注那些将打破传统数学上单调收敛准则的非传统的方法引入到优化领域;同时,将随机性和集成设计理念引入到启发式的算法的努力也在继续。这种既分裂又充满合并机遇的不幸局面持续了多年,直到1980s,才重新浮出水面,这也构成了禁忌搜索策略的源头。


对于禁忌搜索算法的发展经历了四个重要进展:集成逻辑重建和非单调决策规则的策略、对可行解的系统性破坏与修复、对最近和频率的记忆和结合解决方案的选择过程。


第一个进展源于车间调度问题的决策规则的研究,1960s的传统决策方法生成的车间调度方案包含多种决策准则,并将这些决策准则孤立的嵌入到局部决策过程中。Fisher和Thompson在1963年创造性的在每个决策节点上引入概率策略选择不同的决策准则,使用强化学习方法,根据多个方案运行后生成的解决方案质量,修正决策准则的选择概率【reinforcement learning to ament the probability of choosing the rules according to the schedules quality produced over muliple solutions run】。其采用智能选择策略从多种准则中获益的方法刺激了Glover(1963)一项对比性研究:探索将多种决策规则结合建立新的决策规则,这种理念被编织进禁忌搜索算法的各个环节。该方法首先根据通用的准则,对易受参数影响的各组分进行修正;然后,算法利用可变参数集生成一系列的试验解【trial solution】进行集成决策。决策并非终止于这些解的局部最优位置,它通过系统性的生成非单调的目标函数曲面继续根据隐含参数得到另外的试验解。这其中的两个核心理念:重建多种决策准则,其目的是生成这些规则孤立运行无法产生的新的决策规则;其二,搜索路径超越原来的局部最优位置;确保了该方法可以获得优于以往(包含决策准则随机性选择策略)方法的更优解。


第二个对禁忌搜索算法产生重要影响的进展来源于Glover在1966和1969两篇文献中提到的参考角多面体松弛(corner polyhedral relaxations)解决整数规划问题的研究。该方法赋予变量记忆创造新的约束以避免产生unproductive解决方案的能力,这些约束并不直接记录解决方案本身,而是记录其某些有限的特性;同时,也引入了利用成对儿的解决方案生成新的候选解的策略。这种采用级数简单求和的构成了Scatter search的起源【the mode of the joining used progression simple summations constituting a precursor of the scatter search approach 】。该方法并非终止于试验解的局部最优位置,而是当算法记忆能力和关联准则不允许任何变化来拓展序列时,选择局部的最优解。【but instead terminated the progression by selecteing the best local optimum when the memory and the approach associated bounding rules disallowed any variable from being used to extend the sequence.】


接着,Papadimitriou和Steiglitz(1982)提出了可变深度'variable depth'方法,这些方法强调设计一些能够跳出局部最优解的策略,虽然它并不一定通用;并总结了Kernighan和Lin(1970)提出的算法根据可变的搜索深度确定其终止条件的理念,认为算法在给定的可变深度内无法获得解的改善,将终止搜索。与此相反,Glover(1966)认为可变深度同样也可以生成新的试验解,跳出局部非最优位置,生成全局的最优解。


从禁忌搜索的视角来看,其核心的贡献是灵活的使用个体记忆能力,并与约束条件限制控制可行解的生成。事实上,这种算法并不是一种启发式算法,而是一种增强型收敛算法,这与启发式和精确算法程序的优化目标是一致的。


第三个进展与精确方法求解整数规划问题类似,它建立在利用单纯形法进行线性规划问题的基础上,使用割平面技术生成满足变量整数要求的新约束。传统隐含割平面法的线性规划设计往往起始于一个初始可行解,然后在保持解可行的情况下逐渐搜索到问题的最优解。然而,组合优化较线性规划面临不同的拓扑挑战,其初解可能是非凸的甚至是不连续的。得益于Glover(1968)创造的pseudo primal-dual method,该方法故意地破坏然后重建可行解,使得对解空间进行切割成为可能;总能重建的可行规则允许确保了算法在最优解位置收敛【finite convergence to optimality was assured by rules that allowed feasibility conditions always to be recovered with a net advance 】。持续的访问可行解和不可行解的被吸纳作为禁忌搜索的核心准则。


第四个进展得益于Glover于1965年介绍的求解整数规划问题的代理约束方法【surrogate constraint method】,这些方法基于组合约束生成父约束中并未包含的相关信息的新约束。这些近期的和频繁出现的记忆信息随后被启发式和精确算法吸收并用以探索新的信息。Glover(1977)将代理约束整合到启发式算法中来求解整数规划,这一洞见对当时的人工智能和运筹学分化观点产生了不小的冲击。


长期以来,算法一直是优化方法家族中比较受人尊敬的一方,它可在有限的步骤中测量出最优解。那些仅仅声称自己很聪明而不夸耀支持定理和证明的方法被给予了较低的地位。算法是在学术研究的高层次的分析纯度中构想出来的,启发式方法是研究者在黑暗的角落里通过设计各种权宜之计才实现的。[然而,我们逐渐认识到]算法并非总是成功的,它们的启发式同族应该有机会证明它们的能力。毕竟,算法只是一种严格遵循epsilons和delta数学规则的精确启发式方法,甚至可以说,算法表现出某种强迫性的一面,既它剥夺了接受偶然性不稳定或最终收敛异常的自由。(不幸的是,收敛到最优有时仅仅具有宗教意义:在这个世界上似乎不可能发生)启发式方法,健壮而充满活力,可能在地形太崎岖或算法变化太大的情况下具有特殊优势。事实上,那些喜欢模糊区别的人认为,有启发式的能力的算法也是值得一试的。


Algorithms have long constituted the more respectable side of the family [of optimization methods], asuring an optimal solution in a finite number of steps. Methods that merely claim to be clever, and do not boast enourage of supporting theorems and proofs, are accorded a lower status. Algorithms are conceived in analytic purity in the high eitadels of academic research,heuristics are midwifed by expediency  in the  dark  corners  of the practitioner's lair.  [Yet we are coming to recognize that] algorithms are notalways successful, and their heuristic cousins deserve a chance to prove their mettel.... Algorithms, after all, are merely fastidious heuristics inwhich epsilons and deltas abide by the dictates of mathematical etiquette. It may even be said that algorithms exhibit a somewhat compulsive aspect, being denied the freedom that would allow an occasional inconstancy or an exception to ultimate convergence. (Unfortunately, ultimate convergence sometimes acquires a religious significance: it seems not to happen in this world.) The heuristic approach, robust and boisterous, may have special advantages in terrain too rugged or varied for algorithms. In fact, those whoare fond of blurring distinctions suggest that an algorithm worth its salt is one with heuristic power.'


Ironically, in spite of the suggestion made in this quote a reconciliaion of view points was imminent, widespread recognition of the relevance  of heuristics within optimization was not to occur in the mainstream of the OR field for nearly  a decade more.  The irony is heightened by the fact that the paper containing preceding quote introduced several conections that have become part of tabu search and which likewise were not to be pursued by  researchers until the mid  1980s. Regardless of the fashions that may capture the attention of researchers in OR or Al,then or now, the theme that (good) algorithms and heuristics are intimately related continues to be a basic part of the perspective that  underlies tabu search. Manifestations of this perspective occur throughout this book, and particularly in the application of tabu search to the general area of integer programming


尽管近几十年内,在运筹学主流领域并不会广泛的报道启发式算法获得巨大成就,但观点的协调是迫在眉睫的。更讽刺的是,精确算法和启发式算法的之间的某些关联构成了禁忌搜索算法的一部分,无论人工智能还是运筹学的研究者是否注意到这种趋势,精确算法和启发式算法仍然是禁忌搜索紧密相关的重要基础。


Fisher H, Thompson GL (1963) Probabilistic learning combinations of local job-shopscheduling rules. In: Muth JF, Thompson GL (eds), Prentice-Hail, pp.225-251.


Kernighan B W , Lin S . An Efficient Heuristic Procedure for Partitioning Graphs[J]. Bell System Technical Journal, 1970, 49(2):291-307.


Papadimitriou C H, Steiglitz K. Combinatorial optimization : algorithms and complexity[J]. IEEE Transactions on Acoustics Speech & Signal Processing, 1982, 32(6):1258-1259.


相关文章
|
16天前
|
算法 数据可视化 安全
基于DWA优化算法的机器人路径规划matlab仿真
本项目基于DWA优化算法实现机器人路径规划的MATLAB仿真,适用于动态环境下的自主导航。使用MATLAB2022A版本运行,展示路径规划和预测结果。核心代码通过散点图和轨迹图可视化路径点及预测路径。DWA算法通过定义速度空间、采样候选动作并评估其优劣(目标方向性、障碍物距离、速度一致性),实时调整机器人运动参数,确保安全避障并接近目标。
111 68
|
18天前
|
负载均衡 算法
架构学习:7种负载均衡算法策略
四层负载均衡包括数据链路层、网络层和应用层负载均衡。数据链路层通过修改MAC地址转发帧;网络层通过改变IP地址实现数据包转发;应用层有多种策略,如轮循、权重轮循、随机、权重随机、一致性哈希、响应速度和最少连接数均衡,确保请求合理分配到服务器,提升性能与稳定性。
124 11
架构学习:7种负载均衡算法策略
|
26天前
|
机器学习/深度学习 数据采集 算法
基于GA遗传优化的CNN-GRU-SAM网络时间序列回归预测算法matlab仿真
本项目基于MATLAB2022a实现时间序列预测,采用CNN-GRU-SAM网络结构。卷积层提取局部特征,GRU层处理长期依赖,自注意力机制捕捉全局特征。完整代码含中文注释和操作视频,运行效果无水印展示。算法通过数据归一化、种群初始化、适应度计算、个体更新等步骤优化网络参数,最终输出预测结果。适用于金融市场、气象预报等领域。
基于GA遗传优化的CNN-GRU-SAM网络时间序列回归预测算法matlab仿真
|
29天前
|
机器学习/深度学习 人工智能 算法
机器学习算法的优化与改进:提升模型性能的策略与方法
机器学习算法的优化与改进:提升模型性能的策略与方法
159 13
机器学习算法的优化与改进:提升模型性能的策略与方法
|
24天前
|
移动开发 算法 计算机视觉
基于分块贝叶斯非局部均值优化(OBNLM)的图像去噪算法matlab仿真
本项目基于分块贝叶斯非局部均值优化(OBNLM)算法实现图像去噪,使用MATLAB2022A进行仿真。通过调整块大小和窗口大小等参数,研究其对去噪效果的影响。OBNLM结合了经典NLM算法与贝叶斯统计理论,利用块匹配和概率模型优化相似块的加权融合,提高去噪效率和保真度。实验展示了不同参数设置下的去噪结果,验证了算法的有效性。
|
23天前
|
算法 决策智能
基于SA模拟退火优化算法的TSP问题求解matlab仿真,并对比ACO蚁群优化算法
本项目基于MATLAB2022A,使用模拟退火(SA)和蚁群优化(ACO)算法求解旅行商问题(TSP),对比两者的仿真时间、收敛曲线及最短路径长度。SA源于金属退火过程,允许暂时接受较差解以跳出局部最优;ACO模仿蚂蚁信息素机制,通过正反馈发现最优路径。结果显示SA全局探索能力强,ACO在路径优化类问题中表现优异。
|
28天前
|
传感器 算法
基于GA遗传优化的WSN网络最优节点部署算法matlab仿真
本项目基于遗传算法(GA)优化无线传感器网络(WSN)的节点部署,旨在通过最少的节点数量实现最大覆盖。使用MATLAB2022A进行仿真,展示了不同初始节点数量(15、25、40)下的优化结果。核心程序实现了最佳解获取、节点部署绘制及适应度变化曲线展示。遗传算法通过初始化、选择、交叉和变异步骤,逐步优化节点位置配置,最终达到最优覆盖率。
|
28天前
|
算法
基于RRT优化算法的机械臂路径规划和避障matlab仿真
本课题基于RRT优化算法实现机械臂路径规划与避障。通过MATLAB2022a进行仿真,先利用RRT算法计算避障路径,再将路径平滑处理,并转换为机械臂的关节角度序列,确保机械臂在复杂环境中无碰撞移动。系统原理包括随机生成树结构探索空间、直线扩展与障碍物检测等步骤,最终实现高效路径规划。
|
16天前
|
算法 数据安全/隐私保护 计算机视觉
基于Retinex算法的图像去雾matlab仿真
本项目展示了基于Retinex算法的图像去雾技术。完整程序运行效果无水印,使用Matlab2022a开发。核心代码包含详细中文注释和操作步骤视频。Retinex理论由Edwin Land提出,旨在分离图像的光照和反射分量,增强图像对比度、颜色和细节,尤其在雾天条件下表现优异,有效解决图像去雾问题。
|
25天前
|
算法 数据安全/隐私保护
室内障碍物射线追踪算法matlab模拟仿真
### 简介 本项目展示了室内障碍物射线追踪算法在无线通信中的应用。通过Matlab 2022a实现,包含完整程序运行效果(无水印),支持增加发射点和室内墙壁设置。核心代码配有详细中文注释及操作视频。该算法基于几何光学原理,模拟信号在复杂室内环境中的传播路径与强度,涵盖场景建模、射线发射、传播及接收点场强计算等步骤,为无线网络规划提供重要依据。