3.2 实验设置、材料和数据集
作者使用一台工业 ConceptM2 PBFAM 机器来收集 AE 数据集并重现工业环境。Concept M2 配备了一个以连续模式工作的光纤激光器，波长为 1071nm，光斑直径为 90μm，光束质量为 M^2=1.02。此外，为了监测在调幅过程中产生的空气中的 AE 信号，在机器上安装了一个被称为光纤布拉格光栅（fiber Bragg Grating，FBG）的光声传感器。使用 CL20ES 不锈钢（1.4404/316L）粉末完成 AM 制造，粒度分布范围为 10 至 45 μm。实验制造了一个尺寸为 10 x 10 x 20 mm^3 的长方体工件。激光功率（P）、孵化距离（h）和加工层厚度（t）在实验中保持恒定，P = 125 W，h = 0.105 mm，t = 0.03 mm。使用了三种扫描速度 v：800、500 和 300 mm/s，从而产生了三个质量级别（不同的孔隙浓度）。对应的能量密度（E_density）和质量等级为：（1）800mm/s，50J/mm^3，较差质量 = 1.42±0.85%；（2）500mm/s，79J/mm^3，较高质量 = 0.07±0.02%；（3）300mm/s，132J/mm^3，中等质量 = 0.3±0.18%。利用公式（3.1）计算能量密度，其中，孔隙的浓度是通过光学显微镜图像的视觉检查从截面上测量的：
(3.1)
图 19 给出了制造出来的工件的总体视图（在取了一小块来做横截面之后），以及在材料介质内的孔隙浓度方面的相应质量。在整个制造过程中，使用一个 FBG 来记录 AE 信号。将光纤光栅安装在室内，与加工区的距离约为 20 厘米。为了提高 FBG 的灵敏度，如图 20(a)所示，将它放置在纤维的纵轴与声波垂直的地方。图 2(b)展示了 FBG read-out 系统的方案。与压电式传感器相比，FBG 传感器有几个优点。FBG 既可以夹在机器上使用，也可以在空中使用。它较小（总直径为 125lm，长度为 1cm），对声音信号（0-3MHz）高度敏感，对灰尘和磁场不敏感，并提供亚纳秒级的时间分辨率，因此符合在肮脏和嘈杂环境中的实际应用需求。使用 Vallen（Vallen Gmbh，德国）的专用软件以 10MHz 的原始采样率记录 AE 信号。然后，信号被下采样为 1MHz 的采样率，以适应该过程的动态范围（0 Hz-200 kHz）。然后根据质量水平对 AM 过程中记录的 AE 信号进行分类。
图 19. (a)用三种孔隙度含量生产的测试工件；(b-d)各区域的典型光镜横截面图像
图 20. (a) AM 室内的 FBG 位置图，室内面板上有光学真空电极（optical feedthrough）（左）和 FBG read-out 系统（右）；(b) FBG read-out 系统方案
3.3 数据处理
本文具体研究强化学习（RL）对 AM 质量监测问题的适用性。本文采用了 Silver 和 Huang 的 RL 实现方法[11]，这是因为作者认为它很有可能用于未来的 AM 质量监测系统。作者引入 RL 的考虑是，AM 过程的特点是复杂的基本物理现象，涉及大量的瞬间事件（加热、熔化、固化等），每一个都对过程的状态变化有至关重要的影响。这使得获取一个详细的训练数据集变得非常复杂，对数据打标签往往非常昂贵和耗时。在这种情况下，RL 可能会需要在极其有限的有监督数据条件下提供声频发射信号和检测到的瞬间事件之间的关联信息。
将所有收集到的信号分成独立的数据集，每个单独的模式的时间跨度为 160ms。从小波包变换中提取了每个模式的相对能量。图 21 给出一个时间跨度为 160ms 的 AE 信号的典型示例和相应的小波谱图。小波谱图是一个信号的时间 - 频率域，它包含了窄频带在时间上的演变信息。使用小波谱图的原因有三个。首先，小波谱图是信号的稀疏表示，与 AE 原始信号相比，减少了分析的输入数据量。其次，它保持了相同的分类精度。最后，它通过选择非噪声频段来降低噪声。表 2 给出了不同参数的空间分辨率。将提取的小波谱图直接输入 RL 算法。初始总数据集（训练 + 测试数据集）包括总共 180 个谱图，平均分布在三个质量等级。
图 21. （左）典型的光镜截面图像，（中）相应的 AE 信号，时间跨度为 160ms，（右）相应的小波谱图，生成区域为（a）300mm/s，132mm^3（中等质量），（b）500mm/s，79mm^3（高质量）和（c）800mm/s，50mm^3（质量差）
表 2. 不同工艺参数下的工艺空间分辨率
3.4 强化学习
RL agent 与给定环境的交互是一个马尔可夫过程，其特征为元组(S,A,P,R)，其中 S 表示 agent 的状态空间，A 为动作空间，其中每个动作 a_i 从状态 s 转移到 s^l。P 为马尔可夫模型，R 为奖励空间。初始状态设定为 s_0，RL 算法通过获得最优奖励的动作达到目标 s_g。最优奖励的评价方程为：
(3.2)
其中，E 为期望，λ为折扣系数，π(s_t)为将状态映射到动作的策略。最佳策略的搜索是一个迭代过程，因此在第 i 个迭代步骤中，计算 T_(π,i)，其中 (π, i) 表征当前策略，根据公式（3.3）计算 Q 值：
(3.3)
此外，作者利用了 Glover 和 Laguna 的 Tabu 搜索[12]。在这个框架中，通过分析状态空间的一个限定子集来进行近似最优路径的搜索，从而在大数据集的情况下减少探索并保留计算时间。针对 multi-class 的问题，作者采用 one-against all 策略。agent 的环境是由小波谱图创建的，小波谱图是信号的时频空间的二维图。在这种情况下，通过对上述领域的成本构建来寻找最佳策略。
3.5 实验分析
图 21 给出三种不同质量的典型光镜横截面图像（左），其对应的 160ms 时间跨度的 AE 信号（中）和其对应的小波谱图（右）。根据这个图，可以得出两个结论。首先，AE 信号是可以区分的。尽管所有 AE 信号的振幅相似，但信噪比似乎随着扫描速度的增加而增加。其次，在小波谱图中也可以看到明显的差异，特别是在 4 到 12 的分解级别中。因此，我们使用小波谱图，因为与 AE 原始信号相比，它们具有更高的稳健性。
每个类别都有一个包含 60 个小波谱图的数据集。这些信号被分成两个完全独立的数据集；一个用于训练，一个用于测试。需要强调的是，在训练过程中，全部测试数据都是算法未知的。训练数据集包含 40 个谱图，而每个类别的其他 20 个谱图被用来测试 RL 算法。谱图的选择是随机进行的。利用类似蒙特卡洛的方法进行两百次测试，即对于这两百次测试中的每一次，用于建立特定训练和测试数据集的信号都是从最初收集的数据集中随机选择的。这种策略允许改变算法的输入条件，并通过不同的训练 / 测试组合来研究其性能，以获得对 AE 信号收集的可靠统计测试。每项测试的准确性被计算为真阳性的数量除以测试的总数量（如测试数据集中的样本数量）。总的准确性被计算为一个平均值，确定为：
(3.3)
其中，N 等于 200（测试总数）。相比之下，分类误差的计算方法是用真阴性的数量除以每类测试的总数量。分类测试结果见表 3，分类准确率在 74% 到 82% 之间（见对角线单元格中的黑体数字）。这些结果证明了本文提出的方法对 AM 过程进行质量监测的可行性。由表 3 可以看出，质量差的准确率最高（82%），其次是中等质量（79%）和高质量（74%）。此外，对分类误差结构的分析可以根据表 3 中的非对角线行进行评估。从统计学上看，表中的误差结构恢复了来自预定的质量类别的不同特征之间的重叠。表 3 显示，对于较差质量和中等质量，激光扫描速度差异较小的类之间的错误分类误差较大（反之亦然）。因此，对于具有中等激光扫描速度（500mm/s）的高质量，错误分类误差也大约在中等质量（12%）和差质量（14%）之间平分。同时，中等质量和较差的质量之间显示出较少的重叠误差，因为它们在激光扫描速度上有较大的差异。
表 3. 不同类别的测试结果（百分比）（行）与真实值（列）的对比
4 小结
我们结合三篇近期的研究论文，简述了在增材制造（3D 打印）领域中强化学习方法的应用。增材制造通过降低模具成本、减少材料、减少装配、减少研发周期等优势来降低企业制造成本，提高生产效益。因此，增材制造代表了生产模式和先进制造技术发展的趋势。
增材制造也有不同的细分方法，本文介绍了电弧增材制造（Wire Arc Additive Manufacturing，WAAM）、激光粉末床熔融（Laser Powder Bed Fusion，LPBF）以及粉末床熔融添加剂制造（Powder Bed Fusion Additive Manufacturing，PBFAM）三个细分领域中强化学习的应用，主要是对制造过程中的温度、声频等的控制，具体分别为过程控制的应用和实时监测的应用。强化学习具有根据环境学习控制策略的能力，因此对有标注的数据集要求较低，且通过自学能够提高对 AM 过程控制的准确度。从我们介绍的三篇文章可以看出，在 AM 中引入强化学习能够提高增材制造打印零件的质量水平。
增材制造本身由于技术工艺的约束还未能大规模的广泛推广使用，而在增材制造中引入强化学习还主要是实验研究。目前看，在增材制造中引入强化学习方法具有节省时间、减少材料浪费等优点，基于这一积极的初步结果，我们相信未来会有越来越多的工作将引入强化学习的框架扩展到全面的增材制造过程学习中。
本文参考引用的文献：[1]https://baike.baidu.com/item/%E5%A2%9E%E6%9D%90%E5%88%B6%E9%80%A0/3642267?fr=aladdin[2] Qi X , Chen G , Li Y , et al. Applying Neural-Network-Based Machine Learning to Additive Manufacturing: Current Applications, Challenges, and Future Perspectives[J]. 工程（英文）, 2019, 5(4):9.[3] Liu L, Ding Q, Zhong Y, Zou J, Wu J, Chiu YL, et al. Dislocation network in additive manufactured steel breaks strength–ductility trade-off. Mater Today 2018;21(4):354–61.[4] http://www.tsc-xa.com/article/index/id/12/cid/2.[5] Audelia G. Dharmawan, Yi Xiong, Shaohui Foong, and Gim Song Soh, A Model-Based Reinforcement Learning and Correction Framework for Process Control of Robotic Wire Arc Additive Manufacturing，ICRA 202, 4030-4036.[6] Ogoke F , Farimani A B . Thermal Control of Laser Powder Bed Fusion Using Deep Reinforcement Learning. Additive Manufacturing, 46(2021).[7] Wasmer K , Le-Quang T , Meylan B , et al. In Situ Quality Monitoring in AM Using Acoustic Emission: A Reinforcement Learning Approach. Journal of Materials Engineering and Performance, 2019.[8] J. Xiong, Z. Yin, and W. Zhang, “Forming appearance control of arc striking and extinguishing area in multi-layer single-pass gmawbased additive manufacturing,” The International Journal of Advanced Manufacturing Technology, vol. 87, no. 1-4, pp. 579–586, 2016.[9] S. Suryakumar, K. Karunakaran, A. Bernard, U. Chandrasekhar, N. Raghavender, and D. Sharma, “Weld bead modeling and process optimization in hybrid layered manufacturing,” Computer-Aided Design, vol. 43, no. 4, pp. 331–344, 2011.[10] A.J. Wolfer, J. Aires, K. Wheeler, J.-P. Delplanque, A. Rubenchik, A. Anderson, S. Khairallah, Fast solution strategy for transient heat conduction for arbitrary scan paths in additive manufacturing, Addit. Manuf. 30 (2019), 100898. [11] D. Silver and A. Huang, Mastering the Game of Go with Deep Neural Networks and Tree Search, Nature, 2016, 529, p 484–489. https://doi.org/10.1038/nature16961[12] F. Glover and M. Laguna, Tabu Search, Kluwer Academic Publishers, 1997
