最后，iCSNs 的模块化特点还具有交互式在线学习能力。例如，当模型提供包含新概念的数据样本时，或当数据中存在的一个因素最初被认为不重要，但在初始学习阶段被认为很重要时，在这两种情况下，交互的方法取决于要学习的概念的层次结构，即它是基本概念还是上位概念。假设人类用户对 iCSN 之前的概念表示满意，并且 J（每个代码本的原型槽总数）被设置为高估，用户可以简单地通过相关类别的一个未使用的原型插槽给出反馈以表示新的基本概念。如果需要学习一个新的上位概念，可以在初始训练阶段通过添加额外的 read-out 编码器来实现。与其他 read-out 编码器相比，该编码器不映射到原型插槽的空间。最终，可以训练 iCSN 的初始潜在空间 z 来表征完整的数据分布。为了包含最初被认为不相关的概念，可以只扩展 J，这意味着添加一个新的 read-out 编码器 m_J+1(z)=φ_J+1 和代码本 P_J+1 到 iCSN。然后，m_J+1 学习将新的基本概念从 “新的” 上位概念绑定到 p_J+1，p_J+1 只需要新的数据对来举例说明以前不重要的概念。
本文提出了一个新的基准数据集：基本概念推理（Elementary Concept Reasoning，ECR），如图 11。ECR 由恒定颜色背景上二维几何对象的 RGB 图像（64×64×3）组成。对象的形状（圆形、三角形、正方形和五边形）、大小（大小）和颜色（红色、绿色、蓝色、黄色）可以不同。为每种颜色添加均匀的抖动，从而产生不同的色调。每个图像都包含一个固定在图像中心的对象。对图像进行配对处理，使单个图像中的对象至少共享 1 个、最多共享 J− 1 个共有属性。ECR 包含 5000 个图像对和 2000 个用于验证的图像的训练集。
图 11. 基本概念推理数据集样本。每张样本图像（左）描绘了一个居中的二维物体，具有三种不同的属性：颜色、形状和大小。对图像进行配对，使得这些物体共享一个和两个概念（右）
在本文实验中，作者将 iCSN 与几个基线方法进行比较，包括无监督训练的β-VAE 和使用编码器分布的算术平均值的 Ada-VAE。为了与通过共享匹配配对训练的 iCSN 和 Ada-VAE 进行公平的比较，最初将 Ada-VAE 作为一种较弱的监督形式引入，作者也用已知的共享因子 ID 训练 Ada-VAE。这个基线本质上类似于β-VAE，在已知的共享因子 ID 处对图像进行编码器分布的平均化。这一方法在本文实验结果中表示为 VAE。最后，作者将 iCSN 与一个离散化的 VAE 方法进行比较，该方法通过 Gumbel-softmax 技巧使用分类分布（Cat-VAE）。Cat-VAE 的训练方式与 VAE 相同，即通过份额配对和编码器分布的平均化。
作者通过线性探测研究每个模型的潜在编码。表 6（上）中的结果记录了不同模型在五次随机初始化过程中所进行验证集的平均精度和标准偏差。我们观察到，CSN 的潜在编码具有近乎完美的预测性能，并且超过了所有变分方法。重要的是，CSN 的表现甚至超过了 VAE 方法（VAE 和 Cat VAE），后者与 CSN 在同样类型的弱监督下接受训练。β-VAE 的平均性能比弱监督模型差。然而，Ada-VAE 的表现比β-VAE 差。此外，Cat VAE 的离散潜在表征也比 CSN 表现差。Cat VAE 运行情况表明性能存在较大偏差，同时表明多个 Cat VAE 运行收敛到次优状态。总之，尽管 ECR 数据集仅包含单个 2D 几何对象的变化，但基线模型的性能不如 CSN，即使使用相同数量的信息进行训练。
表 6. 通过决策树（DT）和逻辑回归（LR）进行线性探测。(上)对 iCSN 模型和各种基线的 latent codes 进行探测。(下)通过对 Cat-VAE 的 latent codes 进行探测，并进行编码器分布交换和 iCSN 概念编码平均化的消融研究。所有的分类准确率都是在测试集上计算出来的
iCSN 的语义约束离散潜在空间的一个优点是，人类用户可以直接识别次优概念表征，见上文所示的图 8。在识别正确或错误学习的概念后，用户可以在这个离散的概念空间上应用简单的逻辑反馈规则。具体来说，在通过弱监督进行训练后，建议机器和人类用户讨论所学的概念，并确定这些概念是否与用户的知识一致，或者是否需要修改。例如，iCSN 可以学习在几个原型插槽上表示颜色，或者通过一个插槽表示两个形状，这表明它错误地认为这些形状属于同一个概念。然后，iCSN 可以通过两种方式传达其学到的概念。首先，它可以根据推断出的离散原型距离代码对共享一个概念的新图像进行分组，并询问人类用户分组后的图像是否确实共享一个共同的基本概念，如图 8 所示。其次，利用解码器，它可以呈现每个学习概念的原型重建，例如，呈现具有蓝色原型阴影的对象，参见上文所示的图 9。在确定了潜在的次优概念表征之后，人类用户可以通过逻辑规则在 iCSNs 的离散化潜在空间上进行交互，并进一步改进表征。
对于之前所有的 vanilla CSN 配置，人工检查了 32 个可能的概念组合中的一个示例的概念编码 y，并确定了在每个单独概念的大多数示例中 “激活” 的原型插槽（主插槽），此外，根据概念识别那些在示例子集（辅助插槽）中从未激活或很少激活的原型插槽。接下来，在 y 上应用 L2 损失，使用原始重建损失和该额外 L2 损失微调原始训练集上的先前运行结果。这种反馈的语义是，应该只由主要原型槽来表示概念。此外，在两次运行中，修改了一个观察到的次优解，即五边形和圆绑定到同一原型插槽。因此，在训练集的所有五边形样本上提供反馈，以绑定到另一个空的原型插槽，并再次通过额外的 L2 损失约束优化。
5 小结
我们在这篇文章中从可解释性工具的研发角度讨论了可解释 AI 问题，讨论的依据是 AAAI-2022 tutorial 中提及的最新研究成果。目前，国内外关于可解释 AI 真正落地的应用还比较少，主要集中在几个超大型公司，而学术界对这一问题的关注也远不如其它 AI 领域多。但是随着数字经济的重要性越来越高，平台企业的合规性发展成为了下一步 AI 算法 / 模型应用的关键。此外，从监管端来说，促进可解释 AI 的发展也是有效监管数字经济的重要抓手。最后，可解释 AI 也是我们广大用户应用 AI 模型的定心石。随着越来越多国内大型企业对可解释 AI 的重视度不断提升，相信可解释 AI 会很快在大量的应用场景中使用，可解释性工具的研发也会受到更多研究人员的关注。
本文参考引用的文献
[1] Bach S , Binder A , Montavon G , et al. On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation， PLOS ONE, 2015, 10
[2] Tutorial on Explanations in Interactive Machine Learning，AAAI 2022，https://sites.google.com/view/aaai22-ximl-tutorial
[3] Lertvittayakumjorn et al., 2020, FIND: Human-in-the-Loop Debugging Deep Text Classifiers, EMNLP 2020
[4] Teodora Popordanoska, Mohit Kumar, Stefano Teso, Human-in-the-Loop Debugging Deep Text Classifiers,AAAI 2021
[5] Stammer, W. , et al. "Interactive Disentanglement: Learning Concepts by Interacting with their Prototype Representations." CVPR 2022
仵冀颖，工学博士，毕业于北京交通大学，曾分别于香港中文大学和香港科技大学担任助理研究员和研究助理，现从事电子政务领域信息化新技术研究工作。主要研究方向为模式识别、计算机视觉，爱好科研，希望能保持学习、不断进步。
关于机器之心全球分析师网络
Synced Global Analyst Network
机器之心全球分析师网络是由机器之心发起的全球性人工智能专业知识共享网络。在过去的四年里，已有数百名来自全球各地的 AI 领域专业学生学者、工程专家、业务专家，利用自己的学业工作之余的闲暇时间，通过线上分享、专栏解读、知识库构建、报告发布、评测及项目咨询等形式与全球 AI 社区共享自己的研究思路、工程经验及行业洞察等专业知识，并从中获得了自身的能力成长、经验积累及职业发展。
