机器学习算法（ML）通常被称为“黑箱”，人类并不知道AI是怎么决策的，算法从输入到输出的过程就像变魔术一样。
由于缺乏可解释性，ML可能会导致很多不可控的后果。
比如， 2016年Facebook推出的聊天机器人，也因为整天接收无聊网友的对喷，吸收了人类的种种丑恶和偏见，变成了满脑子种族歧视的“嘴臭之王”：
2019年，包括Yoshua Bengio在内的许多研究人员联合指责Amazon的Rekognition服务表现出种族和性别偏见：它在预测图像中肤色较黑的女性与肤色较浅的男性时的错误率要高得多。
如果我们无法解释AI决策的过程和动机，就无法信任这个智能系统。因此，ML社区一直致力于使算法的学习过程透明化。
日前，OpenAI让算法可视化又添新丁。
OpenAI发布神经网络可视化库Microscope
神经元可视化
目前的初始版本分析了8个流行的神经网络。该集合一共包含数百万张图像。
Microscope可以像实验室中的显微镜一样工作，帮助AI研究人员更好地理解具有成千上万个神经元的神经网络的结构和行为。
Microscope的初始模型囊括了8种历史留名、经过广泛研究的计算机视觉模型，包括：
- AlexNet——计算机视觉的一个里程碑，2012年ImageNet的获胜者，被引用超过50,000。
- AlexNet (Places)——和经典AlexNet模型要有相同架构，但在Places365数据集上训练。
- Inception v1——该网络也被称为GoogLeNet，2014年开创了ImageNet分类的最新水平。
- Inception v1 (Places)——和经典Inception v1模型要有相同架构，但在Places365数据集上训练。
- VGG 19——该网络于2014年推出，比Inception变体更简单，仅使用3x3卷积，没有分支。
- Inception v3——2015年发布的这一版本改进了初始架构的性能和效率。
- Inception v4——2016年发布，这是Inception架构的第四次迭代，重点是统一性。
- ResNet v2 50——ResNets使用skip连接在更深层的网络中实现更强的渐变。这个变体有50层。
八个视觉神经网络模型集合
每种模型的可视化都带有一些场景，并且图像在OpenAI Lucid库中可用（见文末Github链接），可以在 Creative Commons许可下重复使用。
Microscope的主要价值在于提供持久的共享工件，以长期对这些模型进行比较研究。
Microscope想要实现两个愿景：希望具有相邻专业知识的研究人员（例如神经科学）能够更轻松地处理这些视觉模型的内部工作。
希望它能通过了解神经元之间的连接，为电路协作工作做出贡献，从而可以对神经网络进行逆向工程。
Microscope已开源，助力可解释性社区发展
在博客中，OpenAI详细介绍了Microscope的初衷。
OpenAI的Microscope是八个视觉神经网络模型的每个重要层和神经元可视化的集合，通常在可解释性方面进行研究。Microscope使我们更容易分析这些复杂的神经网络内部形成的特征。
现代神经网络的能力是成千上万个神经元相互作用的结果。为了了解它们的行为，OpenAI希望能够快速轻松地详细研究这些神经元的相互作用，并分享这些观察结果，在协作环境中尤其如此。例如，一位研究人员可能会推测：
InceptionV1 4c：447是一种汽车检测器，由车轮检测器（4b：373）和窗户检测器（4b：237）组成。
447汽车检测器
373车轮检测器
237窗户检测器
Microscope的目标：当有人提出某个观点时，其他人能够快速探索这些神经元，评估观点并发现新的东西。
Microscope可在几种常用的视觉模型中系统地可视化每个神经元，并使所有这些神经元可链接。OpenAI希望这将以多种方式支持可解释性社区：
- 尽管这些模型和可视化已经开放源代码（我们帮助维护lucid库，该库用于在“Microscope”中生成所有可视化），但对神经元进行可视化却是乏味的。Microscope将探索神经元的反馈回路从几分钟变为几秒钟。这种快速反馈回路对于我们在进行中的回路项目中发现诸如高低频探测器之类的意外特性至关重要。
- 使模型和神经元之间可以相互链接，这使得对那些神经元的研究可以立即进行审查和进一步的探索。它还消除了关于正在讨论的模型和神经元的潜在混淆（五个InceptionV1版本我们又在讨论哪一个？）。这对合作非常有帮助，特别是当研究人员在不同的机构工作时。
- 作为ML的一个领域，可解释性的一个奇妙之处在于它的可访问性。与许多其他领域相比，它需要相对较少的计算权限。但系统的可视化神经网络仍然需要数百GPU小时。OpenAI希望，通过分享这个的可视化，可以帮助保持可解释性易于访问。
就像生物学家经常专注于研究几种“模式生物”一样，Microscope也专注于详细研究少量模型。OpenAI的初始版本包括八个经常被研究的视觉模型，以及他们发现在研究它们时特别有用的几种可视化技术。OpenAI计划在未来几个月内扩展到其他模型和技术上。
OpenAI表示非常期待看到社区将如何使用Microscope，他们认为它在支持回路协作（一个通过分析单个神经元及其连接或类似工作来逆向工程神经网络的项目）或类似工作上具有很大的潜力。
盘点近期其他神经网络可视化工具
除了Microscope的神经元可视化之外，近年来的一些工作还试图让ML模型的活动可视化。比如，Facebook的Captum于去年秋天推出，使用可视化来解释PyTorch的神经网络在多模式环境中做出的决策。
2019年3月，OpenAI和Google发布了激活地图集技术，以可视化机器学习算法做出的决策。
使用OpenAI的Web查看器浏览激活图集
激活图集可以放大
还有2019年发布的、现已流行的TensorBoard工具用于可视化ML学习内容。
“现在，您可以托管和跟踪您的ML实验，并公开共享它们，而无需进行设置。只需上传您的日志并共享URL，以便其他人可以查看实验以及您使用TensorBoard所做的事情，” Google工程副总裁Megan Kacholia如是说。
Microscope地址：
https://microscope.openai.com/models
开源地址：
https://github.com/tensorflow/lucid
参考链接：
