尽管神经网络可以完成所有这些，我们仍然不真正了解它们是如何运作的。当然，我们可以对它们进行编程以进行学习，但是理解机器的决策过程仍然很像一个带有令人眼花缭乱的复杂模式的奇特拼图，其中有大量的整体部分尚未安装。

例如，如果模型试图对所述拼图的图像进行分类，它可能会遇到众所周知但令人讨厌的对抗性攻击，甚至更多的普通数据或处理问题。但麻省理工学院科学家最近发现的一种新的、更微妙的故障类型是另一个令人担忧的原因：“过度解释”，即算法根据对人类没有意义的细节(如随机模式或图像边界)做出自信的预测。

这对于高风险环境尤其令人担忧，例如自动驾驶汽车的瞬间决策，以及需要立即关注的疾病的医学诊断。自动驾驶汽车尤其严重依赖能够准确了解周围环境并做出快速、安全决策的系统。该网络使用特定的背景、边缘或天空的特定模式来对交通信号灯和街道标志进行分类——无论图像中还有什么。

该团队发现，在CIFAR-10和ImageNet等流行数据集上训练的神经网络存在过度解释的问题。例如，在CIFAR-10上训练的模型即使在95%的输入图像丢失时也能做出自信的预测，其余的对人类来说毫无意义。

“过度解释是由数据集中的这些无意义信号引起的数据集问题。不仅这些高置信度图像无法识别，而且它们在不重要的区域(例如边界)中包含不到原始图像的10%。我们发现这些图像是对人类毫无意义，但模型仍然可以高度自信地对它们进行分类，”麻省理工学院计算机科学与人工智能实验室博士BrandonCarter说。学生和有关该研究的论文的主要作者。

深度图像分类器被广泛使用。除了医疗诊断和推动自动驾驶汽车技术之外，安全、游戏甚至还有一个应用程序可以告诉你某物是不是热狗，因为有时我们需要保证。讨论中的技术通过处理来自大量预先标记的图像中的单个像素以供网络“学习”。

图像分类很难，因为机器学习模型能够捕捉到这些无意义的微妙信号。然后，当图像分类器在ImageNet等数据集上进行训练时，它们可以根据这些信号做出看似可靠的预测。

尽管这些无意义的信号会导致现实世界中的模型脆弱，但这些信号在数据集中实际上是有效的，这意味着无法使用基于该准确性的典型评估方法来诊断过度解释。

为了找到模型对特定输入进行预测的基本原理，本研究中的方法从完整图像开始并反复询问，我可以从该图像中删除什么?从本质上讲，它会不断掩盖图像，直到您留下仍然可以做出自信决定的最小部分。

为此，也可以将这些方法用作一种验证标准。例如，如果您有一辆自动驾驶汽车，它使用经过训练的机器学习方法来识别停车标志，您可以通过识别构成停车标志的最小输入子集来测试该方法。如果它由树枝、一天中的特定时间或不是停车标志的东西组成，您可能会担心汽车可能会在不应该停下的地方停下来。

虽然模型似乎是这里的罪魁祸首，但数据集更有可能受到指责。“存在一个问题，即我们如何以一种方式修改数据集，使模型能够被训练以更接近地模仿人类对图像分类的看法，因此，希望能够在这些真实世界的场景中更好地概括，例如自动驾驶和医学诊断，这样模型就不会出现这种荒谬的行为，”卡特说。

这可能意味着在更可控的环境中创建数据集。目前，它只是从公共领域中提取的图片然后进行分类。但是，例如，如果您想进行对象识别，则可能需要使用具有无信息背景的对象来训练模型。