DeepMind研究员让AI找出其脆弱点

根据DeepMind研究人员的最新研究，研究人员试图了解神经网络是如何工作的，不应该只关注可解释的神经元。

AI系统通常被描述为黑匣子。很难理解他们如何工作并达到特定的结果，使人们紧张地使用他们在诸如医疗保健或招聘等领域做出重要决定。

使神经网络更具可解释性是研究的热门话题。可以看看不同组的神经元之间的联系，并可视化哪些与特定的类相对应。

如果一个图像分类模型被输入不同类型的图片，比如猫或狗的图像，研究人员可以找到'猫神经元'或'狗神经元'。

这些可解释的神经元很重要，因为它们是将神经网络推向特定答案的那些神经元，比如，图像中的动物是猫还是狗。

来自DeepMind 的一篇论文将于4月下个月在国际学习代表会议（ICLR）上发布，这表明仅仅学习这些可解释的神经元还不足以理解深度学习是如何真正起作用的。

据博客文章称，“我们通过删除单个神经元以及神经元组来衡量损害网络的性能影响。”

删除神经元组会改变其他神经元之间连接的强度，并可能导致神经网络性能下降。例如，如果猫神经元被删除并且模型显示为猫的图片，则可能更难以正确识别动物并且其准确度降低。

但结果表明，这些类特定的神经元毕竟不是那么重要。删除这些可解释的神经元后，性能水平没有太大改变。

一方面，发现寻找可解释的神经元不足以解开神经网络的内部运作是有点令人沮丧的。但这并不令人意外，因为这意味着删除神经元后受到较少影响的模型不依赖于记忆训练数据，而是更好地推广到新图像。这就是神经网络应该如何工作。

DeepMind希望“解释所有神经元的作用，而不仅仅是那些易于解释的神经元。”

“我们希望能更好地理解神经网络的内部运作，并且利用这种理解来建立更智能的系统，”它总结道。