Google & Google DeepMind｜面向不确定性量化的莫尔斯神经网络

Morse Neural Networks for Uncertainty Quantification

Benoit Dherin, Huiyi Hu, Jie Ren, Michael W. Dusenberry, Balaji Lakshminarayanan
[Google & Google DeepMind]

面向不确定性量化的莫尔斯神经网络

• 动机：随着神经网络在各种应用中的广泛使用，如何量化神经网络预测的不确定性成为了一个关键问题。特别是当神经网络面对离群数据(Out-Of-Distribution，OOD)时，往往会产生错误的预测。因此，开发能够量化神经网络不确定性的方法是深度学习研究的一个重要课题。
• 方法：提出一种新的深度生成模型——Morse神经网络，可以将非标准化的高斯密度推广到具有高维子流形模式的情况，而不仅仅是离散点。通过使用KL散度损失进行拟合，Morse神经网络可以产生一个(非标准化的)生成密度、一个OOD检测器、一个校准温度、一个生成采样器，以及在有监督情况下的一个距离感知分类器。
• 优势：Morse神经网络的优势在于其多功能性，可以统一许多技术，如OOD检测的熵离群检测器，异常检测的一类深度支持向量描述方法，以及连续学习的对比一类分类器等。此外，Morse神经网络还与支持向量机、核方法和拓扑学中的Morse理论有关。

提出了一种新的深度生成模型——Morse神经网络，可以处理高维子流形模式，具有多功能性，并与多种已知方法有关，为量化神经网络的不确定性提供了新的思路。

https://arxiv.org/abs/2307.00667