[논문 소개] Bayesian Variational Autoencoders for Unsupervised Out-of-Distribution Detection

https://arxiv.org/abs/1912.05651

---

Despite their successes, deep neural networks may make unreliable predictions when faced with test data drawn from a distribution different to that of the training data, constituting a major problem for AI safety.

요즘의 AI들은 좋은 성능을 내고 있지만, out of distribution(OoD)를 직면했을 때는 신뢰할 수 있을만한 예측을 할 수 없게 되어 안전성 문제가 있다.

 

While this has recently motivated the development of methods to detect such out-of-distribution (OoD) inputs, a robust solution is still lacking.

최근 이러한 OoD input을 감지하는 방법이 개발되고 있지만 여전히 강건한(robust)한 solution은 부족한 상황이다.

 

We propose a new probabilistic, unsupervised approach to this problem based on a Bayesian variational autoencoder model, which estimates a full posterior distribution over the decoder parameters using stochastic gradient Markov chain Monte Carlo, instead of fitting a point estimate.

본 연구에서는 point estimate를 하는 대신, SG-MCMC를 사용하여 decoder parameter에 대한 full posterior dist.를 추정하는 bayesian VAE 모델을 기반으로 이 문제에 대한 새로운 확률적 비지도 접근법을 제안하였다.

 

We describe how information-theoretic measures based on this posterior can then be used to detect OoD inputs both in input space and in the model's latent space.

이 posterior에 기초한 정보 이론적 measure을 사용하여 input space와 모델의 latent space 모두에서 OoD input을 감지하는 방법을 설명한다.

 

We empirically demonstrate the effectiveness of our proposed approach.

제안한 접근법의 효과를 경험적으로 입증했다.