[논문 소개] Noise Contrastive Priors for Functional Uncertainty

uncertainty 논문들을 검색하다 발견한 논문이다.

본 논문의 저자들이 구글 브레인, 딥마인드 등 쟁쟁한 이력을 가지고 있다.

아직 abstract만 읽어보았는데, 여기서도 BNN에서 prior의 중요성을 언급하는 듯하다.

 

논문 : https://arxiv.org/pdf/1807.09289.pdf

 

abstract

Obtaining reliable uncertainty estimates of neural network predictions is a long-standing challenge.

NN에서 믿을만한 uncertainty를 구하는 것은 오랜 과제였다.

 

Bayesian neural networks have been proposed as a solution, but it remains open how to specify their prior.

BNN이 solution으로 제안되어 왔지만, 여전히 BNN의 prior를 어떻게 설정할 것인가에 대한 문제가 남아있다.

 

In particular, the common practice of an independent normal prior in weight space imposes relatively weak constraints on the function posterior, allowing it to generalize in unforeseen ways on inputs outside of the training distribution.

특히, weight space에서 independent normal prior는 일반적인 관행으로써 사용되어 왔고, 이것은 posterior가 약해지는 제약을 부여한 것과 같기 때문에, input과 다른 training distribution은 의도하지 않은 방법으로 generalize할 수 있게한다. 

 

We propose noise contrastive priors (NCPs) to obtain reliable uncertainty estimates.

신뢰할 수 있는 unceratinty를 estimate하기 위해 Noise Contrstive Prior(이하 NCP)를 제안한다.

 

The key idea is to train the model to output high uncertainty for data points outside of the training distribution.

핵심은 training distribution이 아닌 data point에 대해 높은 uncertainty를 출력할 수 있도록 하는 모델을 훈련하는 것이다.

 

NCPs do so using an input prior, which adds noise to the inputs of the current mini-batch, and an output prior, which is a wide distribution given these inputs.

NCP는 현재 mini batch의 입력에 noise를 추가하는 input prior과 이런 input이 주어진 넓은 distribution인 output prior를 사용한다.

 

NCPs are compatible with any model that can output uncertainty estimates, are easy to scale, and yield reliable uncertainty estimates throughout training.

NCP는 uncertainty esitmatie를 output으로 출력하고, scaling하기 쉽고, training 전반에 걸쳐 신뢰할 수 있는 uncertainty esimates를 산출하는 모든 모델 호환된다.

 

Empirically, we show that NCPs prevent overfitting outside of the training distribution and result in uncertainty estimates that are useful for active learning.

경험적으로, NCP가 훈련 분포 외부의 과적합을 방지하고, 능동적 학습에, uncertainty esimate를 초래한다는 것을 보여준다.

 

We demonstrate the scalability of our method on the flight delays data set, where we significantly improve upon previously published results.

이전에 발표된 결과를 크게 개선하는 비행 지연 데이터 세트에 대한 방ㅂ버의 확정성을 입증한다.