[논문 리뷰] Sampling-free Epistemic Uncertainty Estimation Using Approximated Variance Propagation - 1.Abstract~Related Work

https://arxiv.org/pdf/1908.00598.pdf

 

논문 아이디어를 생각하고 찾아보다가 좋은 논문인듯하여 공유하고자 한다.

해당 논문은 ICCV 2019에 올라온 논문으로 샘플링 없이 epistemic uncertainty를 구하는 방법에 대해 주로 이야기하고 있다.

 

 

Abstract

We present a sampling-free approach for computing the epistemic uncertainty of a neural network. Epistemic uncertainty is an important quantity for the deployment of deep neural networks in safety-critical applications, since it represents how much one can trust predictions on new data. Recently promising works were proposed using noise injection combined with Monte-Carlo sampling at inference time to estimate this quantity (e.g. Monte-Carlo dropout). Our main contribution is an approximation of the epistemic uncertainty estimated by these methods that does not require sampling, thus notably reducing the computational overhead. We apply our approach to large-scale visual tasks (i.e., semantic segmentation and depth regression) to demonstrate the advantages of our method compared to sampling-based approaches in terms of quality of the uncertainty estimates as well as of computational overhead.

 

기존에 uncertainty를 구하는 가장 대표적인 방법은 MC-dropout을 사용하여 sampling을 하여 uncertainty를 구하는 방법이었다.([논문 리뷰] Dropout as a Bayesian Approximation 설명 - 1.Prologue)

하지만, 이것의 큰 단점은 sampling을 이용한 방법 때문에 계산이 오래 걸려 학습 시간이 길어진다는 것이다.

sampling이 가장 직관적이고 uncertainty를 구하는데 직관적인 방법이지만, 사람들은 sampling을 다소 부담스러워한다.

그래서 본 논문은 sampling 없이 epistemic uncertainty를 구하는 것을 고안해내었고, 이것이 본 논문에서 가장 큰 contribution이다.

 

 

 

 

1. Introduction

uncertainty에 대해 소개를 하는 절이다. 왜 uncertainty가 필요한지에 대해 설명하고, 어떤 종류가 있는지를 소개하고 있다.

기본적으로 uncertainty는 데이터 기반 의사결정을 하는 모델들이 중요한 결정을 내릴 때 가장 중요시된다.

예를 들어 자율주행에서 자율주행 모델이 주변 환경에 대해 잘못된 판단을 내리면 위험한 상황이 펼쳐질 수 있다.

따라서, uncertainty를 적용함으로써 모델이 내린 의사결정이 믿을만한가에 대해 판단할 수 있어야한다.

동시에 이것이 real-time으로 적용되면 더 효율적이라고 말하고 있다.

자율주행에 있어서 real-time이 아니면 실효성이 없기 때문이다.

 

이러한 uncertainty에는 두 가지 종류가 있는데 Aleatoric과 Epistemic이 있다.

자세한 설명은 아래 링크를 이용하길 바란다.

논문 리뷰] What uncertainties do we need in Bayesian deep learning for computer vision? - 2.Related Work(1)

[논문 리뷰] What uncertainties do we need in Bayesian deep learning for computer vision? - 2.Related Work(1)

 

이 중에서 우리가 개선할 수 있는 uncertainty는 Epistemic Uncertainty이므로, 본 논문에서는 이 uncertainty에 집중하고 있다.

최근 연구들은 Epistemic Uncertainty를 구하기 위해 noise를 주입하는 식의 방법을 활용했다.

여기서의 noise라고 하면, weight의 떨림을 유도하거나, data sampling을 통해 variance를 유도하는 것이다.

그래야지 model이 내린 의사결정의 range가 결정되면서 uncertainty를 구할 수 있기 때문이다.

 

그러므로 결국 NN은 training data의 noise distribution을 측정하는 것을 학습하게 된다.

 

대부분의 이런 sampling 방법들은 MC-dropout (Monte-Carlo Dropout)에 의존하고 있다.

왜냐하면 variational inference를 해야하기 때문이다.

그러나 이러한 sampling 방법은 real-time application에 적용하기 적합하지 않다.

inference에 너무 많은 시간을 쏟기 때문이다.

 

그래서 본 논문에서는 아래 두 가지 contibution을 제안한다.

여기서 단순 CNN을 사용한다는 것이 다소 좀 아쉬운 부분이긴 하지만 비교하는 자체에 의미가 있다고 생각한다.

 

실험을 위해서 비교 모델로는 Bayesian-SegNet(https://arxiv.org/pdf/1511.02680.pdf)을 사용하였다고 한다.

실험에 사용된 데이터는 CamVid dataset을 사용하였고, large scale의 data를 타겟으로 한 것 같았다.

 

 

 

2. Related Work

이 절에서는 관련 연구를 소개하고 있긴한데 사실 별 내용은 없다.

그냥 했던 얘기가 반복되는 느낌이다.

skip해도 될 것 같다.

(관련 내용을 알고싶으시면 아래의 포스팅을 보시는 것을 추천)

[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 1.Prologue

[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 1.Prologue