[논문 리뷰] What uncertainties do we need in Bayesian deep learning for computer vision? - 2.Related Work(2)

[논문 리뷰] What uncertainties do we need in Bayesian deep learning for computer vision? - 1.Introduction

[논문 리뷰] What uncertainties do we need in Bayesian deep learning for computer vision? - 2.Related Work(1)

 

 

---

 

2. Related Work

 

2.2 Heteroscedastic Aleatoric Uncertainty

 

본 논문에서는 Homoscedastic을 따로 다루지는 않는다.

그 이유는 Heteroscedastic이 이분산성의 성질을 가지고 있고, Homoscedasticd은 등분산적 성질을 가지고 있기 때문에, Heteroscedastic이 Homoscedasticd보다 더 일반적인 개념이기 때문이라고 소개하고 있다.

하지만 우리가 알아야 할 것은 aleatoric uncertainty(데이터 불확실성)은 우리가 컨트롤 할 수 없다. 왜냐하면 이미 관측되어버린 값이니 더이상 어떻게 할 수 없는 것이다.

 

Loss Function

해당 식은 Epistemic Uncertainty에서의 loss function에서 negative log-likelihood를 MSE로 근사시켰던 것을 대입하여 만든 식으로 볼 수 있다.(전 포스팅 참고)

여기서 sigma(x)는 각 x input들에 대한 sigma(=uncertainty)라고 생각하면 되겠다.(Heteroscedastic Aleatoric Uncertainty)

가만 생각해보면 왜 이런 식이 나온지는 쉽게 알 수 있다.

Normal distribution on Regression

우리가 배우기로는 regression 모델링을 진행할 때, 몇가지 가정을 하는데 그 중에서 정규성 가정이란 것이 있다.

잔차의 정규성이란 잔차들이 각각 normal distribution을 따라야한다는 가정이다.

어떻게 보면 이 가정이 데이터에 대한 불확실성이라 생각할 수도 있겠다.

우선 normal distribution pdf는 아래  식과 같고,

pdf of normal distribution

여기서 log를 씌운다면 이렇게 된다.

log on pdf of normal distribution

이 식을 잘 정리하면 위에서 언급했던 loss function이 튀어 나온다.

 

 

Loss Function

다시 loss function을 가져와서 확인해보자.

우변의 첫 번째 항은 MSE term이고, 두 번째 항은 data uncertainty에 대한 regularization term으로 작용한다.

이 것은 data uncertainty가 의미 없이 높아지는 것을 방지하는 것을 의미한다.

여기서의 sigma는 각 x input들에 대한 분산(=sigma =uncertainty =data uncertainty)이다.

 

 

하지만 이 식으로는 epistemic과 aleatoric 불확실성에 대해 동시에 구하는데 문제가 있다.

두 불확실성을 합치는 챕터는 다음 포스팅에서,...