[논문 리뷰] What uncertainties do we need in Bayesian deep learning for computer vision? - 5. Analysis: What Do Aleatoric and Epistemic Uncertainties Capture?

[논문 리뷰] What uncertainties do we need in Bayesian deep learning for computer vision? - 1.Introduction

[논문 리뷰] What uncertainties do we need in Bayesian deep learning for computer vision? - 2.Related Work(1)

[논문 리뷰] What uncertainties do we need in Bayesian deep learning for computer vision? - 2.Related Work(2)

[논문 리뷰] What uncertainties do we need in Bayesian deep learning for computer vision? - 3.Combining Aleatoric and Epistemic Uncertainty in One Model(1)

[논문 리뷰] What uncertainties do we need in Bayesian deep learning for computer vision? - 3.Combining Aleatoric and Epistemic Uncertainty in One Model(2)

[논문 리뷰] What uncertainties do we need in Bayesian deep learning for computer vision? - 4. Experiments

 

---

5. Analysis: What Do Aleatoric and Epistemic Uncertainties Capture?

앞에서 두 불확실성의 모델링이 얼마나 성능을 향상시키는지와 두 불확실성을 결합했을 때 더 나은 결과를 낼 수 있다는 것을 살펴보았었다.

이번 절에서는 두 불확실성을 모델링할때의 효율성을 알아보는 섹션이다.

 

 

 

5.1 Quality of Uncertainty Metric

위의 그림은 PR-curve를 나타낸 것이고, (좌)Classification과 (우)Regression task에 대한 표이다.

혼동행렬(Confusion Matrix)와 ROC, PR - curve 설명

 

이 curve가 의미하는 것은 불확실성이 존재하는 pixel들을 지우므로써(정확히는 지운다기보다 앞의 섹션들에 의하면 학습을 덜 시키는 것이 옳아보인다.) 얼마나 퍼포먼스 향상을 가져왔는지, 또한 지울 때 어느정도로 지울 때 성능 향상을 불러오는지를 나타내고 있다.

 

위의 결과로 우리가 알 수 있는 것은

첫 번째로, 불확실성과 정확도 사이에 어떤 관계가 존재하고 있다는 것이다.

그렇게 알 수 있는 근거는 위의 그래프가 우하향을 향하고 있기 때문이다.

이를 통해 불확실성이 낮으면 높은 정확도가 있다는 것을 알 수 있고, 더 풀어서 설명하자면,

어떤 데이터 하나(여기서는 pixel 하나)가 uncertainty가 높으면 잘못 분석(분류, reg) 될 확률이 높음을 의미하고,

반대로 uncertainty가 낮으면 잘 분석할 확률이 높다는 뜻이다.

두 번째로, 모델이 확실하다고 판단하지 못하는 point들에서 precision이 낮은 것을 관찰할 수 있다.

 

 

Calibration Plot

다음으로 test 데이터로 모델에 대한 calibration plot을 이용하여 불확실성 측정에 대한 퀄리티를 분석하고자 한다.

Calibration Plot 참고자료 : 3months.tistory.com/490

plot에서 가장 정확하고 좋은 것은 y=x인 검은색 선이다.

Uncertainty를 modeling하는 것이 Non-bayesian model에 비해 보다 더 좋은 calibration 성능을 낼 수 있다는 것을 보여주고 있다.

 

 

 

 

 

5.2 Uncertainty with Distance from Training Data

Performance with data size

이번 절에서는 다음 두가지에 대해 간단히 말하고자 한다.

1. Aleatoric Uncertainty는 더 많은 데이터가 있어도 보완되지 않는다.
2. Aleatoric Uncertainty는 훈련 데이터와는 다른 상황을 갖는 샘플 데이터에서는 증가하지 않지만, Epistemic Uncertainty는 그와 반대이다. 

먼저 1번에 대해 이야기해보자.

이것은 학습되는 데이터의 양이 많아질 수록 그만큼 epstemic uncertainty는 줄어들 수 있는 반면, aleatoric uncertainty는 쉽게 줄어들지 않는다는 것이다.

생각해보면 당연하다.

model에 관련된 불확실성은 학습이 거듭될수록 개선될 여지가 있는지만, 데이터 자체에 스며져 있는 불확실성은 데이터를 바꾸지 않는 이상 개선되지 않을 것이다.

 

다음으로 2번이다.

이 말은 test를 진행할 때, 즉, 모델이 완성되고 성능을 측정하거나, 실제 application에 적용되었을 때,

전혀 다른 test data를 만나면 epistemic uncertainty가 급등한다는 것을 나타내는 것이다.

이것이 의미하는 바는 학습되지 않은 것에 대해서는 "모른다"라고 대답할 수 있음을 의미한다.

 

 

 

5.3 Real-Time Application

 

Aleatoric Uncertainty는 무시해도 좋을만큼 연산할 것이 별로 없지만, Epistemic Uncertainty는 Monte-Carlo Dropout sampling을 매우 힘겹게 연산 해야한다.

하지만 ResNet 같은 모델들은 경제적인 성공이 가능하다.

왜냐하면 마지막 몇 layer가 dropout을 포함하고 있기 때문이다.

하지만, DenseNet 같은 다른 모델들은 전체 아키텍쳐에 대한 샘플링이 필요하기 때문에 한계가 있다.