[논문 리뷰] Prediction-Oriented Bayesian Active Learning - 1. Introduction

[논문 리뷰] Prediction-Oriented Bayesian Active Learning - 0. Abstract

 

 

모든 내용을 전부 기록하기보다 내가 생각하기에 중요하다고 생각하는 부분만 짚고 넘어가겠다.

---

1.1 Active Learning

Active Learning은 labeling 부족한 상황에서 모델이 직접 labeling을 진행하며 학습하는 Task이다.

모델이 labeling을 하기 위해서는 빠르게 학습하며 새롭게 들어오는 정보가 매우 중요한데, 보통은 기대되는 정보의 양을 maimise하여 학습을 진행한다. 이것을 우리는 BALD(Bayesian Active Learning by Disagreement) score를 maximize한다고 말하고, Bayesian Active Learning에서 acquisition function이기도 하다.

1.2 BALD의 한계

BALD는 unseen input에 정확한 예측을 하지 못할 수 있다는점에서 효과적이지 못한 맹점이 있다.

BALD는 모델 파라미터에 대한 정보를 다루고 있기 때문에, 모델이 어떻게 사용될 것인지에 대한 개념이 없어서 획득한 데이터가 특정 예측 작업과 관련이 있는지 확인하지 못한다.

 

1.3 ERIG 제안

□ 개념 설명

• BALD: model parameter에 대한 EIG(expected information gain)
• EPIC: model's prediction에 대한 EIG → 새롭게 제공받을 input에 대해 얼만큼의 label information이 있는지를 나타낸 것이다.

□ Uncertainty 측면

• BALD: parameter uncertainty의 전체적인 감소
• EPIG: downstream predictive uncertainty 감소

 

1.4 Distribution

마지막 부분 쓸 차례~ 이해가 100% 안되어서 뒷부분 더 읽고 다시 읽어보기!