[논문 리뷰] Prediction-Oriented Bayesian Active Learning - 0. Abstract

https://arxiv.org/pdf/2304.08151v1.pdf

---

Active Learning을 좀 더 공부하다가 오랜만에 Gal 교수님의 최신 논문을 발견하여 리뷰해보고자 한다.

 

 

Information-theoretic approaches to active learning have traditionally focused on maximising the information gathered  about the model parameters, most commonly by optimising the BALD score.

정보이론의 학문으로 바라봤을 때, active learning은 보통 모델 파라미터에 대한 정보의 총량을 최대화하는 것에 집중하고 있다. = BALD score를 최적화한다고 표현한다.

 

We highlight that this can be suboptimal from the perspective of predictive performance.

본 논문에서는 이것이 예측성능을 향상 시킬 수 있는 방법중에서 최선은 아닐것이라 생각한다.

 

For example, BALD lacks a notion of an input distribution and so is prone to prioritise data of limited relevance.

예를 들어, BALD는 input dist.에 대해 고려하지 않기 때문에 relevance가 제한된 데이터를 우선시하는 경향이 있다.

 

To address this we propose the expected predictive information gain (EPIG), an acquisition function that measures information gain in the space of predictions rather than parameters.

이러한 상황을 해결하기 위해 본 논문에서는 EPIG(Expected Predictive Information Gain)라고 하는, 파라미터에 대한 정보 보다는 prediction 공간에서 얻을 수 있는 정보를 측정하는 acquisition function을 제안한다.

 

We find that using EPIG leads to stronger predictive performance compared with BALD across a range of datasets and models, and thus provides an appealing drop-in replacement.

EPIG을 사용하는 것이 BALD를 사용하는 것보다 예측 부분에서 더 강력한 성능을 보였기 때문에 BALD의 대체재로써 활용하기 좋다.