끄적거림

[논문 리뷰] Prediction-Oriented Bayesian Active Learning - 0. Abstract [논문 리뷰] Prediction-Oriented Bayesian Active Learning - 1. Introduction [논문 리뷰] Prediction-Oriented Bayesian Active Learning - 2.Background 본 섹션에서는 BALD를 본격적을 까는 섹션이다. 이전 섹션에서부터 BALD는 prediction을 기본으로하는 ML 프레임워크에 적합하지 않다고 했을 뿐 아니라, 이것이 parameter uncertainty와 predictive uncertainty가 다름이 적용되지 않음을 강조하고 있다. 어떤 부분에서 BALD가 아쉬운지, 부족한지를 확..

[논문 리뷰] Prediction-Oriented Bayesian Active Learning - 0. Abstract [논문 리뷰] Prediction-Oriented Bayesian Active Learning - 1. Introduction 2.1 Active Learning A/L은 라벨링을 하는 작업인데, 흔히 label acquisition이라고 부른다. 라벨을 얻는 작업이니까. acquisition을 할때 몇 가지 step이 있는데,각 step $t$는 3가지의 작업으로 나뉜다. 첫 번째, 알고리즘은 라벨링을 위해 query input $x_t$를 얻고, 주어진 input에 대해 라벨링에 필요한 utility를 포착하기 위한 acquisition function을 maximize한다. 두 번..

[논문 리뷰] Prediction-Oriented Bayesian Active Learning - 0. Abstract 모든 내용을 전부 기록하기보다 내가 생각하기에 중요하다고 생각하는 부분만 짚고 넘어가겠다. 1.1 Active Learning Active Learning은 labeling 부족한 상황에서 모델이 직접 labeling을 진행하며 학습하는 Task이다. 모델이 labeling을 하기 위해서는 빠르게 학습하며 새롭게 들어오는 정보가 매우 중요한데, 보통은 기대되는 정보의 양을 maimise하여 학습을 진행한다. 이것을 우리는 BALD(Bayesian Active Learning by Disagreement) score를 maximize한다고 말하고, Bayesian Active Learni..

https://arxiv.org/pdf/2304.08151v1.pdf Active Learning을 좀 더 공부하다가 오랜만에 Gal 교수님의 최신 논문을 발견하여 리뷰해보고자 한다. Information-theoretic approaches to active learning have traditionally focused on maximising the information gathered about the model parameters, most commonly by optimising the BALD score. 정보이론의 학문으로 바라봤을 때, active learning은 보통 모델 파라미터에 대한 정보의 총량을 최대화하는 것에 집중하고 있다. = BALD score를 최적화한다고 표현한다. W..

[논문 소개] On Uncertainty, Tempering, and Data Augmentation inBayesian Classification - 0.Abstract [논문 리뷰] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 1.Introduction [논문 리뷰] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 2.Related Work [논문 리뷰] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 3.Background [..

[논문 소개] On Uncertainty, Tempering, and Data Augmentation inBayesian Classification - 0.Abstract [논문 리뷰] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 1.Introduction [논문 리뷰] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 2.Related Work [논문 리뷰] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 3.Background 이..