[논문 리뷰] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 3.Background

[논문 소개] On Uncertainty, Tempering, and Data Augmentation inBayesian Classification - 0.Abstract

[논문 리뷰] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 1.Introduction

[논문 리뷰] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 2.Related Work

---

3.1 Bayesian Model Averaging

베이지안 추론에 의하면, input-output 세트를 나타내는 데이터셋 $D = {(x_i, y_i)}^N_{i=1}$을 갖는 parameter들의 $posterior~dist = p(\theta|D) \propto p(D|\theta)p(\theta)$ 를 추론해야하는 것에 초점을 맞추고 있다.

만약 input $x_{*}$이 있다면, 우리는 posterior predictive dist.를 $Bayesian~model~averaging(BMA)$를 아래와 같이 나타낼 수 있다.

 

 

3.2 Cold Posterior and Tempering

 

 

3.3 Stochastic Gradient Langevin Dynamics (SGLD) 

 

 

 

3.4 Bayesian Classification