[논문 소개] Cold Posteriors through PAC-Bayes

https://arxiv.org/abs/2206.11173v1

 

정말 오랜만에 마음을 다잡고 논문 한 편을 찾아보던 와중, 눈에 들어오는 논문을 발견했다.

PAC-Bayes라는 개념을 몰라서 새로 찾아봐야 하지만, cold posterior와 PAC-Bayes가 비슷한 목표를 추구한다고 하니 관심이 갖게한다.

 

---

 

We investigate the cold posterior effect through the lens of PAC-Bayes generalization bounds.

우리는 PAC-Bayes generalization bounds 렌즈를 통해 cold posterior effect를 조사한다.

 

We argue that in the non-asymptotic setting, when the number of training samples is (relatively) small, discussions of the cold posterior effect should take into account that approximate Bayesian inference does not readily provide guarantees of performance on out-of-sample data.

우리는 비점근적 설정에서 훈련 샘플 수가 (상대적으로) 적을 때, 대략적인 베이지안 추론이 out-of-sample에 대한 성능을 쉽게 보장하지 않는다는 것을 고려해야 한다고 주장한다.

 

Instead, out-of-sample error is better described through a generalization bound.

대신 out-of-sample error는 generalization bound를 통해 더 잘 설명된다.

 

In this context, we explore the connections between the ELBO objective from variational inference and the PAC-Bayes objectives.

이러한 맥락에서, 우리는 Variational Inference에서 ELBO 목표와 PAC-Bayes 목표 사이의 연관성을 탐구한다.

 

We note that, while the ELBO and PAC-Bayes objectives are similar, the latter objectives naturally contain a temperature parameter λ which is not restricted to be λ=1.

우리는 ELBO와 PAC-Bayes 목표가 유사하지만, PAC-Bayes의 목표는 자연스럽게 λ=1로 제한되지 않는 온도 매개 변수 γ를 포함한다는 것에 주목한다

 

For both regression and classification tasks, in the case of isotropic Laplace approximations to the posterior, we show how this PAC-Bayesian interpretation of the temperature parameter captures the cold posterior effect.

회귀 및 분류 작업 모두에서 posterior에 대한 isotropic Laplace approximations의 경우 온도 매개 변수(γ)의 PAC-Bayesian 해석이 cold posterior effect를 어떻게 포착하는지 보여준다.