끄적거림

이전 포스팅 [논문 소개] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 0.Abstract 믿음이라는 표현이 나오는데 베이지안이라고 변경해서 해석해도 될듯! 이건 확인이 필요함. 1.1. Epistemic/Aleatoric Uncertainty Epistemic Uncertainty와 Aleatoric Uncertainty에 대한 설명이 나오지만, 이전 포스팅에서 설명하였으므로 스킵한다. 1.2 그림 설명 보라색 점은 관측된 데이터이다. Gaussian Process Regression(G.P.R.)를 이용해서 모델링 한 것이다. (a)는 분산을 1로 높게 설정하여 나타낸 그림이고, 빨간색 점선은 predict..

https://arxiv.org/abs/2203.16481 On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification Aleatoric uncertainty captures the inherent randomness of the data, such as measurement noise. In Bayesian regression, we often use a Gaussian observation model, where we control the level of aleatoric uncertainty with a noise variance parameter. By contra arxiv.org cold posterior에 대한 트렌트..

https://arxiv.org/abs/2206.11173v1 정말 오랜만에 마음을 다잡고 논문 한 편을 찾아보던 와중, 눈에 들어오는 논문을 발견했다. PAC-Bayes라는 개념을 몰라서 새로 찾아봐야 하지만, cold posterior와 PAC-Bayes가 비슷한 목표를 추구한다고 하니 관심이 갖게한다. We investigate the cold posterior effect through the lens of PAC-Bayes generalization bounds. 우리는 PAC-Bayes generalization bounds 렌즈를 통해 cold posterior effect를 조사한다. We argue that in the non-asymptotic setting, when the numbe..

최근 관심을 갖는 cold posterior를 정확하게 이해하기 위해서는 SG-MCMC에 대한 선이해가 되어야한다. 기존에 cold posterior 관련 포스팅들을 작성하면서 SG-MCMC에 관련된 내용이 많이 나왔었을 뿐 아니라, official google research github에서도 SG-MCMC에 대한 코드를 제공하고 있다. 논문 페이지가 꽤 많지만 중요하다고 생각되는 부분만 해석해서 작성해보고자 한다. 기존에 이전 포스팅에서 abstract을 했으니, 그 이후 내용부터 다루도록 하겠다. 1. Introduction 1.1 bayesian approach를 이용한 modelling을 할 때, bayesian posterior distribution은 두 가지 의미를 갖는다. 첫 번째는 모델..

논문 링크 : https://arxiv.org/abs/1312.6114 Auto-Encoding Variational Bayes How can we perform efficient inference and learning in directed probabilistic models, in the presence of continuous latent variables with intractable posterior distributions, and large datasets? We introduce a stochastic variational inference and learning arxiv.org 해당 논문은 워낙에 유명해서 이미 영상이나, 블로그 등으로 설명이 아주 자세하게 나와있다. 그 중에서 괜찮은..

cold posterior 관련 논문을 찾다가 발견한 리서치? 느낌의 논문이라 볼 수 있다. 이 paper에는 cold posterior의 내용이 아주 잠깐 스쳐 지나가게 나오긴 하지만, 베이지안의 철학을 이어받는 논문이라 볼 수 있다. 스위스 취리히 대학의 CS학과에서 작성되었으며, 2021년 NeurIPS의 Bayesian Deep Learning 워크샵에 게재된 내용이다. 해당 워크샵에서 한해의 베이지안에 대해 전반적으로 다루고 있으니 베이지안에 관심이 있으신 분들이면 한 번쯤 사이트에 접속해보길 권해드린다. 논문 링크 : https://arxiv.org/pdf/2105.06868.pdf 0. Abstract While the choice of prior is one of the most criti..