끄적거림

이전 포스팅 [논문 소개] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 0.Abstract 믿음이라는 표현이 나오는데 베이지안이라고 변경해서 해석해도 될듯! 이건 확인이 필요함. 1.1. Epistemic/Aleatoric Uncertainty Epistemic Uncertainty와 Aleatoric Uncertainty에 대한 설명이 나오지만, 이전 포스팅에서 설명하였으므로 스킵한다. 1.2 그림 설명 보라색 점은 관측된 데이터이다. Gaussian Process Regression(G.P.R.)를 이용해서 모델링 한 것이다. (a)는 분산을 1로 높게 설정하여 나타낸 그림이고, 빨간색 점선은 predict..

https://arxiv.org/abs/2203.16481 On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification Aleatoric uncertainty captures the inherent randomness of the data, such as measurement noise. In Bayesian regression, we often use a Gaussian observation model, where we control the level of aleatoric uncertainty with a noise variance parameter. By contra arxiv.org cold posterior에 대한 트렌트..

https://arxiv.org/abs/2206.11173v1 정말 오랜만에 마음을 다잡고 논문 한 편을 찾아보던 와중, 눈에 들어오는 논문을 발견했다. PAC-Bayes라는 개념을 몰라서 새로 찾아봐야 하지만, cold posterior와 PAC-Bayes가 비슷한 목표를 추구한다고 하니 관심이 갖게한다. We investigate the cold posterior effect through the lens of PAC-Bayes generalization bounds. 우리는 PAC-Bayes generalization bounds 렌즈를 통해 cold posterior effect를 조사한다. We argue that in the non-asymptotic setting, when the numbe..

최근 관심을 갖는 cold posterior를 정확하게 이해하기 위해서는 SG-MCMC에 대한 선이해가 되어야한다. 기존에 cold posterior 관련 포스팅들을 작성하면서 SG-MCMC에 관련된 내용이 많이 나왔었을 뿐 아니라, official google research github에서도 SG-MCMC에 대한 코드를 제공하고 있다. 논문 페이지가 꽤 많지만 중요하다고 생각되는 부분만 해석해서 작성해보고자 한다. 기존에 이전 포스팅에서 abstract을 했으니, 그 이후 내용부터 다루도록 하겠다. 1. Introduction 1.1 bayesian approach를 이용한 modelling을 할 때, bayesian posterior distribution은 두 가지 의미를 갖는다. 첫 번째는 모델..

논문 링크 : https://arxiv.org/abs/1312.6114 Auto-Encoding Variational Bayes How can we perform efficient inference and learning in directed probabilistic models, in the presence of continuous latent variables with intractable posterior distributions, and large datasets? We introduce a stochastic variational inference and learning arxiv.org 해당 논문은 워낙에 유명해서 이미 영상이나, 블로그 등으로 설명이 아주 자세하게 나와있다. 그 중에서 괜찮은..

https://openaccess.thecvf.com/content/CVPR2021W/LLID/papers/Rakesh_Efficacy_of_Bayesian_Neural_Networks_in_Active_Learning_CVPRW_2021_paper.pdf 본 논문은 2021 CVF(CVPR) 투고된 논문으로 Interdigital AI Lab이라는 곳에서 작성한 논문이다. 베이지안과 관련한 최신 논문을 찾으려고 하다보니 발견한 논문이다. 일단 닥치는대로 읽고 리뷰한 것이니 참고용으로 봐주길 바란다. 0. Abstract Obtaining labeled data for machine learning tasks can be prohibitively expensive. ML에서 라벨링된 데이터를 얻는 것은 ..