끄적거림

https://arxiv.org/pdf/2203.07034.pdf https://www.youtube.com/watch?v=T9VKaTlKlMw cvpr 2022에 나온 논문으로 유튜브 설명을 정리한 내용이다. Introduction - Active Learning - 초기 학습된 모델을 통해 labeling을 했을 때, 가장 성능을 빠르게 높일 수 있는 unlabeled data를 sampling하는 것이 중요. Introduction - uncertainty Random: unceratinty에 대한 측정 없이 random하게 sampling 하여 라벨링을 진행 -> 베이스라인으로 쓰임 Least Confidence: confidence값을 기준으로 낮은 값을 보인다면 uncertainty가 높다고 ..

[논문 소개] On Uncertainty, Tempering, and Data Augmentation inBayesian Classification - 0.Abstract [논문 리뷰] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 1.Introduction [논문 리뷰] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 2.Related Work 3.1 Bayesian Model Averaging 베이지안 추론에 의하면, input-output 세트를 나타내는 데이터셋 $D = {(x_i, y_i)}^N_{i=1}$을 갖는..

[논문 소개] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 0.Abstract [논문 리뷰] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 1.Introduction 2.1. BNN의 연구 동향 BNN에 대한 연구들은 Laplace approximations, variational methods, and Hamiltonian Monte Carlo based MCMC 등을 이용하여 hyperparameter learning과 overfitting을 완화하는 연구를 해왔었다. 최근에 들어서는 아래의 연구들이 진행되었었다. ..

이전 포스팅 [논문 소개] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 0.Abstract 믿음이라는 표현이 나오는데 베이지안이라고 변경해서 해석해도 될듯! 이건 확인이 필요함. 1.1. Epistemic/Aleatoric Uncertainty Epistemic Uncertainty와 Aleatoric Uncertainty에 대한 설명이 나오지만, 이전 포스팅에서 설명하였으므로 스킵한다. 1.2 그림 설명 보라색 점은 관측된 데이터이다. Gaussian Process Regression(G.P.R.)를 이용해서 모델링 한 것이다. (a)는 분산을 1로 높게 설정하여 나타낸 그림이고, 빨간색 점선은 predict..

https://arxiv.org/abs/2203.16481 On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification Aleatoric uncertainty captures the inherent randomness of the data, such as measurement noise. In Bayesian regression, we often use a Gaussian observation model, where we control the level of aleatoric uncertainty with a noise variance parameter. By contra arxiv.org cold posterior에 대한 트렌트..

https://arxiv.org/abs/2206.11173v1 정말 오랜만에 마음을 다잡고 논문 한 편을 찾아보던 와중, 눈에 들어오는 논문을 발견했다. PAC-Bayes라는 개념을 몰라서 새로 찾아봐야 하지만, cold posterior와 PAC-Bayes가 비슷한 목표를 추구한다고 하니 관심이 갖게한다. We investigate the cold posterior effect through the lens of PAC-Bayes generalization bounds. 우리는 PAC-Bayes generalization bounds 렌즈를 통해 cold posterior effect를 조사한다. We argue that in the non-asymptotic setting, when the numbe..