끄적거림

https://arxiv.org/pdf/2203.07034.pdf https://www.youtube.com/watch?v=T9VKaTlKlMw cvpr 2022에 나온 논문으로 유튜브 설명을 정리한 내용이다. Introduction - Active Learning - 초기 학습된 모델을 통해 labeling을 했을 때, 가장 성능을 빠르게 높일 수 있는 unlabeled data를 sampling하는 것이 중요. Introduction - uncertainty Random: unceratinty에 대한 측정 없이 random하게 sampling 하여 라벨링을 진행 -> 베이스라인으로 쓰임 Least Confidence: confidence값을 기준으로 낮은 값을 보인다면 uncertainty가 높다고 ..

https://arxiv.org/pdf/2110.03260.pdf 간단하게 리뷰할 예정! 0. Abstract 이 연구에서는 Cross-Entropy와 Expected Calibration Error(ECE) 및 Predictive Entropy(PE)를 결합한 두 가지 새로운 손실 함수를 제안함. 올바른 예측과 부정확한 예측의 불확실성 추정 분포 간의 중첩을 최소화하면서도 모델의 전반적인 성능을 희생하지 않는 새로운 하이브리드 손실 함수의 큰 영향을 확인 이 연구는 불확실성 양자화를 통해 모델의 예측 결과를 더 신뢰할 수 있도록 개선하는 방법을 제안하고, 새로운 손실 함수가 이를 달성하는 데 효과적임을 실험적으로 입증 1. Introduction Uncertainty가 얼머나 중요한지를 언급. 대표적인..

[논문 소개] On Uncertainty, Tempering, and Data Augmentation inBayesian Classification - 0.Abstract [논문 리뷰] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 1.Introduction [논문 리뷰] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 2.Related Work 3.1 Bayesian Model Averaging 베이지안 추론에 의하면, input-output 세트를 나타내는 데이터셋 $D = {(x_i, y_i)}^N_{i=1}$을 갖는..

[논문 소개] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 0.Abstract [논문 리뷰] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 1.Introduction 2.1. BNN의 연구 동향 BNN에 대한 연구들은 Laplace approximations, variational methods, and Hamiltonian Monte Carlo based MCMC 등을 이용하여 hyperparameter learning과 overfitting을 완화하는 연구를 해왔었다. 최근에 들어서는 아래의 연구들이 진행되었었다. ..

이전 포스팅 [논문 소개] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification - 0.Abstract 믿음이라는 표현이 나오는데 베이지안이라고 변경해서 해석해도 될듯! 이건 확인이 필요함. 1.1. Epistemic/Aleatoric Uncertainty Epistemic Uncertainty와 Aleatoric Uncertainty에 대한 설명이 나오지만, 이전 포스팅에서 설명하였으므로 스킵한다. 1.2 그림 설명 보라색 점은 관측된 데이터이다. Gaussian Process Regression(G.P.R.)를 이용해서 모델링 한 것이다. (a)는 분산을 1로 높게 설정하여 나타낸 그림이고, 빨간색 점선은 predict..

https://arxiv.org/abs/2203.16481 On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification Aleatoric uncertainty captures the inherent randomness of the data, such as measurement noise. In Bayesian regression, we often use a Gaussian observation model, where we control the level of aleatoric uncertainty with a noise variance parameter. By contra arxiv.org cold posterior에 대한 트렌트..