끄적거림

[논문 소개] Cold Posterior Effect 관련 논문들 [논문 소개] Cold Posterior Effect 관련 논문들 베이지안 관련 최신 논문들을 찾다보니 또 하나의 새로운 개념을 알게 되었다. Cold Posterior Effect(이하 CPE.)라는 개념인데 아직 계속해서 공부중이고, 이 것을 파다보니 연관된 다른 논문들이 많이 signing.tistory.com cold posterior를 연구 타겟으로 정했고, 공부하다보니 cold posterior가 data-aug.에 좋다는 논문을 여럿 보았다. 그 중에서 핵심적으로 다루는 논문인 것 같아 리뷰해보고자 한다. abstract 같은 부분은 위의 이전의 포스팅에 해석해 두었으니 바로 본론으로 들어가겠다. 1. Introduction ..

https://proceedings.neurips.cc/paper/2019/file/7e3315fe390974fcf25e44a9445bd821-Paper.pdf Posterior collapse in Variational Autoencoders (VAEs) arises when the variational posterior distribution closely matches the prior for a subset of latent variables. This paper presents a simple and intuitive explanation for posterior collapse through the analysis of linear VAEs and their direct corresponden..

Adversarial Distillation of Bayesian Neural Network Posteriors link: https://proceedings.mlr.press/v80/wang18i/wang18i.pdf 참고자료 논문의 ppt 자료: http://www.paulvicol.com/pdfs/AdversarialPosteriorDistillation_Slides.pdf 논문 설명(한글): https://pod3275.github.io/paper/2019/08/02/KDwithADVsamples.html abstract Bayesian neural networks (BNNs) allow us to reason about uncertainty in a principled way. BNN은 unce..

zero-shot이란? 논문 : https://arxiv.org/abs/2011.08641 A Review of Generalized Zero-Shot Learning Methods Generalized zero-shot learning (GZSL) aims to train a model for classifying data samples under the condition that some output classes are unknown during supervised learning. To address this challenging task, GZSL leverages semantic information of the seen arxiv.org zero-shot 설명 https://deep-lear..

Calibration이란? calibration 설명 : https://3months.tistory.com/490 [논문리뷰] 현대 딥러닝의 Calibration 에 대하여 [논문리뷰] 현대 딥러닝의 Calibration 에 대하여 현대 Neural network 의 calibration 에 관하여라는 논문을 리뷰하여 포스팅하겠습니다. 딥러닝의 성능 (performance) 이라 하면 일반적인 용어 '정확도' 를 뜻 3months.tistory.com 논문 : https://arxiv.org/abs/1909.13550 Well-calibrated Model Uncertainty with Temperature Scaling for Dropout Variational Inference Model uncert..

지난 시간 cold posterior를 파던 중 알면 좋을 것 같은 논문을 찾았고, 나중에 읽어보면 좋을 거 같아 기록용으로 올립니다. link: https://arxiv.org/abs/1907.06986 Stochastic gradient Markov chain Monte Carlo Markov chain Monte Carlo (MCMC) algorithms are generally regarded as the gold standard technique for Bayesian inference. They are theoretically well-understood and conceptually simple to apply in practice. The drawback of MCMC is that in ..