끄적거림

uncertainty 논문들을 검색하다 발견한 논문이다. 본 논문의 저자들이 구글 브레인, 딥마인드 등 쟁쟁한 이력을 가지고 있다. 아직 abstract만 읽어보았는데, 여기서도 BNN에서 prior의 중요성을 언급하는 듯하다. 논문 : https://arxiv.org/pdf/1807.09289.pdf abstract Obtaining reliable uncertainty estimates of neural network predictions is a long-standing challenge. NN에서 믿을만한 uncertainty를 구하는 것은 오랜 과제였다. Bayesian neural networks have been proposed as a solution, but it remains open ..

논문 링크 : https://arxiv.org/abs/1312.6114 Auto-Encoding Variational Bayes How can we perform efficient inference and learning in directed probabilistic models, in the presence of continuous latent variables with intractable posterior distributions, and large datasets? We introduce a stochastic variational inference and learning arxiv.org 해당 논문은 워낙에 유명해서 이미 영상이나, 블로그 등으로 설명이 아주 자세하게 나와있다. 그 중에서 괜찮은..

cold posterior 관련 논문을 찾다가 발견한 리서치? 느낌의 논문이라 볼 수 있다. 이 paper에는 cold posterior의 내용이 아주 잠깐 스쳐 지나가게 나오긴 하지만, 베이지안의 철학을 이어받는 논문이라 볼 수 있다. 스위스 취리히 대학의 CS학과에서 작성되었으며, 2021년 NeurIPS의 Bayesian Deep Learning 워크샵에 게재된 내용이다. 해당 워크샵에서 한해의 베이지안에 대해 전반적으로 다루고 있으니 베이지안에 관심이 있으신 분들이면 한 번쯤 사이트에 접속해보길 권해드린다. 논문 링크 : https://arxiv.org/pdf/2105.06868.pdf 0. Abstract While the choice of prior is one of the most criti..

https://statmodeling.stat.columbia.edu/2020/02/13/how-good-is-the-bayes-posterior-for-prediction-really/ How good is the Bayes posterior for prediction really? | Statistical Modeling, Causal Inference, and Social Science It might not be common courtesy of this blog to make comments on a very-recently-arxiv-ed paper. But I have seen two copies of this paper entitled “how good is the Bayes posteri..

https://arxiv.org/abs/1912.05651 Despite their successes, deep neural networks may make unreliable predictions when faced with test data drawn from a distribution different to that of the training data, constituting a major problem for AI safety. 요즘의 AI들은 좋은 성능을 내고 있지만, out of distribution(OoD)를 직면했을 때는 신뢰할 수 있을만한 예측을 할 수 없게 되어 안전성 문제가 있다. While this has recently motivated the development of met..

[논문 소개] Cold Posterior Effect 관련 논문들 [논문 소개] Cold Posterior Effect 관련 논문들 베이지안 관련 최신 논문들을 찾다보니 또 하나의 새로운 개념을 알게 되었다. Cold Posterior Effect(이하 CPE.)라는 개념인데 아직 계속해서 공부중이고, 이 것을 파다보니 연관된 다른 논문들이 많이 signing.tistory.com cold posterior를 가장 핵심으로 다루고 있는 논문인듯 하다. 논문 페이지가 꽤 많고(33페이지), 다른 논문들이 위 논문을 많이 refer했다. 어떤 논문에서는 해당 논문에 대해 문제를 제기하기도 했지만, 그래도 무엇 때문에 문제가 발생하는지, 정확한 개념이 무엇인지 확인해봐야겠다는 생각으로 본 논문을 간단히 짚고 ..