일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- 베이지안
- 논문리뷰
- AI
- dropout
- 불확실성
- DATA
- bayesian
- VAE
- 우분투
- 텍스트마이닝
- 크롤링
- Graph
- R
- Crawling
- selenium
- 텍스트분석
- 빅데이터
- 백준
- pytorch
- 코딩테스트
- uncertainty
- GNN
- 강화학습
- YarinGal
- 리눅스
- pandas
- 데이터분석
- 파이썬
- 알고리즘
- PYTHON
- Today
- Total
목록개인 공부 정리/Bayesian (56)
끄적거림
최근 관심을 갖는 cold posterior를 정확하게 이해하기 위해서는 SG-MCMC에 대한 선이해가 되어야한다. 기존에 cold posterior 관련 포스팅들을 작성하면서 SG-MCMC에 관련된 내용이 많이 나왔었을 뿐 아니라, official google research github에서도 SG-MCMC에 대한 코드를 제공하고 있다. 논문 페이지가 꽤 많지만 중요하다고 생각되는 부분만 해석해서 작성해보고자 한다. 기존에 이전 포스팅에서 abstract을 했으니, 그 이후 내용부터 다루도록 하겠다. 1. Introduction 1.1 bayesian approach를 이용한 modelling을 할 때, bayesian posterior distribution은 두 가지 의미를 갖는다. 첫 번째는 모델..
uncertainty 논문들을 검색하다 발견한 논문이다. 본 논문의 저자들이 구글 브레인, 딥마인드 등 쟁쟁한 이력을 가지고 있다. 아직 abstract만 읽어보았는데, 여기서도 BNN에서 prior의 중요성을 언급하는 듯하다. 논문 : https://arxiv.org/pdf/1807.09289.pdf abstract Obtaining reliable uncertainty estimates of neural network predictions is a long-standing challenge. NN에서 믿을만한 uncertainty를 구하는 것은 오랜 과제였다. Bayesian neural networks have been proposed as a solution, but it remains open ..
논문 링크 : https://arxiv.org/abs/1312.6114 Auto-Encoding Variational Bayes How can we perform efficient inference and learning in directed probabilistic models, in the presence of continuous latent variables with intractable posterior distributions, and large datasets? We introduce a stochastic variational inference and learning arxiv.org 해당 논문은 워낙에 유명해서 이미 영상이나, 블로그 등으로 설명이 아주 자세하게 나와있다. 그 중에서 괜찮은..
cold posterior 관련 논문을 찾다가 발견한 리서치? 느낌의 논문이라 볼 수 있다. 이 paper에는 cold posterior의 내용이 아주 잠깐 스쳐 지나가게 나오긴 하지만, 베이지안의 철학을 이어받는 논문이라 볼 수 있다. 스위스 취리히 대학의 CS학과에서 작성되었으며, 2021년 NeurIPS의 Bayesian Deep Learning 워크샵에 게재된 내용이다. 해당 워크샵에서 한해의 베이지안에 대해 전반적으로 다루고 있으니 베이지안에 관심이 있으신 분들이면 한 번쯤 사이트에 접속해보길 권해드린다. 논문 링크 : https://arxiv.org/pdf/2105.06868.pdf 0. Abstract While the choice of prior is one of the most criti..
https://statmodeling.stat.columbia.edu/2020/02/13/how-good-is-the-bayes-posterior-for-prediction-really/ How good is the Bayes posterior for prediction really? | Statistical Modeling, Causal Inference, and Social Science It might not be common courtesy of this blog to make comments on a very-recently-arxiv-ed paper. But I have seen two copies of this paper entitled “how good is the Bayes posteri..
https://arxiv.org/abs/1912.05651 Despite their successes, deep neural networks may make unreliable predictions when faced with test data drawn from a distribution different to that of the training data, constituting a major problem for AI safety. 요즘의 AI들은 좋은 성능을 내고 있지만, out of distribution(OoD)를 직면했을 때는 신뢰할 수 있을만한 예측을 할 수 없게 되어 안전성 문제가 있다. While this has recently motivated the development of met..