일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- 우분투
- PYTHON
- AI
- 알고리즘
- dropout
- selenium
- 백준
- 리눅스
- YarinGal
- 불확실성
- 파이썬
- 크롤링
- R
- 강화학습
- 논문리뷰
- bayesian
- Graph
- 데이터분석
- 베이지안
- DATA
- uncertainty
- GNN
- pytorch
- 텍스트마이닝
- 텍스트분석
- VAE
- pandas
- 코딩테스트
- Crawling
- 빅데이터
- Today
- Total
목록개인 공부 정리 (72)
끄적거림
[논문 소개] Stochastic gradient Markov chain Monte Carlo [논문 리뷰] Stochastic gradient Markov chain Monte Carlo - 1.Introduction 이번 시간에는 본격적인 이론에 관련된 내용을 다뤄보겠다. 그러기 위해서는 미리 알아야하는 개념들이 있는데 논문 순서대로 짚어보고 넘어가자. 2. Langevin-based Stochastic Gradient MCMC 이번 절에서는 SG-MCMC의 기초로서 Langevin diffusion과 discrete-time approximation를 소개한다. 또한 posterior approximation에 대한 이론적 오류 한계와 Gaussian에서 Stochastic gradient Lang..
최근 관심을 갖는 cold posterior를 정확하게 이해하기 위해서는 SG-MCMC에 대한 선이해가 되어야한다. 기존에 cold posterior 관련 포스팅들을 작성하면서 SG-MCMC에 관련된 내용이 많이 나왔었을 뿐 아니라, official google research github에서도 SG-MCMC에 대한 코드를 제공하고 있다. 논문 페이지가 꽤 많지만 중요하다고 생각되는 부분만 해석해서 작성해보고자 한다. 기존에 이전 포스팅에서 abstract을 했으니, 그 이후 내용부터 다루도록 하겠다. 1. Introduction 1.1 bayesian approach를 이용한 modelling을 할 때, bayesian posterior distribution은 두 가지 의미를 갖는다. 첫 번째는 모델..
uncertainty 논문들을 검색하다 발견한 논문이다. 본 논문의 저자들이 구글 브레인, 딥마인드 등 쟁쟁한 이력을 가지고 있다. 아직 abstract만 읽어보았는데, 여기서도 BNN에서 prior의 중요성을 언급하는 듯하다. 논문 : https://arxiv.org/pdf/1807.09289.pdf abstract Obtaining reliable uncertainty estimates of neural network predictions is a long-standing challenge. NN에서 믿을만한 uncertainty를 구하는 것은 오랜 과제였다. Bayesian neural networks have been proposed as a solution, but it remains open ..
논문 링크 : https://arxiv.org/abs/1312.6114 Auto-Encoding Variational Bayes How can we perform efficient inference and learning in directed probabilistic models, in the presence of continuous latent variables with intractable posterior distributions, and large datasets? We introduce a stochastic variational inference and learning arxiv.org 해당 논문은 워낙에 유명해서 이미 영상이나, 블로그 등으로 설명이 아주 자세하게 나와있다. 그 중에서 괜찮은..
cold posterior 관련 논문을 찾다가 발견한 리서치? 느낌의 논문이라 볼 수 있다. 이 paper에는 cold posterior의 내용이 아주 잠깐 스쳐 지나가게 나오긴 하지만, 베이지안의 철학을 이어받는 논문이라 볼 수 있다. 스위스 취리히 대학의 CS학과에서 작성되었으며, 2021년 NeurIPS의 Bayesian Deep Learning 워크샵에 게재된 내용이다. 해당 워크샵에서 한해의 베이지안에 대해 전반적으로 다루고 있으니 베이지안에 관심이 있으신 분들이면 한 번쯤 사이트에 접속해보길 권해드린다. 논문 링크 : https://arxiv.org/pdf/2105.06868.pdf 0. Abstract While the choice of prior is one of the most criti..
https://statmodeling.stat.columbia.edu/2020/02/13/how-good-is-the-bayes-posterior-for-prediction-really/ How good is the Bayes posterior for prediction really? | Statistical Modeling, Causal Inference, and Social Science It might not be common courtesy of this blog to make comments on a very-recently-arxiv-ed paper. But I have seen two copies of this paper entitled “how good is the Bayes posteri..