[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 1.Prologue

[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 1.Prologue

[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 2.Abstract

[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 3.Introduce

[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 4.Related Research (1): Background(MC-Integration, Dropout)

[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 4.Related Research (2): Background(Gaussian Process)

[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 4.Related Research (3): Background(Bayesian Neural Network, Variational Inference, Re-parameterization trick)

[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 5.Methodolgy

[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 6.Experiment

[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 7.Conclusion

[논문 실습] Dropout as a Bayesian Approximation 실습 코드 - pytorch ver

---

지난 시간에 Yarin Gal 교수의 what uncertainties do we need in Bayesian deep learning for computer vision? 이라는 논문에 대해서 리뷰하는 시간을 가져보았었다.

이번에는 위 논문의 베이스 논문이자 Bayesian의 uncertainty 분야의 붐을 일으킨 Dropout as a Bayesian Approximation이라는 논문을 리뷰하고자 한다.

일단 본 논문을 이해하기 위해서는 여러 수학적인 background와 선행되어야할 지식들이 필요하기 때문에 굉장히 어려운 논문쪽에 속한다.

더군다나 10 페이지의 논문과 20 페이지짜리 appendix 뿐 아니라, 170 페이지짜리 thesis까지 모두 읽어야 본 논문에서 말하고자 하는 바를 완벽히 알 수 있지만 이 방대한 양의 내용을 읽기에는 우리의 시간이 부족하다.

나도 물론 이 모든 것들을 전부 다 읽은 것은 아니지만, 어느정도 이해한 것들을 토대로 한 번 작성해보고자 한다.

다소 부족할수도 있지만 최대한 내용의 error가 없이 이해한 바를 전달하도록 노력해보겠다.

또한, 내용을 혼자서 이해하기 어려웠기에 edwith 강의 중에 uncertainty를 다루고 있는 최성준 교수님의 강의를 참고하기도 했다.

 

 

본 논문: arxiv.org/abs/1506.02142

Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning

Appendix: proceedings.mlr.press/v48/gal16-supp.pdf

Thesis: mlg.eng.cam.ac.uk/yarin/blog_2248.html

Uncertainty in Deep Learning (PhD Thesis) | Yarin Gal - Blog | Cambridge Machine Learning Group

 

참고자료: 최성준 박사님의 edwith 강의, www.edwith.org/bayesiandeeplearning

Bayesian Deep Learning 강좌소개 : edwith

 

 

 

 

 

 

 

 

 

 

[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 1.Prologue

[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 2.Abstract

[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 3.Introduce

[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 4.Related Research (1): Background(MC-Integration, Dropout)

[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 4.Related Research (2): Background(Gaussian Process)

[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 4.Related Research (3): Background(Bayesian Neural Network, Variational Inference, Re-parameterization trick)

[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 5.Methodolgy

[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 6.Experiment

[논문 리뷰] Dropout as a Bayesian Approximation 설명 - 7.Conclusion