[논문 비평] How Good is the Bayes Posterior in Deep Neural Networks Really?

https://statmodeling.stat.columbia.edu/2020/02/13/how-good-is-the-bayes-posterior-for-prediction-really/

How good is the Bayes posterior for prediction really? | Statistical Modeling, Causal Inference, and Social Science

 

bayes posterior가 실제 DNN에서 얼마나 좋을까? 특히 부정확할때

논문은 DNN에서, 특히 prediction일때, full posterior가 SGD를 이용한 postin estimation을 할 때 accuracy 혹은 cross-entropy 를 안좋게 만든다고 한다.

더 놀랍게도, 빈약해 보이더라도 안좋게 만드는 것에 대해 빠른 처방는 power transformation을 통해 posterior를 재구성(T < 1)하는 것이고 이를 cold posterior라고 한다.

효과적인 cold temperature은 posterior density를 더욱 집중시킨다고 한다.

경험적인 evaluation에 따르면 논문의 저자들은 예측 성능 측면에서 정확한 posterior을 이용한 point estimation보다 cold posterior를 이용한 point estimation이 더 우수하다고 주장한다.

 

하지만 이 포스팅을 작성한 블로거에 의하면 이러한 cold posterior에 대해, 좀 더 자세히 말하자면, 논문의 작성 방식에 대해 의문을 제기하고 있다.

정확한 sampling에 의거하여 cold posterior 혹은 기존의 posterior 성능을 측정했는지 등과 같은 정보가 부족하다는 것이다.

특히 4번 섹션과 5번 섹션에 대해 말이 많았다.

실험 과정과 설명이 부족하다는 것이다.