[논문 소개] On Uncertainty, Tempering, and Data Augmentation inBayesian Classification - 0.Abstract

https://arxiv.org/abs/2203.16481

On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification

 

cold posterior에 대한 트렌트를 찾다가 발견한 논문이다.

NIPS2022에 소개된 논문으로, 제목부터 심상치 않고 cold posterior를 실용적으로 사용할 수 있는 단서가 될 것으로 생각된다.

할 수 있을지 모르겠지만 최대한 논문 리뷰를 해볼 생각이다.

화이팅,,,!

 

---

Aleatoric uncertainty captures the inherent randomness of the data, such as measurement noise.

Aleatoric uncertainty는 데이터에 녹아져 있는 randomness(예를 들면, 데이터 측정할 때의 noise)를 잡아낸다.

 

In Bayesian regression, we often use a Gaussian observation model, where we control the level of aleatoric uncertainty with a noise variance parameter.

베이지안 회귀에서, 우리는 종종 분산 parameter와 같이 Aleatoric uncertainty의 수준을 컨트롤 할 수 있는 Gaussian 관측모델을 사용하곤 한다.

 

By contrast, for Bayesian classification we use a categorical distribution with no mechanism to represent our beliefs about aleatoric uncertainty.

이와 반대로, 베이지안 분류모델에서는, 우리는 Aleatoric uncertainty를 잘 표현되지 않은 categorical 분포를 사용한다.

 

Our work shows that explicitly accounting for aleatoric uncertainty significantly improves the performance of Bayesian neural networks.

본 논문에서는 aleatoric uncertainty를 명시적으로 보여줌으로써 BNN의 성능을 크게 향상 시켜주는 것을 보여주고 있다.

 

We note that many standard benchmarks, such as CIFAR, have essentially no aleatoric uncertainty.

많은 standard benchmark(예를 들어, CIFAR)들은 원래 aleatoric uncertainty가 없다는 것을 알아야 한다.

 

Moreover, we show data augmentation in approximate inference has the effect of softening the likelihood, leading to underconfidence and profoundly misrepresenting our honest beliefs about aleatoric uncertainty.

게다가, 본 논문에서는 approximate inference에서 data augmentation이 likelihood를 약화시키는 효과가 있고, 이는 신뢰할 수 어려운 결과로 이어질 뿐만 아니라, aleatoric uncertainty에 대해 우리가 갖고 있던 지식이 잘못된 것임을 보여준다.

 

Accordingly, we find that a cold posterior, tempered by a power greater than one, often more honestly reflects our beliefs about aleatoric uncertainty than no tempering -- providing an explicit link between data augmentation and cold posteriors.

그에 따라, 본 논문에서는 1보다 큰 power에 의한 tempered된 cold posterior가 우리가 갖고있는 aleatoric uncertaitnty에 대한 지식을 tempered되지 않은 것보다 더 잘 반영한다는 것을 보여주고 있다. -- 이것은 data augmentation과 cold posterior 사이에 명확한 연관이 있다는 것을 의미한다.

 

We show that we can match or exceed the performance of posterior tempering by using a Dirichlet observation model, where we explicitly control the level of aleatoric uncertainty, without any need for tempering

이 논문에서는 Dirichlet 관측모델을 이용함으로써 posterior tempering의 성능을 그 이상으로 이끌어내고 있고, 여기에 tempering의 어떠한 필요성 없이 aleatoric uncertainty의 수준을 명확하게 컨트롤할 수 있음을 보여주고 있다.

---

https://arxiv.org/abs/2008.00029

Cold Posteriors and Aleatoric Uncertainty

과거 포스팅에서도 한 번 다뤘던 내용인데, 

위 논문에서도 cold posterior와 Aleatoric uncertainty에 대한 내용을 담고 있다.

5장~6장 정도의 짧은 내용으로 한 번 리뷰 했던 것 같은데, 포스팅이 보이지 않네ㅠ

기회되면 해당 논문도 리뷰해봐야겠다.