Bayesian Machine Learning

벌써 3번째 빅콘테스트다. 그동안의 빅콘에 나온 데이터들의 특징을 정리해보면, 2016 빅콘 : imbalanced binary responses(repeated measurements)2017 빅콘 : imbalanced binary responses, finance records data + telephone usages data. 2018 빅콘 : multi-category and repeated measurements along with time. 이다. 난이도가 계속 높아지는 것이 보인다. 더불어서 참가자들의 실력도 눈에 띄게 높아지고 있다. 이번 본선에서도 약간 위기감?을 느꼈다. 다들 데이터 분석을 어디서 배워가지고 오는 건지 다들 수준이 상당하다. 아버지들이 종종 말씀하시는, "밑에 있는 ..

Introduction to EM - 통계학의 거장 Rubin의 역작 중 하나이다. - 보통의 데이터에는 결측값( *, 혹은 NA로 표시되는 것들)이 많이 존재한다.- 결측값이 있을시 무시하기도 하지만, imputation을 통해 채워넣기도 한다. 대표적인 imputation방법으로, 평균이나 중앙값으로 결측값을 대체하는 경우가 많다.- EM algorithm은 결측값을 무시하지 않고, 단순히 평균이나 중앙값으로 결측치를 대체하지 않으면서, 통계적 추론을 하는 기법으로 가능도에 기반을 둔다. - EM algorithm은 결측값이 있을 때의 최대가능도추정량(MLE)을 추정하기 위해 제안된 방법이다. 결측값 그 자체를 채울수도 있다.- 결측값을 채우는 것뿐만 아니라 다양한 목적으로 활발하게 사용되는 도구이기..

Nonparametric Bayesian approach Gaussian process regression(GPR)은 nonparametric Bayesian의 한 모델이다. Bayesian이 바라보는 nonparametric은 가능한 모수가 무한 개인 상황을 가리킨다. 모수가 무한 개라는 것이 곧 모수에 대한 가정을 하지 않겠다는 것과 동일하기 때문이다. 관심있는 것에 prior를 둔 뒤, posterior를 통해 그것을 이해하고자 하는 것이 Bayesian 접근이다. 예를 들어, 베이지안 선형회귀모형에서는 기울기 계수들에 Gaussian distribution을 prior로 취해주고, GPR에서는 기울기 계수들이 아닌 함수값 그 자체에 prior를 준다. 즉, $y=f(x)+\epsilon$ wher..