[머신러닝] 앙상블 학습 - 1) 배경 이번 포스팅에서는 모델의 편향과 분산을 줄이기 위한 노력의 일환인 앙상블 학습에 대하여 정리해봤다. 본 글에서는 1) 앙상블의 목적, 2) 앙상블의 핵심 가치, 그리고 3) 앙상블의 효과를 차례대로 설명한다. 이는 고려대학교 강필성 교수님의 비즈니스 애널리틱스 강의 내용을 요약한 것이며, 해당 강의는 유튜브에서 무료로 시청이 가능하다(링크). 1. 앙상블의 목적 지난 번 포스팅을 통해 편향과 분산의 정도를 바탕으로 모델을 4가지 유형으로 나눌 수 있음을 배웠다. 네 번째 유형(낮은 편향, 낮은 분산)이 가장 바람직한 모델이지만, 현실은 대부분 두 번째나 세 번째인 경우가 많다. 따라서, 이 두 가지 유형에서 네 번째 유형의 모델로 만들기 위한 노력이 바로 앙상블 학습인 것이다. 즉, 앙상블의 목적은 다중.. 2021. 6. 14. [머신러닝] 편향과 분산의 의미 지난번 포스팅에 이어, 이번 글에서는 1) 편향과 분산이 의미하는 바를 그림으로 쉽게 이해하고, 2) 편향, 분산과 모델 복잡도 간의 관계에 대해서 알아보도록 한다. 본 글은 고려대학교 강필성 교수님의 비즈니스 애널리틱스 강의 내용을 요약한 것이며, 해당 강의는 유튜브에서 무료로 시청이 가능하다(링크). 1. 그림으로 보는 편향과 분산 지난 번 편향-분산 분해 포스팅을 통해 우리는 위의 수식과 같이 오차 함수 MSE를 세 가지로 분해할 수 있음을 보였다. 가장 우측에 있는 sigma 제곱은 사람이 컨트롤 할 수 없는 자연발생적인 데이터의 변동성이므로 이를 제외한다고 하면, 오차를 줄일 수 있는 방법은 편향의 제곱(첫번째 텀) 또는 분산(두번째 텀)을 감소시키는 것 뿐이다. 우선, 편향과 분산이 각각 의미.. 2021. 6. 4. 이전 1 다음
