[머신러닝] 편향과 분산의 의미 지난번 포스팅에 이어, 이번 글에서는 1) 편향과 분산이 의미하는 바를 그림으로 쉽게 이해하고, 2) 편향, 분산과 모델 복잡도 간의 관계에 대해서 알아보도록 한다. 본 글은 고려대학교 강필성 교수님의 비즈니스 애널리틱스 강의 내용을 요약한 것이며, 해당 강의는 유튜브에서 무료로 시청이 가능하다(링크). 1. 그림으로 보는 편향과 분산 지난 번 편향-분산 분해 포스팅을 통해 우리는 위의 수식과 같이 오차 함수 MSE를 세 가지로 분해할 수 있음을 보였다. 가장 우측에 있는 sigma 제곱은 사람이 컨트롤 할 수 없는 자연발생적인 데이터의 변동성이므로 이를 제외한다고 하면, 오차를 줄일 수 있는 방법은 편향의 제곱(첫번째 텀) 또는 분산(두번째 텀)을 감소시키는 것 뿐이다. 우선, 편향과 분산이 각각 의미.. 2021. 6. 4. [머신러닝] 편향-분산 분해 (Bias-Variance Decomposition) 본 작성글은 고려대학교 강필성 교수님의 비즈니스 애널리틱스 강의 내용을 바탕으로 정리한 내용이다. 해당 강의는 유튜브에서 무료로 시청이 가능하다(링크). 앙상블 학습(Ensemble Learning)에 대해 순차적으로 다룰 예정이며, 이번 게시글에는 이론적 배경이 되는 편향-분산 분해에 대하여 먼저 알아보도록 한다. 1. Additive Error Model Additive Error Model이란 데이터에 대한 가정을 의미한다. 우리에게 주어진 현실 세계의 데이터에는 데이터를 생성하는 정답 매커니즘(f(x))이 있다하더라도, 노이즈(epsilon)가 반드시 포함되어 있다는 가정이다. 노이즈란, 사람이 컨트롤 할 수 없는 자연발생적인 변동성을 의미한다. 아래 수식은 Additive Error Model를.. 2021. 5. 29. [독후감] 인간실격 - 다자이 오사무 요조라는 인물에 대하여 요조는 표리부동하며 심기에 어긋나는 경우 돌변하는 인간의 본성을 두려워한다. 이를 숨기고자 억지로 익살꾼을 자처하며 거절을 못하고, 사람을 두려워하는 자신의 본 모습을 들킬까 조마조마해하는 인물이다. 부유한 집안에서 태어났으나 여러 일탈 행위를 거치며 본가로부터 버림받게 되는데, 이로 인해 언제나 생활고에 시달리게 된다. 경제적 어려움과 가족에게 버림받았다는 상처, 사람에 대한 두려움으로 여자와 술, 마약 등의 쾌락을 즐기고 자살을 회피의 수단으로 활용하는 모습을 보인다. 결국 주변 인물들에 의해 정신병원에 갇힌 후 본가로 돌아가 약에 의지한 모습으로 결말을 맞는다. 인간실격의 주인공 요조는 저자 다자이 오사무의 자전적 인물이라고 생각될 정도로 실제 그와 유사한 삶을 살았다. 다자.. 2021. 5. 24. [경제] EBS 다큐프라임: 자본주의 1부. 돈은 빚이다. EBS 다큐프라임의 편을 보고 정리해보았다. 다큐 영상 원본은 하단의 Reference에 추가해 두었으며 무료로 시청이 가능하다. 다큐멘터리에서는 아래와 같은 질문에 대한 답을 하고 있다. 각 질문에 대하여 상세하게 내용을 정리해보도록 하자. 1. 돈은 왜 빚인가? 2. 통화 시스템은 사회에 어떤 영향을 주는가? 1. 돈은 왜 빚인가? - 돈이 빚인 이유는 "대출"과 "이자" 때문이다 - 돈이 만들어지고 증가하는 과정을 들여다보면 우리는 돈이 왜 빚인지 알 수 있다. 돈은 우리의 통화 시스템 상에서 대출과 이자 때문에 계속해서 증가할 수 밖에 없다. 1) 대출 예시를 통해 돈이 생성되는 과정을 확인해보자. 조폐공사가 100원을 만든다. 그 100원을 내 통장에 예금으로 넣는다. 내 통장엔 100원이 찍혀.. 2021. 5. 12. [통계] 커널 밀도 추정 (Kernel Density Estimation) 1. Density Esitmation (밀도 추정) 이란? 확률 밀도 추정이란? 관측된 데이터로부터 변수가 가질 수 있는 모든 값의 확률(밀도)를 추정하는 것이다. 확률 밀도 추정 방법은 Parametric과 Non-parametric 두 가지 방법으로 구분할 수 있다. 1) Parametric 관측된 데이터를 바탕으로 관심 대상인 확률 변수가 특정 분포를 따른다는 가정 하에 확률 밀도를 추정하는 방법이다. 첫번째, 관심 대상인 확률 변수의 분포를 우리가 이미 알고 있는 분포 중에서 하나를 가정한다. 두번째, 관측된 데이터로부터 앞에서 정한 분포의 모수를 추정하는 것이다. 이렇듯 데이터로부터 모수를 구함으로써 분포를 추정한다고 하여 모수 추정법이라고 한다. 예를 들자면, 확률 변수가 정규분포를 따른다고.. 2021. 4. 27. 이전 1 ··· 3 4 5 6 다음
