[ML]회귀(Regression)

회귀(Regression)

우선 회귀란 무엇일까? 회귀는 네이버 사전을 인용하면 "한 바퀴를 돌아 제자리로 돌아오거나 돌아옴" 이라고 나와있다.

그렇다면, 통계학과 머신러닝에서 이는 무엇을 의미하는 것일까? 이 질문에 간단히 대답을 하자면, 회귀분석은 데이터 값이 평균과 같은 일정한 값으로 되돌아 가려고 하는 성질을 이용한 방법론이다. 이를 염두에 두고 이제 회귀분석에 대해 공부해보자. 

 

회귀분석

통계적으로 회귀는 다수의 독립변수와 한개의 종속변수 간의 상관관계를 바탕으로 모델링하는 분석기법을 뜻한다. 

용어를 정리하자면 독립변수는 결과값에 영향을 주는 변수이고, 종속변수는 독립변수에 영향을 받아 도출되는 결과값으로 이해하면 좋을것 같다. 

회귀분석은 변수 독입변수의 수에 따라 단순회귀와 다중회귀롤 나뉜다.

독립변수가 1개일때에는 단순회귀, 1개 이상일 때 다중회귀라고 한다. 

 

단순 회귀 모형 

위의 회귀식에서 Y(hat)은 종속변수를 의미하고 X는 독립변수를 희미하고 B1은 X에 영향을 주는 회귀계수이고 B0는 편향(bias)이다. 

 

다중 회귀 모형 

위의 회귀식은 독립변수가 1개 이상인 다중 회귀 모형의 식이면 단순 회귀 모형과 비슷하지만, 늘어난 독립변수의 수만큼 회귀계수가 존재한다. 

 

직관적으로 이해하자면 회귀 분석에서 도출되는 결정값인 종속변수 Y는 각각의 독립변수 이들의 회귀계수로 결정값을 어떻게 결정할 지를 찾아나가는 과정이라고 생각하면 좋을것 같다. 그래서 머신러닝 회귀 예측의 핵심은, 주어진 독립변수들과 결과값 데이터를 바탕으로 최적의 회귀 계수를 찾아내는 것이다.