[ML] Linear Regression, 선형회귀

💡 Linear Regression

Linear Regression, 선형회귀는 Supervised learning(지도학습) 방법 중 하나로 데이터를 가장 잘 대변하는 하나의 직선을 찾는 알고리즘이다.

임의의 data에 대한 선형 회귀 결과를 보자. 아래 그림에서 점들은 data, 파란 직선은 data들을 가장 잘 표현하는 직선이라고 할 수 있다.

이처럼 선형회귀는 $x$와 $y$의 관계를 보여주는 것으로 $x$는 독립 변수, $y$를 종속 변수라고 한다.

Hypothesis

선형회귀를 통해 직선을 유추해내기 위해 세우는 식을 Hypothesis, 가설이라고 한다.

가설은 $H(x) = W(x) + b$의 형태이며, 이때 $W$는 Weight(가중치), $b$는 bias(편향)이다.

Cost Function

선형회귀에서 모델과 실제 데이터 간의 차이를 측정하기 위해 Cost function(비용함수)를 사용한다. 비용함수는 최소제곱법을 사용하는데 다음과 같은 식을 사용한다.
$$cost(W,b) = \frac{1}{m}\Sigma^{m}_{i=1}(H(x_i)-y_i)^2$$
수식을 보면 비용함수는 error 제곱의 평균값임을 알 수 있다. 이 cost를 최소화하는 방향으로 Hypothesis를 조정하게 되고 training data를 fitting하는 이 과정이 learning인 것이다.

Gradient Descent

선형회귀에서의 경사 하강법은 쉽게 말해 cost function의 기울기 크기(절댓값)이 작아지는 방향으로 Hypothesis를 조정하는 것이다. 즉 cost가 작아지는 방향으로 $Weight$와 $bias$를 조정하는 것이다.

경사 하강법은 대상이 Convex Function인 경우 정확한 값을 도출해낼 수 있다. Convex function은 local minimum과 global minimum 같은 function이고 cost function의 경우 이차 곡면이기에 Convex function에 해당한다.

만약 Convex function에 해당하지 않을 경우 경사 하강법 특성상 임의의 위치에서 시작하기 때문에 local minimun을 반환하는 결과를 낳을 수 있다. 아래 그림처럼 local minimum이 global minimum과 일치하지 않을 수 있기 때문에 cost가 최소라는 보장이 없는 것이다.

$Weight$값을 조정하는 식은 다음과 같다.

$$W := W - \alpha\frac{1}{m}\Sigma^m_{i=1}(W(x_i)-y_i)^2$$

---

선형회귀는 독립 변수의 수에 따라 Simple Linear Regression(단순 선형회귀)과 Multi-variable Linear Regression(다중 선형회귀)으로 나뉜다.

Simple Linear Regression

단순 선형회귀는 독립 변수 $x$가 하나인 선형회귀로 앞서 설명한 Hypothesis와 Cost function을 갖는다.

Multi-variable Linear Regression

다중 선형회귀는 독립 변수가 여러개인 선형회귀로 Hypothesis 계산을 위해 Matrix를 사용한다.
$$H(X) = XW + b$$
이때 $XW$로 표현하는 이유는 독립 변수와 weight를 행렬곱으로 표현하기 위함이다. 예를 들어 아래와 같이 3개의 독립 변수를 가지고 그에 대한 데이터가 5개 주어진 경우 행렬곱으로 표현하면 쉽게 계산이 가능하게 된다.