[ML] Logistic Rrgression, 로지스틱 회귀

💡 Logistic Regression

로지스틱 회귀는 일반적인 회귀 분석의 목표와 동일하게 종속 변수와 독립 변수간의 관계를 구체적인 함수로 나타낸다. 독립 변수의 선형 결합으로 종속 변수를 설명한다는 관점에서 선형 회귀 분석과 유사하나 선형 회귀 분석과 달리 종속 변수가 범주형 데이터이고 입력 데이터가 주어졌을 때 해당 데이터의 결과가 특정 분류로 나뉘기 때문에 일종의 분류(classification) 기법으로도 볼 수도 있다.

Sigmoid Function

그림을 보면 선형회귀 방식으로는 데이터에 따른 결과를 정확히 예측하기 힘들다. 따라서 Sigmoid function을 이용해 hypothesis를 수정해준다. sigmoid function은 쉽게 말해 hypothesis의 범위를 0과 1 사이로 압축해준다. 함수는 다음과 같다.
$$g(z) = \cfrac{e^z}{e^z+1} = \cfrac{1}{1+e^{-z}}$$
이때 $z = WX$ 즉, hypothesis를 의미한다.

Hypothesis

sigmoid function을 이용한 hypothesis는 다음과 같다.
$$H(X)=\cfrac{1}{1+e^{-W^TX}}$$

Cost Function

이제 Cost function을 구하면 $cost(W) = \frac{1}{m}\Sigma(H(X)-y)^2$이 되고, 함수를 그리면 아래와 같다.

그래프의 개형을 보면 convex function이 아니라는 것을 알 수 있다. 이 cost function을 이용했을 때 local minimum과 global minimum이 같지 않아 잘못된 값을 추정할 수 있으므로 다른 cost function을 사용해야할 것이다. 결과적으로 아래와 같은 수식으로 표현된다.
$$cost(W)=\cfrac{1}{m}\Sigma c(H(x),y)$$
이때 c 함수는 아래와 같다.
$$c(H(x), y)= -log(H(x)) : y=1$$
$$c(H(x), y)= -log(1-H(x)):y=0$$
함수를 그리면 아래 그림과 같게 되는데 그래프를 보면 convex function임을 알 수 있다.

함수를 간소화 하면 $c(H(x), y) = - ylog(H(x)) - (1-y)log(1-H(x))$이 되고 이 함수는 convex function이므로 cost function에 적용하면
$$cost(W) = -\cfrac{1}{m}\Sigma \big{ ylog(H(x)) - (1-y)log(1-H(x))\big}$$
위와 같은 식으로 표현된다.

이제 cost function을 통해 minimized W를 구할 수 있게 된다. cost function과 편미분을 통해 W를 조정할 수 있는데 식은 다음과 같다.
$$W:=W-\alpha\cfrac{\partial}{\partial x}cost(W)$$

텐서플로우 등에서 minimize하는 메소드를 제공하므로 직접 계산할 필요는 없다.