Hypothesis : $H(x) = Wx$
⇒ b는 나중에 W가 매트릭스가 되면서 이 안으로 들어가게 됨.
Cost : $cost(W)=\frac { 1 }{ m } \sum _{i=1}^{m}{ { (Wx_i}-y_i{ } })^{ 2 }$
W = 0, cost(W) = 4.67
$cost(W)=\frac { 1 }{ 3 } ( (0 * 1 - 1)^2 + (0 * 2 - 2)^2 + (0 * 3 - 3)^2)$
W = 1, cost(W) = 0
$cost(W)=\frac { 1 }{ 3 } ( (1 * 1 - 1)^2 + (1 * 2 - 2)^2 + (1 * 3 - 3)^2)$
이를 좌표로 나타내보면 아래와 같음.
좀 더 조밀한 간격으로 그려보면 이와 같음
결국 목표는 이 Cost가 최저점이 되는 W를 찾아가는 것
경사 하강 알고리즘 : 경사를 따라 내려가면서 최저점을 찾도록 설계된 알고리즘
Cost를 최소화하는 방법으로 경사 하강 알고리즘을 씀
과정
최초 값 $W$를 정함
$cost(W)$가 줄어들 수 있는 방향으로 조금씩 줄어들도록 $W$를 바꿈
$W$를 업데이트할 때 기울기 값을 구해서 $cost(W)$가 최소화되는 방향으로 업데이트
최소점에 도달했다고 판단될 때까지 반복
$W$값을 아무 곳에서나 시작을 해도 동일한 결과값을 나타냄
즉, $W$에서의 미분 값
$cost(W)=\frac { 1 }{ 2m } \sum _{i=1}^{m}{ { (W{ x }^{ i }-y^{ i } })^{ 2 } }$