[기초 수학] 3-4 Gradient Descent(경사하강법)

1. 미분

함수를 작게 나누는 것. 함수를 대체 어떻게 나눈다는 말인가? x의 값을 아주아주아주 미세하게 변화시켰을 때, f(x) 값이 어떻게 변하는지 본다는 것이다. 사실상 x의 변화값이 너무너무너무너무 작기 때문에 '점의 기울기'라고 볼 수도 있다. 아래는 미분의 큰 원칙 네가지.

2. 경사하강법

예측값과 실제값 사이의 차이를 나타내는 오차함수를 그래프로 그려본다면, 이 차이가 가장 적은 지점을 찾아 해당하는 독립변수를 찾고싶을 것이다. 그래서 그 지점을 찾기위해 미분을 이용한다. 이후 교육과정에서 자세히 다뤄질 예정이니, 어떤 것인지만 알고 넘어가도록 한다.