[인공지능 기초] 경사하강법

 

경사하강법에 대해 알아보자.

---

 

1. 미분 (differentiation) 이란?

---

 

함수 f의 주어진 점 ( x, f(x) )에서의 접선의 기울기를 구한다.

즉, 변수의 움직임에 따른 함수값의 변화를 측정하기 위한 도구이다.

최적화에서 제일 많이 사용하며 sympy 라이브러리를 사용하여 표현할 수 있다.

  
  import sympy as sym
  from sympy.abc import x

  sym.diff(sym.poly(x**2 + 2*x +3), x)
  

 

 

2. 경사상승법(Gradient Ascent), 경사하강법(Gradient Desence)

---

• 미분값을 더하면 함수값이 증가하여 경사상승법이라고 한다. 
  • 경사상승법은 함수의 극대값의 위치를 구할때 사용한다.
• 반대로 미분값을 빼면 함수값이 감소하여 경사하강법이라 한다.
  • 경사하강법은 함수의 극소값의 위치를 구할때 사용한다. 
• 경사상승법, 경사하강법이 극값(0)에 도달하면 움직임을 멈춘다.
  • 극값은 0으로 미분을 더이상 할 수가 없어 종료된다.

 

 

3. 편미분 (Partial Differentiation)

---

 

변수가 벡터인 경우에는 편미분을 사용한다.

위 공식에서 ei는 주어진 X의 i번째 벡터에만 영향을 주며 값은 1이다. 나머지는 0인 단위벡터를 말한다.

  
  import sympy as sym
  from sympy.abc import x, y

  sym.diff(sym.poly(x**2 + 2*x*y +3) + sym.cos(x + 2*y), x)
  

 

 

4. 시각화

---

그레디언트 벡터 그림

위 그림을 통해 주어진 함수의 최소값을 가르키는 것을 볼 수 있으며

경사하강법 알고리즘을 사용하여 최적화를 할 수 있다.

경사하강법 알고리즘은 그대로 적용되나 벡터의 경우 절대값 대신 노름(norm)을 계산하여 종료 조건을 정한다.

 

 

 

출처 : 부스트코스 인공지능(AI) 기초 다지기

[AI Tech Pre-course] 인공지능(AI) 기초 다지기