Warm Developer

경사하강법에 대해 더 알아보자. 1. np.linalg.pinv Numpy에서 데이터를 선형 모델로 해석하는 선형회귀식을 찾을 수 있다. sklearn에서 Lienar Regression 를 통해서도 선형회귀를 접할 수 있다. 2. 경사하강법 알고리즘을 활용하여 선형회귀식 찾기 선형회귀 목적식을 구하기 위해서는 위의 목적식을 최소화하는 베타를 찾아야 한다. 위의 식을 통해 그레디언트 벡터를 구하고 주어진 베타에서 미분값을 빼면 된다. import numpy as np X = np.array([[1, 1], [1, 2], [2, 2], [2, 3]]) y = np.dot(X, np.array([1, 2])) + 3 beta_gd = [ 10.1, 15.1, -6.5] # [1, 2, 3] 이 정답 X_ =..

경사하강법에 대해 알아보자. 1. 미분 (differentiation) 이란? 함수 f의 주어진 점 ( x, f(x) )에서의 접선의 기울기를 구한다. 즉, 변수의 움직임에 따른 함수값의 변화를 측정하기 위한 도구이다. 최적화에서 제일 많이 사용하며 sympy 라이브러리를 사용하여 표현할 수 있다. import sympy as sym from sympy.abc import x sym.diff(sym.poly(x**2 + 2*x +3), x) 2. 경사상승법(Gradient Ascent), 경사하강법(Gradient Desence) 미분값을 더하면 함수값이 증가하여 경사상승법이라고 한다. 경사상승법은 함수의 극대값의 위치를 구할때 사용한다. 반대로 미분값을 빼면 함수값이 감소하여 경사하강법이라 한다. 경사..

행렬(Matrix)에 대해 알아보자. 1. 행렬이란? 벡터를 원소로 가지는 2차원 배열을 말하며 행(row)과 열(column)이라는 인덱스를 가진다. 또한 행렬은 여러 점들을 나타내며 벡터와 동일하게 같은 모양을 가지면 덧셈, 뺄셈, 성분곱이 가능하다. import numpy as np X = np.array([[1,2,3], [4,5,6], [7,8,9]]) print(X) print(X.shape) 2. 전치행렬(Transpose Matrix)이란? 행과 열의 인덱스가 바뀐 행렬을 말한다. 연산시 많이 사용된다. import numpy as np X = np.array([[1,2,3], [4,5,6], [7,8,9]]) print(X.T) 3. 행렬 곱셈 이란? i번째 행벡터와 j번째 열벡터 사이의..

Vector에 대해 알아보자. 1. Vector 란? 숫자를 원소로 가지는 리스트(list) 또는 배열(array) 을 말한다. import numpy as np x1 = [ 1,2,3 ] # 리스트 x2 = np.array([1,2,3]) # 배열 공간에서의 한 점을 말하며, 벡터는 원점으로부터 상대적 위치를 표현한다. 2. 스칼라곱 이란? 벡터에 숫자를 곱하면 길이가 변하게 되는데 이를 스칼라곱이라고 한다. 벡터 x에 a를 곱할 때, a > 1 a < 1 a < 0 길이 증가 길이 감소 반대 방향 전환 a가 1보다 크면 길이가 증가한다. a가 1보다 작으면 길이는 감소한다. a가 0보다 작으면 반대 방향으로 전환된다. 3. 벡터의 덧셈, 뺄셈, 성분곱(Hadamard Product) 벡터는 같은 모양..