Stargazer

정규 방정식 구현시에 inv가 아니라 pinv를 사용하면, $X^{T}X$ 가 역행렬이 없어도, $\theta$ 를 얻을 수 있다. 만약 $X^{T}X$ 가 역행렬이 없다면, 흔한 이유 2가지가 있다. 1. 중복(종속)된 특성(Feature)이 있을 때: 두 특성이 매우 연관이 있을 때(선형적으로 종속) -> 종속 특성 삭제로 해결 2. 특성이 너무 많을 때(훈련셋에 비해 특성이 많을때) : 특성 몇개를 삭제하거나 정규화를 진행하여 해결

최적화라 함은 최대값 또는 최소값을 구하는 것을 말한다. 즉, 극값을 구해야하므로 미분을 수행해야한다. 그런데 어떻게 해야하나? $\min f(x)$ -> 목적함수(objective function) subject to $\left \{ \begin{matrix} g_i(x) \le 0, & i=1, ... ,m \\ h_i(x) = 0, & i=1, ... , p \end{matrix} \right.$ -> 제약식 라그랑주 승수법: 제약식이 있는 최적화 문제를 푸는 방법 다변수 함수 2개 이상에서 서로 맞닿는 부분(접점)을 구하기 위한 방법인데, 이를 제약식과 목적함수에 대입하여, 극값을 구하기 위해 사용한다. 라그랑주 프리멀 함수: $L_p(x,\lambda ,v) = f(x) + \sum_{i=1}..

최소제곱법이 뭔지는 알겠는데, 당최 머신러닝에서 쓰는 최소제곱법의 유도식이 이해되질 않아서 정리를 한번 해보겠다. 최소 제곱법은 오차의 제곱합이 최소가 되도록하는 추정값을 산출할 때 사용한다 쉽게 말하면, 오차를 가장 적게하는 근사치를 구하는 것이다. 대부분의 데이터들은 완벽한 그래프를 그리는게 아니라, 오차가 존재하여 불완전한 그래프를 그린다. 그래서 이 점들을 가장 오차없이 그리는 간단한 그래프를 구하기 위해 근사치를 구하는 것이 목적이다. 최소 제곱법으로 부터 근사치 유도 최소제곱법, 말그대로 오차의 제곱을 해서 다 더하여서 확인한다. 이 방식이 간단해서, 선형회귀에서 기본적으로 접근할때 사용되는 방식이다. 오차를 e라고 하면, 오차 : $e_i = y_i - \hat{f}(x_i)$ 이기 때문에 ..