Stargazer

정규 방정식 구현시에 inv가 아니라 pinv를 사용하면, $X^{T}X$ 가 역행렬이 없어도, $\theta$ 를 얻을 수 있다. 만약 $X^{T}X$ 가 역행렬이 없다면, 흔한 이유 2가지가 있다. 1. 중복(종속)된 특성(Feature)이 있을 때: 두 특성이 매우 연관이 있을 때(선형적으로 종속) -> 종속 특성 삭제로 해결 2. 특성이 너무 많을 때(훈련셋에 비해 특성이 많을때) : 특성 몇개를 삭제하거나 정규화를 진행하여 해결

최소제곱법이 뭔지는 알겠는데, 당최 머신러닝에서 쓰는 최소제곱법의 유도식이 이해되질 않아서 정리를 한번 해보겠다. 최소 제곱법은 오차의 제곱합이 최소가 되도록하는 추정값을 산출할 때 사용한다 쉽게 말하면, 오차를 가장 적게하는 근사치를 구하는 것이다. 대부분의 데이터들은 완벽한 그래프를 그리는게 아니라, 오차가 존재하여 불완전한 그래프를 그린다. 그래서 이 점들을 가장 오차없이 그리는 간단한 그래프를 구하기 위해 근사치를 구하는 것이 목적이다. 최소 제곱법으로 부터 근사치 유도 최소제곱법, 말그대로 오차의 제곱을 해서 다 더하여서 확인한다. 이 방식이 간단해서, 선형회귀에서 기본적으로 접근할때 사용되는 방식이다. 오차를 e라고 하면, 오차 : $e_i = y_i - \hat{f}(x_i)$ 이기 때문에 ..

글 시작전에 한탄하자면 사지방 컴퓨터로 작업하다가 2시간 분량 작업중 얼마 웹페이지 열지도 않았는데 컴퓨터가 멈추는 상황이 발생하여 데이터가 모두 날아간 상태이다. 그래서 글이 좀 많이 짧게 쓰도록 하겠다(원래는 좀 길었다는 거...) 이처럼 사지방의 컴퓨터가 바뀌어도 좋지 않다라는 것을 대강 알 수 있다 최근 사지방 컴퓨터 교체사업으로 윈도우 컴퓨터 절반이 리눅스인 하모니카 OS로 교체되었다 하지만 리눅스 컴퓨터는 exe 파일을 실행할 수 없기에, 70프로 정도의 인강사이트의 플레이어를 실행할 수 없었고, 또한 터미널과 패키지 설치 권한 모두 막아놓았기 때문에 자유도 또한 아예 박멸 시킨 수준이다 개방형 OS가 폐쇄형 OS가 되는 순간이다(거의 애플 수준..) 그러나 사지방에 사용률 꽤 괜찮았는데 그 ..