[머신러닝] Normal Equation Noninvertibility(정규 방정식 비가역성)

정규 방정식 구현시에 inv가 아니라 pinv를 사용하면, $X^{T}X$ 가 역행렬이 없어도, $\theta$ 를 얻을 수 있다.

 

만약 $X^{T}X$ 가 역행렬이 없다면, 흔한 이유 2가지가 있다.

 

1. 중복(종속)된 특성(Feature)이 있을 때: 두 특성이 매우 연관이 있을 때(선형적으로 종속) -> 종속 특성 삭제로 해결

2. 특성이 너무 많을 때(훈련셋에 비해 특성이 많을때) :  특성 몇개를 삭제하거나 정규화를 진행하여 해결