12. 특이값 분해 (SVD)

특이값 분해(SVD)

특이값 분해의 정의

• 특이값 분해(Singular Value Decomposition, SVD)는 임의의 $m\times n$차원의 행렬 $A$에 대하여 다음과 같이 행렬을 분해할 수 있는 행렬 분해 방법 중 하나이다.

$$A=U\Sigma V^T$$

• 여기서 각 행렬은 다음과 같은 성질을 가진다.
  • $U$: $m\times m$ 직교행렬($U^{T}U=U{U}^T=I$)로, 열벡터들을 좌특이벡터(left singular vector) 라고 한다. $U$의 열벡터들은 $A{A}^T$의 고유벡터이다.
  • $V$: $n\times n$ 직교행렬($V^{T}V=V{V}^T=I$)로, 열벡터들을 우특이벡터(right singular vector) 라고 한다. $V$의 열벡터들은 $A^{T}A$의 고유벡터이다.
  • $\Sigma$: $m\times n$ 직사각 대각행렬로, 대각 성분 ${\sigma }_i$가 $A$의 특이값(singular value) 이다. 특이값은 항상 0 이상이며 보통 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$ 순으로 내림차순 정렬한다.
• 특이값 ${\sigma }_i$는 $A^{T}A$ (또는 $A{A}^T$)의 0이 아닌 고유값 ${\lambda }_i$에 대하여 ${\sigma }_i=\sqrt{{\lambda }_i}$ 이다. 0이 아닌 특이값의 개수 $r$은 행렬 $A$의 랭크(rank) 와 같다.
• 고유값 분해와 달리 특이값 분해는 정방행렬이 아니거나 대각화가 불가능한 행렬을 포함하여 모든 행렬에 대해 항상 존재한다.
• 기하학적으로 $A$가 벡터에 작용하는 선형변환은 회전(또는 반사) $V^T$ → 축 방향 스케일링 $\Sigma$ → 회전(또는 반사) $U$ 의 세 단계로 분해된다.
• 외적의 합으로 나타내면 다음과 같이 쓸 수 있고, 큰 특이값에 해당하는 항만 남기면 $A$의 저랭크 근사가 된다.

$$A=\sum _{i=1}^r{\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^T$$

---

참고

• 특이값 분해(SVD) - gaussian37
• 다크 프로그래머 :: [선형대수학 #4] 특이값 분해(Singular Value Decomposition, SVD)의 활용
• 머신러닝 - 20. 특이값 분해(SVD)