고유값과 고유벡터

고유값과 고유벡터

고유값과 고유벡터의 정의

• 행렬 $A$를 선형변환으로 봤을 때, $A$에 의한 결과가 자기 자신의 상수배가 되는 0이 아닌 벡터를 고유벡터(eigenvector) 라 하고, 이 상수배 값을 고유값(eigenvalue) 이라고 한다.
• 고유값과 고유벡터는 정방행렬에 대해서만 정의되며, $n\times n$ 정방행렬 $A$에 대해 $A\mathbf{v}=\lambda \mathbf{v}$ 를 만족하는 0이 아닌 열벡터 $\mathbf{v}$를 고유벡터, 상수 $\lambda$를 고유값이라 정의한다.

$$\begin{array}{r}\\ A\mathbf{v}=\lambda \mathbf{v}\end{array}$$ $$\left[\begin{array}{ccc}{a}_{11}& \cdots & a_{1n}\\ ⋮& \ddots & ⋮\\ a_{n1}& \cdots & a_{nn}\end{array}\right]\left[\begin{array}{c}{v}_1\\ ⋮\\ v_n\end{array}\right]=\lambda \left[\begin{array}{c}{v}_1\\ ⋮\\ v_n\end{array}\right]$$

• $\lambda$ 는 행렬 $A$의 교유값, $\mathbf{v}$는 행렬 $A$의 $\lambda$에 대한 고유벡터 이다.
• 즉, 고유값과 고유벡터는 행렬에 따라 정의되는 값으로서 어떤 행렬은 이러한 고유값-고유벡터가 존재하지 않을수도 있고 어떤 행렬은 하나만 존재하거나 또는 최대 n개까지 존재할 수 있다.

선형변환의 의미

• 행렬 $A$를 이용해 벡터 $\mathbf{x}$를 선형변환 시켜주면, 변환 후의 벡터 $A\mathbf{x}$는 변환 전의 벡터 $\mathbf{x}$와 비교했을 때, 크기도 방향도 모두 변할 수 있다.
• 고유값과 고유벡터를 찾는 것은 아래와 같다고 할 수 있다.
  • (고유벡터) “벡터 $\mathbf{x}$에 선형변환 $A$를 연산했을 때, 그 크기만 변하고 원래 벡터와 평행한 벡터 $\mathbf{x}$는 무엇인지?”
  • (고유값) “그렇다면 그 크기는 얼마만큼 변했는지?”

---

고유값과 고유벡터 계산

예시-1

• 다음 행렬 $A$에 대해 고유값과 고유벡터를 구해보자.

$$A=\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]$$

• 고유값과 고유벡터의 정의에 따라, 고유값 $\lambda$와 고유벡터 $\mathbf{x}$는 다음 식을 만족한다.

$$A\mathbf{x}=\lambda \mathbf{x}$$

• 행렬의 성질에 의해 위 식을 $(A-\lambda I)\mathbf{x}=0$ 로 표현할 수 있고, $\mathbf{x}$가 0이 아닌 해 (nontrivial solution, 자명하지 않은 해)를 갖기 위해서는 다음을 만족해야한다.
• $\mathbf{x}$는 0이 아니므로, $(A-\lambda I)$의 역행렬이 존재하지 않는다. 행렬의 역행렬이 존재하지 않는다는 것은 그 행렬의 행렬식의 값이 0 임을 만족해야 한다.
  • 어떤 정방행렬 $A$에 대해, 만약 $A$의 역행렬 $A^{-1}$가 존재한다면, 동차 선형 시스템 $A\mathbf{x}=0$은 오직 하나의 유일한 해를 가지며 그 유일한 해는 항상 $\mathbf{x}=0$ 이다.

$$(A-\lambda I)\mathbf{x}=0$$ $$\det (A-\lambda I)=0$$

• 그러므로, 다음과 같이 전개할 수 있다.

$$\begin{array}{rl}\det (A-\lambda I)& =\det (\left[\begin{array}{cc}2-\lambda & 1\\ 1& 2-\lambda \end{array}\right])=0\\ & \\ & \Rightarrow (2-\lambda {)}^2-1\\ & \\ & =4-4\lambda +{\lambda }^2-1\\ & \\ & ={\lambda }^2-4\lambda +3=0\\ & \\ & =(\lambda -1)(\lambda -3)=0\\ & \\ \therefore & {\lambda }_1=1,{\lambda }_2=3\\ & \end{array}$$

• 선형변환 $A$의 고유값은 1과 3이고, 이것은 선형변환을 했을 때 그 크기는 변하고 방향이 변하지 않는 벡터가 있다고 할 때 그 벡터의 크기는 각각 1배와 3배가 된다는 의미가 된다.
• 다음과 같이 고유값을 이용해 고유벡터를 찾을 수 있다.

$${\lambda }_1=1\text{일 때}A\mathbf{x}={\lambda }_1\mathbf{x}\text{를 만족해야함}$$ $$\begin{array}{rl}& \left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=1\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\\ & \\ & \Rightarrow \{\begin{array}{ll}2x_1+x_2& =x_1\\ x_1+2x_2& =x_2\end{array}\\ & \\ & \Rightarrow \left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{c}-1\\ 1\end{array}\right]\end{array}$$

• 즉, ${\lambda }_1=1$ 인 경우의 고유벡터는 $\left[\begin{array}{c}-1\\ 1\end{array}\right]$이 된다.
• 마찬가지로, ${\lambda }_2=3$ 인 경우의 고유벡터는 $\left[\begin{array}{c}1\\ 1\end{array}\right]$이 된다.
• 고유벡터가 무수히 많을 수 있기 때문에, 특정 고유값에 해당하는 고유벡터를 크기 1로 정규화한 단위벡터로 표기할 수 있다. ($\frac{\mathbf{x}}{||\mathbf{x}||}$)
  • $\left[\begin{array}{c}-1\\ 1\end{array}\right]\approx \left[\begin{array}{c}-0.7071\\ 0.7071\end{array}\right]$,

예시-2

• 다음 행렬 $B$에 대해 고유값과 고유벡터를 구해보자.

$$B=\left[\begin{array}{ccc}2& 0& -2\\ 1& 1& -2\\ 0& 0& 1\end{array}\right]$$

• 다음과 같이 전개 할 수 있다.

$$\begin{array}{rl}\det (A-\lambda I)& =\det (\left[\begin{array}{ccc}2& 0& -2\\ 1& 1& -2\\ 0& 0& 1\end{array}\right]-\lambda \left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right])\\ & \\ & \Rightarrow \det (\left[\begin{array}{ccc}2-\lambda & 0& -2\\ 1& 1-\lambda & -2\\ 0& 0& 1-\lambda \end{array}\right])\\ & \\ & =(2-\lambda )((1-\lambda )(1-\lambda )-0)\\ & \\ & =(2-\lambda )(1-\lambda {)}^2=0\\ & \\ & \therefore \lambda =2,\lambda =1\end{array}$$

• 해는 $\lambda =1,2$ 가 되며, $\lambda =2$는 단일근임에 비해 $\lambda =1$은 이중근임을 알 수 있다.
• $\lambda$에 대응하는 고유벡터의 개수는 몇중근이냐와 밀접한 관계가 있는데, 단일근에 대해서는 1개, 이중근에 대해서는 최대 2개, 삼중근에 대해서는 최대 3개 … 와 같이 n중근일 때 최대 n개의 고유벡터가 존재한다.
• 먼저, ${\lambda }_1=2$의 고유벡터를 구하면 다음과 같다.

$${\lambda }_1=2\text{일 때}B\mathbf{x}={\lambda }_1\mathbf{x}\text{를 만족해야함}$$ $$\begin{array}{rl}& \left[\begin{array}{ccc}2& 0& -2\\ 1& 1& -2\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=2\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]\\ & \\ & \Rightarrow \{\begin{array}{ll}2x_1-2x_3& =2x_1\\ x_1+x_2-2x_3& =2x_2\\ x_3& =2x_3\end{array}\\ & \\ & =\{\begin{array}{ll}-2x_3& =0\\ x_1-x_2-2x_3& =0\\ -x_3& =0\end{array}\\ & \\ & \therefore x_1=x_2,x_3=0\\ & \end{array}$$

• 따라서, ${\lambda }_1=2$에 대응 하는 고유벡터는 $[1,1,0{]}^T$ 로 잡을 수 있다.
• 마찬가지로, ${\lambda }_2=1$에 대해서도 고유벡터를 구해보면 다음과 같다.

$$\begin{array}{rl}& =\{\begin{array}{ll}2x_1-2x_3& =x_1\\ x_1+x_2-2x_3& =x_2\\ x_3& =x_3\end{array}\\ & \\ & =\{\begin{array}{ll}{x}_1-2x_3& =0\\ x_1-2x_3& =0\end{array}\\ & \\ & \therefore x_1=2x_3\end{array}$$

• $x_1$이 $x_3$ 의 2배인 벡터들은 무수히 많은데, 이들은 $[2,0,1]$, $[0,1,0]$의 일차결합으로 표현할 수 있으므로 ${\lambda }_2=1$에 대응하는 고유벡터를 $[2,0,1]$, $[0,1,0]$ 로 나타낼 수 있다.
  • 일차 결합(Linear Combination)은 벡터들의 스칼라배와 합의 형태로 표현되는 것을 말한다.
  • 벡터 $v_1,v_2,\dots ,v_n$ 와 상수 $a_1,a_2,\dots ,a_n$ 대해서 다음과 같이 표현할 수 있다.
    • $a_1{v}_1+a_2{v}_2+\cdots +a_n{v}_n$
  • 위 고유벡터 식에 따라 $x_1=2x_3$ 을 아래와 같이 일차결합으로 증명할 수 있다. $\mathbf{x}=[2x_3,x_2,x_3{]}^T$
  • 위 벡터를 다음 일차결합 식으로 나타낼 수 있다. $\mathbf{x}=x_3[2,0,1{]}^T+x_2[0,1,0{]}^T$
  • 따라서, $x_1=2x_3$을 만족하는 벡터는 항상 $[2,0,1]$과 $[0,1,0]$의 선형결합으로 표현된다.

---

고유값 분해

• 고유값분해(EVD, eigen-vetor decomposition)는 정방행렬 $A$를 고유벡터 행렬과 고유값 행렬의 곱으로 분해하는 것이다.
• 행렬 $A$의 고유값들을 ${\lambda }_i$ , 고유벡터들을 $v_i$라고 할 때, 다음이 성립한다.

$$A{v}_i={\lambda }_i{v}_i\text{ for }i=1,2,\cdots ,n$$ $$\begin{array}{rl}A[v_1,v_2,\cdots ,v_n]& =[{\lambda }_1{v}_1,{\lambda }_2{v}_2,\cdots ,{\lambda }_n{v}_n]\\ & \\ A[v_1,v_2,\cdots ,v_n]& =[v_1,v_2,\cdots ,v_n]\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& 0& 0\\ & & \ddots & \\ 0& 0& \cdots & {\lambda }_n\end{array}\right]\end{array}$$

• 이 때, 대각성분을 고유값들로 모아둔 고유값 행렬을 $\Lambda$ 라고 하고, 고유벡터 행렬을 $V$ 라고 하면 다음과 같이 쓸 수 있다.

$$AV=V\Lambda$$

• 만약 모든 고유벡터들이 선형독립(일차독립) 이라면 위 식으로부터 아래와 같이 행렬 $A$를 쓸 수 있다.

$$A=V\Lambda V^{-1}$$

• 다음 행렬 $A$에 대한 고유값 분해의 예시는 다음과 같다.

$$A=\left[\begin{array}{cc}-5& 4\\ 0& 1\end{array}\right]$$ $$\det (A-\lambda I)=0$$ $$\det (\left[\begin{array}{cc}-5-\lambda & 4\\ 0& 1-\lambda \end{array}\right])=0$$ $${\lambda }^2+4\lambda -5=0$$ $$(\lambda +5)(\lambda -1)=0$$ $$\lambda =-5,1$$

• 고유값 $-5$에 대한 고유벡터는 다음과 같이 계산 할 수 있다.

$${\lambda }_1=-5,\left[\begin{array}{cc}-5& 4\\ 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=-5\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$$ $$\{\begin{array}{ll}-5x_1+4x_2& =-5x_1\\ x_2& =-5x_2\end{array}\Rightarrow v_1=\left[\begin{array}{c}1\\ 0\end{array}\right]$$

• 이때 $-5x_1=-5x_1$이므로 $x_1$은 자유변수이다. 자유변수는 고유벡터가 0이 아닐 때 어떤 값을 대입해도 방정식이 성립한다.
• 고유값 $1$에 대한 고유벡터는 다음과 같이 계산 할 수 있다.

$${\lambda }_2=1,\left[\begin{array}{cc}-5& 4\\ 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=1\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$$ $$\{\begin{array}{ll}-5x_1+4x_2& =x_1\\ x_2& =x_2\end{array}\Rightarrow v_2=\left[\begin{array}{c}\frac{2}{3}\\ 1\end{array}\right]$$

• $x_1$, $x_2$ 모두 자유 변수가 가능하며, $x_2$를 1로 두어 계산하였다.
• 고유값들을 모아 고유값 행렬 $\Lambda$ 를 정의하고, 고유벡터를 모아 행렬 $V$ 라고 하면 다음과 같이 쓸 수 있다.

$$A=V\Lambda V^{-1}$$ $$\begin{array}{rl}\left[\begin{array}{cc}-5& 4\\ 0& 1\end{array}\right]& =\left[\begin{array}{cc}1& \frac{2}{3}\\ 0& 1\end{array}\right]\left[\begin{array}{cc}-5& 0\\ 0& 1\end{array}\right]{\left[\begin{array}{cc}1& \frac{2}{3}\\ 0& 1\end{array}\right]}^{-1}\\ & \\ & =\left[\begin{array}{cc}1& \frac{2}{3}\\ 0& 1\end{array}\right]\left[\begin{array}{cc}-5& 0\\ 0& 1\end{array}\right]\left[\begin{array}{cc}1& -\frac{2}{3}\\ 0& 1\end{array}\right]\end{array}$$

고유값 분해 가능조건 - 일차독립

• 모든 정방행렬이 고유값 분해가 가능한 것은 아니며, $n\times n$ 정방행렬 $A$가 고유값 분해가 가능하려면 $n$개의 일차독립인 고유벡터를 가져야 한다.
  • 일차독립이란 어떤 벡터들의 집합 $\{v_1,\cdots ,v_2\}$이 있을 때, 이들 벡터들 중 어느 한 벡터도 다른 벡터들의 일차결합으로 표현될 수 없으면 이 벡터들은 서로 일차독립이라고 정의한다.
  • 즉, $a_1{v}_1+a_2{v}_2+\cdots +a_n{v}_n=0$ 에서 모든 계수 $a_i$가 0일 때만 성립하는 경우를 말한다.
  • 어떤 벡터도 다른 벡터들의 상수배 합으로 표현될 수 없으면 서로 일차독립이라고 한다.
• ${\mathbb{R}}^n$ 공간에서는 최대 $n$개의 일차독립인 벡터들을 가질 수 있으며 $n$개의 일차독립인 벡터들은 이 공간을 생성하는 basis(기저) 역할을 한다.
  • 만약 ${\mathbb{R}}^3$ 공간에서 $v_1=(1,0,0)$, $v_2=(0,1,0)$, $v_3=(0,0,1)$ 이라면 세 벡터 중 어떤 벡터도 다른 벡터들의 상수배 합으로 표현될 수 없으므로 서로 일차독립이 성립한다.
  • $v_1=(1,0,0)$, $v_2=(0,1,0)$, $v_3=(0,0,1)$, $v_4=(-1,3,4)$ 라면 $\{v1,v2,v3\}$은 일차독립 이지만 $\{v1,v2,v3,v4\}$는 일차독립이 아니다. ($v_4=-v_1+3v_2+4v_3$)
  • 즉, 3차원 공간에서 가능한 일차독립인 벡터들의 개수는 최대 3개 이다.

고유값 분해의 기하학적 의미

• 고유값 분해(Eigen-decomposition)의 기하학적 의미는 복잡한 선형 변환 $A$를 가장 단순한 형태의 변환(축 방향 스케일링) 으로 분해하여 이해하는 것이다.
• 즉, 선형 변환 $A\mathbf{x}=V\Lambda V^{-1}\mathbf{x}$ 에서, $V^{-1}$, $\Lambda$, $V$ 각각의 선형 변환을 차례대로 적용하여 원래의 선형 변환 $A$과 같은 효과를 적용할 수 있다.
• 이때, 고유 벡터 행렬 $V$의 선형 변환은 회전과 유사한 역할을 할 수 있고, 교유값을 대각성분에 구성한 $\Lambda$는 대각 성분만 존재하기 때문에 위 아래 혹은 양 옆으로 늘어나거나 줄어드는 변환임을 알 수 있다.

대칭행렬의 고유값 분해

• 대칭행렬의 고유값 분해는 일반 정방행렬의 교유값 분해와 다르게, 교유벡터가 서로 직교하는 성질을 가진다.
• 대칭 행렬은 아래와 같은 성질을 만족하는 행렬이다.

$$A=A^T$$

• 만약 행렬 $A$가 교유값 분해할 수 있다면 아래의 내용이 성립한다.

$$A=V\Lambda V^{-1}=A^T$$ $$A^T=(V\Lambda V^{-1}{)}^T$$

• 여기서 행렬 곱의 전치(transpose) 성질 $(XYZ{)}^T=Z^T{Y}^T{X}^T$를 적용하면 다음과 같다.

$$A^T=(V\Lambda V^{-1}{)}^T=(V^{-1}{)}^T{\Lambda }^T{V}^T$$

• 여기서, $\Lambda$는 대각행렬이므로 ${\Lambda }^T=\Lambda$이고, 역행렬의 전치를 전치의 역행렬과 같으므로 $(V^{-1}{)}^T=(V^T{)}^{-1}$을 적용할 수 있다.

$$A^T=(V^T{)}^{-1}\Lambda V^T$$ $$V\Lambda V^{-1}=(V^T{)}^{-1}\Lambda V^T$$

• 이 식을 통해 $V^T=V^{-1}$ 이 성립함을 알 수 있다.

$$V=(V^T{)}^{-1},V^{-1}=V^T$$ $$V^{T}V=I$$

• 즉, 대칭 행렬 $A$의 교유벡터를 모아둔 행렬 $V$는 역행렬이 전치행렬과 같으므로 직교행렬(Orthogonal Matrix) 이다.
• 따라서, 대칭행렬은 아래와 같이 교유값 분해할 수 있고, 직교행렬을 $Q$라고도 표현한다.

$$A=V\Lambda V^T$$ $$A=Q\Lambda Q^T$$

• 직교행렬은 길이(크기)와 각도를 보존하는 변환이며, 직교 행렬 $Q$를 어떤 벡터 $\mathbf{x}$에 곱하여 선형 변환 $Q\mathbf{x}$를 수행하면 변환된 벡터의 길이는 원래 벡터 $\mathbf{x}$의 길이와 같다.
• 직교 행렬은 주로 회전이나 반사와 같은 변환을 나타내며, 행렬식 $\det (x)=\pm 1$ 이고 $1$ 이면 순수 회전 변환, $-1$이면 반사 변환을 포함한다.

---

참고

• 다크 프로그래머 :: [선형대수학 #3] 고유값과 고유벡터 (eigenvalue & eigenvector)
• 고윳값과 고유벡터 - 공돌이의 수학정리노트 (Angelo’s Math Notes)
• 머신러닝 - 19. 고유값(eigenvalue), 고유벡터(eigenvector), 고유값 분해(eigen decomposition)
• 고유값과 고유벡터 - gaussian37
• 고윳값 분해(eigen-value decomposition) - 공돌이의 수학정리노트 (Angelo’s Math Notes)