4.3 Matrix and subspace
이번 포스트에서는 Matrix를 이용하여 정의하는 null space, column space, row space에 대해서 알아보겠습니다.
1) Null Space
Definition : Null Space
The null space of an $m \times n $ matrix $A$, written as $NulA$, is the set of all solutions of the homogeneous equation $A\boldsymbol{x}=0$
\[NulA = \{\boldsymbol{x} \mid A\boldsymbol{x} = 0, \boldsymbol{x} \in \mathbb R^n\}\]matrix $A$의 null space는 $A\boldsymbol{x}=0$을 만족하는 $\boldsymbol{x}$ 를 모은 집합니다.
matrix $A$를 standard matrix로 가지는 matrix transformation $T_A$를 생각해보면
\[NulA = \{\boldsymbol{x} \mid A\boldsymbol{x} = 0, \boldsymbol{x} \in \mathbb R^n\} = \{\boldsymbol{x} \mid T_A(\boldsymbol{x}) = 0, \boldsymbol{x} \in \mathbb R^n\} = Ker(T_A)\]$A$의 null space는 다름 아닌 $T_A$의 kernel임을 알 수 있습니다.
Theorem
The null space of an $m \times n$ matrix $A$ is a subspace of $\mathbb R^n$
Linear transformation의 kernel은 subspace가 되는 것을 통해 쉽게 알 수 있습니다.
example
\[A = \begin{bmatrix}1 & -1 \\ 2 & 5 \\ 3 & 4 \end{bmatrix}\]의 null space는
\[NulA = \{\boldsymbol{x} \mid A\boldsymbol{x}=0\}\]가 되어 $A\boldsymbol{x}=0$의 augmented matrix를 이용하여 equation을 풀면
\[\begin{bmatrix}1 & -1 & 0\\ 2 & 5 & 0 \\ 3 & 4 & 0 \end{bmatrix} \sim \begin{bmatrix}1 & 0 & 0\\ 0 & 1 & 0 \\ 0 & 0 & 0 \end{bmatrix}\]가 되어
\[NulA =\{\begin{bmatrix} 0\\ 0 \end{bmatrix}\}\]이 됩니다.
2) Column Space
Definition : Column Space
The column space of an $m \times n $ matrix $A$, written as $ColA$, is the set of all linear combinations of the columns of $A$. If $A=\begin{bmatrix}\boldsymbol{a}_1 & \boldsymbol{a}_2 & … & \boldsymbol{a}_n \end{bmatrix}$,
\[ColA = Span \{\boldsymbol{a}_1, \boldsymbol{a}_2, ..., \boldsymbol{a}_n\}\]Matrix $A$의 column space는 $A$의 columns의 linear combination을 모은 집합입니다.
vector들에 의해 span된 subset은 subspace가 되므로, column space 역시 subspace가 됩니다.
Theorem
The column space of an $m \times n$ matrix $A$ is a subspace of $\mathbb R^m$
Matrix $A$의 column space에 속한 vector들은 $A$의 column의 linear combination으로 이루어져 있습니다. 따라서
\[ColA = \{\boldsymbol{b} \mid \boldsymbol{b} = A\boldsymbol{x} \ \ for \ \ some \ \ \boldsymbol x \in \mathbb R^n\}\]으로도 해석할 수 있습니다.
example
\[A = \begin{bmatrix}1 & -1 \\ 2 & 5 \\ 3 & 4 \end{bmatrix}\]다음 matrix의 column space는
\[ColA = Span\{\begin{bmatrix}1 \\ 2 \\ 3 \end{bmatrix}, \begin{bmatrix}-1 \\ 5 \\ 4 \end{bmatrix}\}\]이 됩니다.
3) The constrast between NulA and ColA
다음 matrix를 통해서 Null space와 Column space가 가지는 특징을 비교해보겠습니다.
example
\(A=\begin{bmatrix}2 & 4& -2 & 1 \\ -2 & -5 & 7 & 3 \\ 3 & 7 & -8 & 6 \end{bmatrix}, \ \ \boldsymbol{u}=\begin{bmatrix}3 \\ -2 \\ -1 \\0 \end{bmatrix}, \ \ \boldsymbol{v} =\begin{bmatrix}3 \\ -1 \\3 \end{bmatrix}\)
- $NulA$?
Matrix $A$의 null space를 구하기 위해서는
\[A\boldsymbol{x }=0\]을 풀어야 합니다. 이를 풀면
\[\begin{bmatrix} 2 & 4& -2 & 1 & 0 \\-2 & -5 & 7 & 3 & 0 \\3 & 7 & -8 & 6 & 0 \end{bmatrix} \sim \begin{bmatrix} 1 & 0& 9 & 0 & 0 \\0 & 1 & -5 & 0 & 0 \\0 & 0 & 0 & 1 & 0 \end{bmatrix}\]가 되어
\[\boldsymbol{x} = x_3\begin{bmatrix}-9\\5\\1\\0 \end{bmatrix}, \ \ x_3 : free\]따라서
\[NulA = Span\{\begin{bmatrix}-9\\5\\1\\0 \end{bmatrix}\}\]이 됩니다.
- $ColA$?
$A$의 column space는 column의 linear combination을 모두 모은 집합입니다. 따라서
\(ColA = span\{\begin{bmatrix}2 \\ -2 \\ 3 \end{bmatrix}, \begin{bmatrix}4 \\ -5 \\ 7 \end{bmatrix}, \begin{bmatrix}-2 \\ 7 \\ -8 \end{bmatrix}, \begin{bmatrix}1 \\ 3 \\ 6 \end{bmatrix}\}\) 이 됩니다.
- $\boldsymbol{u} \in NulA$?
$\boldsymbol{u}$가 $NulA$에 속한다는 것은 $A\boldsymbol{u}=0$을 만족한다는 뜻입니다. 따라서
\[A\boldsymbol{u} = \begin{bmatrix}6-8+2 \\-6+10-7+3 \\ 9-14+8 \end{bmatrix} = \begin{bmatrix}0 \\ 0\\3 \end{bmatrix} \neq 0\]따라서 $\boldsymbol{u} \notin NulA$입니다.
- $\boldsymbol{v} \in ColA$?
$\boldsymbol{v}$가 $ColA$에 속한다는 것은 $\boldsymbol{v}$가 $A$의 column의 linear combination으로 표현된다는 것을 뜻합니다. 따라서
\[A\boldsymbol{x}=\boldsymbol{v}\]방정식이 consistent한지 확인을 해야 합니다. 다음 linear system의 augmented matrix를 이용하면
\[\begin{bmatrix} 2 & 4& -2 & 1 & 3 \\-2 & -5 & 7 & 3 & -1 \\3 & 7 & -8 & 6 & 3 \end{bmatrix} \sim \begin{bmatrix} 2 & 4& -2 & 1 & 3 \\0 & -1 & 5 & 4 & 2 \\0 & 0 & 0 &\frac{31}{2} & \frac{1}{2} \end{bmatrix}\]echelon form의 모든 row에 leading entry가 있기 때문에, 다음 system의 solution이 존재합니다. 따라서 위 linear system은consistent하고 $\boldsymbol{v} \in ColA$입니다.
Matrix $A$를 통해 null space와 column space를 구해보고, 특정 벡터가 column space, null space에 속하는지 확인도 해보았습니다.
$m \times n$ matrix $A$에 대해 Null space는 다음의 특징을 가집니다.
-
$NulA$ is subspace of $\mathbb R^n$
-
$NulA$ is implicitly defined
$NulA$를 구하려면 $A\boldsymbol{x}=0$을 풀어야 합니다. 따라서 linear system을 풀어야 하기 때문에 시간이 걸립니다.
-
No obvious relation between $NulA$ and the entries in $A$
$A$의 entry를 이용하여 $NulA$를 바로 확인할 수 없습니다.
-
A typical vector $\boldsymbol{v}$ in $NulA$ has the property that $A\boldsymbol{v}=0$
-
It is easy to tell if $\boldsymbol{v}$ is in $NulA$
$A\boldsymbol{v}$를 계산해서, $0$이 나오면 $NulA$에 속하고, $0$이 나오지 않으면 $NulA$에 속하지 않습니다.
-
$NulA={0}$ if and only if $A\boldsymbol{x}=0$ has only the trivial solution
-
$NulA={0}$ if and only if the linear transformation $\boldsymbol{x} \rightarrow A\boldsymbol x$ is one to one
6과 7은 null space의 정의와 linear transformation이 one to one일 때 가지는 성질을 이용하여 쉽게 확인할 수 있습니다.
한편, $m \times n$ matrix $A$의 Column space는 다음의 특징을 가집니다.
-
$ColA$ is subspace of $\mathbb R^m$
-
$ColA$ is explicitly defined
$ColA$는 $A$의 column의 linear combination을 모두 모은 집합입니다. 따라서 $A$를 통해 $ColA$를 바로 구할 수 있습니다.
-
Obvious relation between $ColA$ and the entries of $A$
따라서, $A$의 entry와 $ColA$는 명확한 관계를 가집니다.
-
A typical vector $\boldsymbol{u}$ in $ColA$ has the property that the equation $A\boldsymbol{x} = \boldsymbol{u}$ is consistent
-
It takes times to tell if $\boldsymbol u$ is in $ColA$
$A\boldsymbol{x} = \boldsymbol{u}$ 가 consistent한지 확인을 해야 하기 때문에, linear system을 풀어야 합니다.
-
$ColA =\mathbb R^m$ if and only if the equation $A\boldsymbol{x} =\boldsymbol{b}$ has a solution for every $\boldsymbol{b} \in \mathbb R^m$
-
$ColA =\mathbb R^m$ if and only if the linear transformation $\boldsymbol x \rightarrow A\boldsymbol{x}$ is onto
6과 7은 column space의 정의와 linear transformation이 onto일 때 가지는 성질을 이용하여 쉽게 확인할 수 있습니다.
4) Row Space
**Definition : Row Space **
The row space of an $m \times n$ matrix $A$, written as $RowA$, is the set of all linear combinations of the rows of $A$
Matrix $A$의 row들의 linear combination을 모두 모은 집합이 $RowA$입니다.
각각의 row는 $n$개의 entry를 가지기 때문에, $RowA \subset \mathbb R^n$입니다.
또한, matrix $A$의 row는 matrix $A^T$의 column과 같기 때문에
\[RowA=ColA^T\]이 성립합니다.
Row space는 다음의 성질을 가집니다.
Theorem
If two matrices $A$ and $B$ are row equivalent, then their row spaces are the same.
Row eqivalent하다면, row operation을 통하여 다른 matrix를 만들 수 있다는 뜻입니다. row operation은 linear combination를 모두 모은 집합에는 영향을 끼치지 않기 때문에, 두 matrix의 row space는 동일합니다.
example
\[A = \begin{bmatrix}-2 & -5 & 8 & 0 & -17 \\ 1 & 3 & -5 & 1 & 5 \\ 3 & 11 & -19 & 7 & 1 \\ 1 & 7 & -13 & 5 & -3 \end{bmatrix}\]다음 matrix의 row space는
\(RowA = Span\{\boldsymbol{a_1}, \boldsymbol{a_2}, \boldsymbol{a_3}, \boldsymbol{a_4}\} \\ where \ \ \ \boldsymbol{a_1}=\begin{bmatrix}-2 \\ -5 \\8 \\0 \\ -17\end{bmatrix}, \ \ \boldsymbol{a_1}=\begin{bmatrix}1 \\ 3 \\ -5 \\ 1 \\ 5\end{bmatrix}, \ \ \boldsymbol{a_1}=\begin{bmatrix}3 \\ 11 \\ -19 \\ 7 \\ 1\end{bmatrix}, \ \ \boldsymbol{a_1}=\begin{bmatrix}1 \\ 7 \\ -13 \\ 5 \\ -3\end{bmatrix}\) 이 됩니다.
지금까지 matrix를 통해 정의하는 vector space인 null space, column space, row space에 대해 알아보았습니다. 다음 포스트에서는 basis에 대해 알아보도록 하겠습니다. 질문이나 오류 있으면 댓글 남겨주세요! 감사합니다!
Appendix : Proof of Theorem
Theorem
If two matrices $A$ and $B$ are row equivalent, then their row spaces are the same.
- Proof
$m \times n $ matrix $A$를 다음과 같이 표현을 하면
\[A = \begin{bmatrix}-\boldsymbol a_{1}- \\ \vdots \\ -\boldsymbol a_{m}-\end{bmatrix}\]$\boldsymbol{a}_1, \boldsymbol{a}_2, …, \boldsymbol{a}_m$은 $\mathbb R^n$에 속하는 벡터입니다.
$A$와 $B$가 row equivalent하다는 것은 row operation을 통해서 $A$에서 $B$, $B$에서 $A$를 만들 수 있다는 뜻입니다. row operation인 replacement, interchange, scaling은 row space의 변화에 영향을 끼치지 않는 것을 통해 두 matrix의 row space가 같은 것을 확인할 수 있습니다.
- Replacement
- Interchange
- Scaling
Row operation을 하더라도 row space가 변화하지 않으므로, Row equivalent한 두 matrix의 row space는 동일합니다.
댓글남기기