Linear Transformation

线性变换与矩阵

线性变换可以看作向量空间的映射. 记所有表示 $U \rightarrow V$ 的线性变换的集合为 $L(U, V)$. 则 $T \in L(U, V)$ 表示 $T$ 为 $U \rightarrow V$ 的一个映射.
特别的, 如果 $U = V$, $L(U, V)$ 可以简单记为 $L(U)$.

我们知道, $U, V$ 都是由各自的基张成的, 因此只需要研究 $U$ 的基 $(\alpha_1, \alpha_2, \cdots, \alpha_n)$ 与 $V$ 的基 $(\beta_1, \beta_2, \cdots, \beta_m)$ 在线性变化 $T$ 作用下的对应关系. 就能得到线性空间 $U, V$ 在 $T$ 作用下的对应关系.

如下,

$$\left \{ \begin{align*} T(\alpha_1) &= a_{11} \beta_1 + a_{12} \beta_1 + \cdots + a_{1m} \beta_m \\ T(\alpha_2) &= a_{21} \beta_1 + a_{22} \beta_1 + \cdots + a_{2m} \beta_m \\ . \\ . \\ . \\ T(\alpha_n) &= a_{n1} \beta_1 + a_{n2} \beta_1 + \cdots + a_{nm} \beta_m \\ \end{align*} \right.$$

则

$$\begin{align*} T(\alpha_1, \alpha_2, \cdots, \alpha_n) &= (T(\alpha_1), T(\alpha_2), \cdots, T(\alpha_n)) \\ &= \begin{pmatrix} \beta_1 \\ \beta_2 \\ . \\ . \\ . \\ \beta_m \end{pmatrix} ^\top \begin{pmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \ddots & & \vdots\\ \vdots & & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \\ \end{pmatrix} \end{align*}$$

称 $A_{mn}$ 为 $T$ 在给定 $(\alpha_1, \alpha_2, \cdots, \alpha_n)$ 与 $(\beta_1, \beta_2, \cdots, \beta_m)$ 下的矩阵.

其中需要注意的是 $A_{mn}$ 矩阵的维度, 不要弄反.

不同基下的变换矩阵

对于 $T \in L(U)$, 如果取不同的基 $(\alpha_1, \alpha_2, \cdots, \alpha_n), (\beta_1, \beta_2, \cdots, \beta_n)$. $T$ 对应的矩阵也会不同.

由于 ${\alpha_i}, {\beta_i}$ 为 $U$ 的两组基, 则必有矩阵 $Q$ 使得:

$$(\beta_1, \beta_2, \cdots, \beta_n) = (\alpha_1, \alpha_2, \cdots, \alpha_n) \cdot Q \tag{1}$$

称 $Q$ 为过渡矩阵.

写出 $T$ 分别在 ${\alpha_i}, {\beta_i}$ 下对应的变换矩阵:

$$\left \{ \begin{align} T(\alpha_1, \alpha_2, \cdots, \alpha_n) &= (\alpha_1, \alpha_2, \cdots, \alpha_n) \cdot A_{n\times n} \tag{2.1} \\ T(\beta_1, \beta_2, \cdots, \beta_n) &= (\beta_1, \beta_2, \cdots, \beta_n) \cdot B_{n\times n} \tag{2.2} \end{align} \right .$$

则由 $(1), (2.2)$ 可知

$$T(\beta_1, \beta_2, \cdots, \beta_n) = (\alpha_1, \alpha_2, \cdots, \alpha_n) \cdot Q \cdot B_{n\times n} \tag{3.1}$$

又

$$\begin{align*} T(\beta_1, \beta_2, \cdots, \beta_n) &= T((\alpha_1, \alpha_2, \cdots, \alpha_n) \cdot Q) \\ &= T(\alpha_1, \alpha_2, \cdots, \alpha_n) \cdot Q \\ &= (\alpha_1, \alpha_2, \cdots, \alpha_n) \cdot A_{n\times n} \cdot Q \tag{3.2} \end{align*}$$

其中 $Q$ 可以直接提取出来的原因是, $Q$ 在对 ${\alpha_i}$ 进行列变化, 而 $T$ 是线性的.

由 $(3.1), (3.2)$ 可得:

$$Q^{-1} A Q = B$$

逆变换

与逆矩阵类似, 对于线性变换我们也可以定义它的逆.

对于 $T \in L(U, V)$, 如果存在 $S \in L(V, U)$ 使得

$$S \cdot T = I_U \\ T \cdot S = I_V \\$$

称 $S$ 为 $T$ 的逆变换, $T$ 可逆.

逆变换的唯一性
证明对于线性变换 $T \in L(U, V)$, 存在唯一的逆变换 $S$.

证明:
设存在两个逆变换 $S_1, S_2 \in L(V, U)$.

$$\begin{align*} S_1 &= S_1 \cdot I_V \\ & = S_1 \cdot (T \cdot S_2) \\ &= (S_1 \cdot T) \cdot S_2 \\ &= I_U \cdot S_2 \\ &= S_2 \end{align*}$$

存在逆变换的充要条件: $T$ 为单射, 满射.

证明

存在逆变换 $\Longrightarrow$ 单射.

即要证明 $T(\alpha) = T(\beta) \Rightarrow \alpha = \beta$.

$$\begin{align*} &T(\alpha) = T(\beta) \\ &\Rightarrow T^{-1}(T(\alpha)) = T^{-1}(T(\beta)) \\ &\Rightarrow \alpha = \beta \quad \square \end{align*}$$

存在逆变换 $\Longrightarrow$ 满射.

即要证明 $\forall \beta \in V, \exists \alpha \in U, \text{ s.t. } T(\alpha) = \beta$.

显然 $\exist \alpha \in U, \alpha = T^{-1}(\beta)$.

单射, 满射 $\Longrightarrow$ 可逆.

已有双射的条件, 直接反过来就可以得到 $T^{-1}$.

线性空间同构

Def: 如果存在一个 $\exist T \in L(U, V)$, 并且 $T$ 是双射. 那么 $U, V$ 同构, 记为 $U \cong V$.

有限维线性空间同构 $\Longleftrightarrow$ 两个空间维数相同

$U \cong V \Longrightarrow dim U = dim V$, 可以用维数公式进行证明.

由维数公式可知 $dim \text{ null } T + dim \text{ range } T = dim U$

$U \cong V \Rightarrow$ 单射 $\Rightarrow dim \text{ null }T = 0$

又 $U \cong V \Rightarrow$ 满射 $\Rightarrow dim V = dim \text{ range } T$.

因此 $dim U = dim V$.

反方向

$U \cong V \Longleftarrow dim U = dim V$.

分别取 U, V 的基 $(\alpha_1, \alpha_2, \cdots, \alpha_n), (\beta_1, \beta_2, \cdots, \beta_n)$.

$$\begin{align*} \alpha_1 \longleftrightarrow \beta_1 \\ \alpha_2 \longleftrightarrow \beta_2 \\ \vdots \\ \alpha_n \longleftrightarrow \beta_n \end{align*}$$

特别的, 如果 $dim U = n$, 那么 $U \cong F^n$. 很容易能构造 $T \in L(U, F^n)$.

如 $U$ 的基为 $(\alpha_1, \alpha_2, \cdots, \alpha_n)$, $\alpha = (\alpha_1, \alpha_2, \cdots, \alpha_n) \cdot x$.

定义 $T(\alpha) = x$ 即可得到 $U \rightarrow V$ 的线性变换.

线性变换的零空间

线性变换 $T \in L(U, V)$ 的零空间. 据零空间定义 $T(\alpha) = 0$, $\text{null T}$ 是由 $\alpha$ 组成的空间.

考虑 $U$ 的基 $(\alpha_1, \alpha_2, \cdots, \alpha_n)$, $V$ 的基 $(\beta_1, \beta_2, \cdots, \beta_m)$.

$\forall \alpha = (\alpha_1, \alpha_2, \cdots, \alpha_n) x$.

$$\begin{align*} T(\alpha) &= T((\alpha_1, \alpha_2, \cdots, \alpha_n) \cdot x) \\ &= T((\alpha_1, \alpha_2, \cdots, \alpha_n)) \cdot x \\ &= (\beta_1, \beta_2, \cdots, \beta_m) \cdot Ax \end{align*}$$ $$\begin{align*} &\because T(\alpha) = 0 \\ &\therefore Ax = 0 \end{align*}$$

因此 $\text{null T}$ 其实与 $N(A)$ 相对应. 可以通过求 $A$ 的零空间的方式求 $\text{null T}$.

类似的 $\text{range T}$ 对应 $C(A)$, 可以通过求 $A$ 的列空间求 $\text{range T}$.

商空间

乘积空间

首先看乘积空间,
Def: $V_1, V_2, \cdots, V_k$ 为 $F$ 上的线性空间, 定义 $V_1 \times V_2 \cdots \times V_k = {(\alpha_1, \alpha_2, \cdots, \alpha_k): \alpha_i \in V_i}$.

并且 $dim(V1 \times V_2 \times \cdots V_k) = \sum{i=1}^k dim(V_i)$.

可以定义一个 $V_1 \times V_2 \times \cdots \times V_k \rightarrow V_1 + V_2 \cdots V_k$ 的线性变换 $T$.

$$T(\alpha) = \sum_{i=1}^k \alpha_i$$

满足什么条件时, $T$ 为同构变换.

有限维线性空间同构 $\Longleftrightarrow$ 两个空间的维数相同. 因此要求 $dim(V_1 \times V_2 \times \cdots V_k) = dim(V_1 + V_2 + \cdots + V_k)$.

因此要求 $dim(V_1) + dim(V_2) + \cdots + dim(V_k) = dim(V_1 + V_2 + \cdots + V_k)$. 也就是说 $V_i$ 的和是直和, $V_i$ 仅在 $0$ 处相交.

综上, 当 $V_1 + V_2 + \cdots + V_k$ 为直和时, $T$ 为同构变换.

FCN
可以用这个来解释 FCN 等使用了 FPN 的方法为什么把不同尺度的特征直接相加: \
如果不同尺度特征图所在的空间比较独立,

• FCN, 从原文来看, 作者本来是想要对不同尺度的特征图取 max. 但是 max 的梯度不太好求, 所以选择直接相加了.
• Zhihu FCN

商空间

定义

$U$ 是线性空间 $V$ 的子空间, $\alpha \in V$.

定义: $\alpha + U = {\alpha + \beta: \beta \in U}$. 则商空间 $V/U = {\alpha + U: \alpha \in V}$.

对于 $V$ 中的不同元素 $\alpha, \beta$, $\alpha + U$ 和 $\beta + U$ 可能是相同的.
满足任意三个如下等价条件即可:

1. $\alpha - \beta \in U$
2. $\alpha + U = \beta + U$ (废话)
3. $\alpha + U \cap \beta + U \neq \empty$

等价性的证明不难.

下面定义商空间 $V/U$ 上的加法和数乘:

$$\left \{ \begin{align*} & (\alpha + U) + (\beta + U) = (\alpha + \beta) + U \\ & k (\alpha + U) = k\alpha + U \end{align*} \right .$$

其中加法和数乘的封闭性容易验证.

维数

既然已经定义了 $U/V$ 的加法和数乘, 那么探究一下商空间的维数是多少.

基向量法 \
很自然的想法就是去寻找 $U/V$ 的一组基啊.
记 $dim V = n, dim U = m$, 则可以得到 $U$ 的一组基 ${\beta1, \beta_2, \cdots, \beta_m}$. 扩充为 $V$ 中的一组基 ${\beta_1, \beta_2, \cdots, \beta_m, \alpha_1, \alpha_2, \cdots, \alpha{n-m}}$.

则

$$\begin{align*} \alpha + U &= (x_1\alpha_1 + x_2\alpha_2 + \cdots + x_{n-m}\alpha_{n-m} + y_1\beta_1 + y_2\beta_2 + \cdots + y_m\beta_m) + U \\ &= x_1(\alpha_1 + U) + x_2(\alpha_2 + U) + \cdots + x_{n-m}(\alpha_{n-m} + U) \\ &\quad + y_1(\beta_1 + U) + y_2(\beta_2 + U) + \cdots + y_m(\beta_m + U) \\ &= x_1(\alpha_1 + U) + x_2(\alpha_2 + U) + \cdots + x_{n-m}(\alpha_{n-m} + U) \end{align*}$$

因此 $dim(\alpha + U) = n-m$.

维数公式法 \
构造线性变换 $T: V \rightarrow V/U$.
可以知道 $\text{null T} = U$ 且 $\text{range T} = V/U$.

根据维数公式

$$\begin{align*} \dim \text{null T } + \dim \text{range T } &= \dim V \\ \dim U + \dim V/U &= \dim V \\ \Rightarrow \dim V/U = \dim V - \dim U \end{align*}$$

类似的题目还有
$xAB =0$ 与 $xA = 0$ 的那道题目. 记得整理.

🤺

Call Me 😎