内积空间

基本介绍

内积空间就是定义了内积的线性空间.

定义与性质

验证内积空间:

• 共轭对称性: $\overline{(\beta, \alpha)} = (\alpha, \beta)$
• 正定性: $(\alpha, \alpha) \ge 0$, 仅当 $\alpha=0$ 等号成立
• 可加性: $(\alpha + \beta, \gamma) = (\alpha, \gamma) + (\beta, \gamma)$
• 齐次性: $(k\alpha, \beta) = k (\alpha, \beta)$

然后还有一些拓展的性质

1. $(\alpha, \beta + \gamma) = (\alpha, \beta) + (\alpha, \gamma)$
2. $(\alpha, k\beta) = \overline{k} (\alpha, \beta)$
3. 可以定义线性变换 $T\in L(V, F), \beta \in V; T(\alpha) = (\alpha, \beta)$.
4. $(\sum{i=1}^nx_i \alpha_i, \sum{j=1}^m yj \beta_j) = \sum{i=1}^n\sum_{j=1}^m x_i \overline{y_j} (\alpha_i, \beta_j)$

利用内积我们可以定义向量长度:

1. $||k\alpha|| = |k| \cdot ||\alpha||$
2. (Cauchy Inequality) $|(\alpha, \beta)| \le ||\alpha|| \cdot ||\beta||$, 当 $\alpha$ 与 $\beta$ 线性相关时取等号

柯西不等式

值得一提的是, 柯西不等式并不只有我们说的常见形式, 只要定义了内积就一定存在.
例如之前我们在函数空间中定义的内积 $(f, g) = \int_0^1 f(x)g(x) dx$.
其柯西不等式写为

$$\int_0^1 f(x)g(x) dx \le \sqrt{\int_0^1 f^2(x) dx} \sqrt{\int_0^1 g^2(x) dx}$$

证明
考虑将 $\alpha$ 分解为平行和垂直 $\beta$ 的两个方向.

设 $\lambda \beta \bot \alpha$, 则 $(\alpha - \lambda \beta, \beta) = 0$,
因此 $\lambda = \frac{(\alpha, \beta)}{(\beta, \beta)}$.

$$\begin{align*} & \alpha = \lambda \beta + (\alpha - \lambda \beta) \\ \Rightarrow~ & (\alpha, \alpha) = (\lambda \beta, \lambda \beta) + (\alpha - \lambda \beta, \alpha - \lambda \beta) \\ \Rightarrow~ & (\alpha, \alpha) \ge (\lambda \beta, \lambda \beta) \\ \Rightarrow~ & (\alpha, \alpha) \ge \frac{(\alpha, \beta)^2}{(\beta, \beta)^2} \cdot (\beta, \beta) = \frac{(\alpha, \beta)^2}{(\beta, \beta)} \\ \Rightarrow~ & (\alpha, \alpha) (\beta, \beta) \ge (\alpha, \beta)^2 \\ \Rightarrow~ & |(\alpha, \beta)| \le \lVert \alpha \lVert \cdot \lVert \beta \lVert \end{align*}$$

等号仅当 $\alpha - \lambda \beta = 0$, 也就是 $\alpha$ 与 $\beta$ 线性相关的时候取.

正交向量组

定义
如果 $(\alpha_1, \alpha_2, \cdots, \alpha_k)$ 满足 $(\alpha_i, \alpha_j) = 0, 1\le i<j\le k$.

容易证明正交向量组线性无关.

(Schmidt 正交化) 如何从线性无关向量组 $(\alpha_1, \alpha_2, \cdots, \alpha_k)$ 得到正交向量组 $(\beta_1, \beta_2, \cdots, \beta_k)$. 可以采用 Schmit 正交化.

$$\begin{align*} \beta_1 &= \alpha_1 \\ \beta_2 &= \alpha_2 - \frac{(\alpha_2, \beta_1)}{(\beta_1, \beta_1)} \beta_1 \\ \vdots \\ \beta_k &= \alpha_k - \frac{(\alpha_k, \beta_1)}{(\beta_1, \beta_1)} \beta_1 - \cdots - \frac{(\alpha_k, \beta_{k-1})}{(\beta_{k-1}, \beta_{k-1})} \beta_{k-1} \end{align*}$$

对正交向量组进行单位化, 可以得到标准正交向量组.

正交子空间

对于有限维线性空间 $V$, $U$ 是 $V$ 中的集合(未必是子空间). 可以定义正交子空间 $U^{\bot} = {\alpha: \forall \beta \in U, (\alpha, \beta) = 0 }$

如果 $U$ 是 $V$ 的一个子空间, 那么 $V = U \oplus U^{\bot}$.
$U^{\bot}$ 是 $U$ 的正交补空间.

之前我们说过 $V = U \oplus W$, $W$ 作为 $U$ 的补空间是不唯一的. 而正交补空间是唯一的.

结合之前说的线性方程组的四个子空间 $C(A), N(A), R(A), N(A^T)$. \
我们可以判断出 $R^n = N(A) \oplus R(A), R^m = C(A) \oplus N(A^T)$. \
其中 $N(A), R(A)$ 互为正交补空间, $C(A), N(A^T)$ 互为正交补空间.

正交投影变换

对于 $V = U \oplus U^{\bot}$, $\forall \alpha \in V, \alpha = \beta + \gamma$. 其中 $\beta \in U, \gamma \in U^{\bot}$

定义正交投影变换 $P_U(\alpha) = \beta$

最佳近似向量

$U$ 是有限维线性空间 $V$ 的子空间, $\alpha \in U, \beta \in V, \beta \notin U$. 如果满足 $\forall \gamma \in U, \lVert \beta - \alpha \lVert \le \lVert \beta - \gamma \lVert$, 那么 $\alpha$ 为 $\beta$ 在 $U$ 上的最佳近似.
并且 $P_U(\beta)$ 就是 $\beta$ 在 $U$ 上的最佳近似.

矛盾方程的近似解

方程 $Ax = b$ 无解, 求方程的最佳近似解.

设最佳近似解为 $x_0$, 则 $Ax_0 - b$ 属于 $C(A)$ 的正交补空间.
即 $Ax_0 - b \in N(A^T)$. 从而有

$$A^T (Ax_0 - b) = 0$$

$x_0$ 要满足 $A^T A x_0 = A^Tb$.

多项式近似

在多项式空间 $P4[R]$ 中求一个多项式 $P(x)$, 使得 $\int{-\pi}^\pi |P(x) - \cos x|^2 dx$ 最小.

首先 $(f(x), g(x)) = \int_{-\pi}^\pi f(x) g(x) dx$ 是一个内积的定义, 因此我们可以将问题看作求 $\cos x$ 在 $P_4[R]$ 上的最佳近似.

用 Schmidt 法找到 $P_4[R]$ 中在当前内积定义下的标准正交基 ${e_1, e_2, e_3, e_4, e_5}$.

那么 $\cos x$ 在 $P4[R]$ 上的投影表示为 $\sum{i=1}^5 (\cos x, e_i)e_i$.

老师说, 这样得到的多项式近似比泰勒展开的近似要好, 但是显然这种方法不如泰勒展开普遍.
老师说, 这题考试会考.

度量矩阵

线性空间 $V, \dim V = n$, 其中存在一组基 ${\alpha_1, \alpha_2, \cdots, \alpha_n}$.
对于 $\alpha, \beta \in V$, 可以表示为

$$\left \{ \begin{align*} \alpha &= x_1 \alpha_1 + x_2 \alpha_2 + \cdots + x_n \alpha_n = (\alpha_1, \alpha_2, \cdots, \alpha_n) X \\ \beta & = y_1 \alpha_1 + y_2 \alpha_2 + \cdots + y_n \alpha_n = (\alpha_1, \alpha_2, \cdots, \alpha_n) Y \end{align*} \right .\\ \begin{align*} (\alpha, \beta) &= (\sum_{i=1}^n x_i \alpha_i, \sum_{j=1}^n y_j \beta_j) \\ &= \sum_{i=1}^n \sum_{j=1}^n x_i \overline{y_j} (\alpha_i, \beta_j) \\ &= ( \overline{y_1}, \overline{y_2}, \cdots, \overline{y_n} ) \begin{pmatrix} (\alpha_1, \alpha_1) & (\alpha_2, \alpha_1) & \cdots & (\alpha_n, \alpha_1) \\ (\alpha_1, \alpha_2) & (\alpha_2, \alpha_2) & \cdots & (\alpha_n, \alpha_2) \\ \vdots & \vdots & \vdots & \vdots \\ (\alpha_1, \alpha_n) & (\alpha_2, \alpha_n) & \cdots & (\alpha_n, \alpha_n) \end{pmatrix} \begin{pmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{pmatrix} \\ &= Y^* G X \end{align*}$$

称 $G$ 为基 ${\alpha_1, \alpha_2, \cdots, \alpha_n}$ 度量矩阵.

若 $V$ 定义在 $R$ 上

1. $G^T = G$
2. $G$ 正定: $(\alpha, \alpha) = X G X > 0$

若 $V$ 定义在 $C$ 上

1. $G^* = G$
2. $G$ 正定: $(\alpha, \alpha) = X^* G X > 0$

特别的, 当 $(\alpha_1, \alpha_2, \cdots, \alpha_n)$ 取的是一组标准正交基, $G$ 为单位矩阵.

内积空间中的线性变换

以下是五个等价的线性变换

1. (等积变换) $\forall \alpha, \beta \in V$, $(\alpha, \beta) = (T(\alpha), T(\beta))$
2. $\lVert \alpha \lVert = \lVert T(\alpha) \lVert$, 即变换保持长度相等
3. (等距变换) $\lVert \alpha - \beta \lVert = \lVert T(\alpha) - T(\beta) \lVert$ 等距
4. $\mathcal{E_1}, \mathcal{E_2}, \cdots, \mathcal{E_n}$ 为 $V$ 中的标准正交基, $T(\mathcal{E_1}), T(\mathcal{E_2}), \cdots, T(\mathcal{E_n})$ 也为标准正交基
5. (酉变换) $T(\mathcal{E1}, \mathcal{E_2}, \cdots, \mathcal{E_n}) = (\mathcal{E_1}, \mathcal{E_2}, \cdots, \mathcal{E_n}) A{n\times n}$.
   1. 当 $F = C$ 矩阵满足 $A^A = AA^ = E$. $A$ 称为酉矩阵
   2. 当 $F = R$ 矩阵满足 $A^T A = A A^T = E$. $A$ 称为正交矩阵

伴随变换

$T, S \in L(V), \alpha, \beta \in V$, 若 $(T(\alpha), \beta) = (\alpha, S(\beta))$. 则称 $S$ 为 $T$ 的伴随变换.

下面验证需要满足什么样的关系才能成为伴随变换. \
$\mathcal{E_1}, \mathcal{E_2}, \cdots, \mathcal{E_n}$ 为 $V$ 中的标准正交基.

$$\left \{ \begin{align*} T(\mathcal{E_1}, \mathcal{E_2}, \cdots, \mathcal{E_n}) &= (\mathcal{E_1}, \mathcal{E_2}, \cdots, \mathcal{E_n}) A \\ S(\mathcal{E_1}, \mathcal{E_2}, \cdots, \mathcal{E_n}) &= (\mathcal{E_1}, \mathcal{E_2}, \cdots, \mathcal{E_n}) B \end{align*} \right .$$

设

$$\left \{ \begin{align*} \alpha &= (\mathcal{E_1}, \mathcal{E_2}, \cdots, \mathcal{E_n}) X \\ \beta &= (\mathcal{E_1}, \mathcal{E_2}, \cdots, \mathcal{E_n}) Y \end{align*} \right .$$

则

$$\left \{ \begin{align*} T(\alpha) &= (\mathcal{E_1}, \mathcal{E_2}, \cdots, \mathcal{E_n}) AX \\ S(\beta) &= (\mathcal{E_1}, \mathcal{E_2}, \cdots, \mathcal{E_n}) BY \end{align*} \right . \\ \begin{align*} (T(\alpha), \beta) &= Y^* \begin{pmatrix} \mathcal{E_1}^* \\ \mathcal{E_2}^* \\ \vdots \\ \mathcal{E_n}^* \\ \end{pmatrix} (\mathcal{E_1}, \mathcal{E_2}, \cdots, \mathcal{E_n}) AX \\ &= Y^* AX \\ (\alpha, S(\beta)) &= Y^* B^* \begin{pmatrix} \mathcal{E_1}^* \\ \mathcal{E_2}^* \\ \vdots \\ \mathcal{E_n}^* \\ \end{pmatrix} (\mathcal{E_1}, \mathcal{E_2}, \cdots, \mathcal{E_n}) X \\ &= Y^* B^* X \end{align*}$$

因此得到 $A = B^*$

如果取 $S = T$, 那么 $S$ 称为自伴随变换, $A$ 为 Hermit 矩阵.

🤺

Call Me 😎