课程主页:https://see.stanford.edu/Course/EE263

这次回顾EE263作业8。

13.17

(a)$z^{-1}$的作用为延迟算子,所以

(b)$A$的特征值全为$0$

(c)

(d)

特征值为

(e)系统的效果没有太大变化,但是特征值变化很大。

14.2

假设$A$的秩为$r$,其正交分解为

这里假设

(a)如果$f(x)=| Fx|^2$,那么结论显然成立。

如果$f(x)$半正定,那么$\lambda_r >0 $,记

那么

从而

不难看出最小的$k=r$

(b)因为

所以

将正负特征值区分开来,设

那么

所以我们可取

那么

14.3

(a)$\forall x\in \mathbb R^n$,

(b)必要性由(a)即可,只需证明充分性。

$\forall x\in \mathbb R^n$,取

那么

所以

14.4

(a)$\forall x \in \mathbb R^n$,那么

(b)假设$k$阶子矩阵为$A_k$,对应的行为$i_1,\ldots ,i_k$,现在$\forall x \in \mathbb R^k $,构造$\tilde x\in \mathbb R^n$使得

那么

(c)取$x=e_i$即可

(d)考虑子矩阵

由(b)可得$A_2$半正定,所以

恒成立,从而

14.6

(a)

那么

现在$\forall x \in \mathbb R^n$,我们有

所以

(b)记

其中

$\Leftarrow$:如果$f_{1}, \ldots, f_{n}$线性相关,那么存在不全为零的系数$\alpha_1 ,\ldots ,\alpha_n$,使得

所以$\forall k=1,\ldots ,n$,

即$G$奇异

$\Rightarrow$:

如果$G$奇异,那么存在不全为零的系数$\alpha_1 ,\ldots ,\alpha_n$,使得

所以$\forall k=1,\ldots ,n$,

那么上式等价于

因此

从而

即$f_1,\ldots, f_n$线性相关

14.8

因此

显然有

另一方面,如果

那么

所以$P$不是正定矩阵,因此

14.9

取$x=e_i$可得

取$x=e_i +e_j$得到

14.11

注意到

所以$\forall x$,我们有

由上式可得,$A$的特征值的绝对值小于$1$,所以$I+A$的特征值的绝对值大于$0$,从而$I+A$可逆。

14.13

满奇异值分解为

其中

  • $A \in \mathbb{R}^{n \times n}, {\operatorname {Rank}}(A)=r$
  • $U \in \mathbb{R}^{n \times n}, U^{T} U=UU^T=I$
  • $V \in \mathbb{R}^{n \times n}, V^{T} V=VV^T=I$
  • $\Sigma=\operatorname{diag}\left(\sigma_{1}, \ldots, \sigma_{n}\right)$,其中$\sigma_{1} \geq \cdots \geq \sigma_{n}>0$

所以

因为

所以

所以$v_i ,u_i$都是$\sigma_i^2$对应的特征向量,且范数为$1$,从而可得

因为

所以特征值和奇异值的关系为

14.21

设$A$的正交分解为

注意这里假设

那么

从而

因此

另一方面

所以

(a)对比后不难发现,

(b)

(c)对$\mathcal{E}_{2}$稍作变形,

另一方面

假设$A$的SVD为

那么

注意

所以可以取

其中$V$任意正交矩阵。

14.33

考虑在如下条件下

最小化

先关于$b$求梯度可得

利用之前的条件可得

现在令

那么

假设$Z$的奇异值分解为

$m$的一个合适的选择如下:选择$m$,使得$\sigma_m \gg \sigma_{m+1}$,由最佳近似的性质可得,我们应该选择

这里

现在取

那么

其中最后一个等号的原因如下:

我们有

因为$U\Sigma $列满秩,所以我们有

这可以推出

将内容总结如下:

(b)代码如下:

%b
b = mean(Y, 2);
%Z
Z = Y - b * ones([1, N]);
%SVD
[U, Sigma, V] = svd(Z, 0);
tmp = diag(Sigma)
m = 3;
Sigmam = diag(tmp(1: 3))
%A, X
A = U(:, 1:m) * Sigmam / sqrt(N);
X = V(:, 1:m)' * sqrt(N);
X * ones(N, 1)
1 / N * X * X'
%res
res = Z - A * X;
Norm = zeros([1, N]);
for i = 1:N
    Norm(i) = norm(res(:, i));
end
Norm = sort(Norm, 'descend');
plot(Norm)

补充题

1

(a)取

那么

正确的做法是先计算

如果$B$的特征值非负,那么$x^T A x \ge 0$

(b)

那么