随机信号分析¶
§1 概率论¶
连续型随机变量或分布¶
2023年2月22–23日。
flowchart LR
sample[样本空间Ω] -->|随机变量X| ℝ
sample -.- events[事件空间ℱ] -->|概率P| interval["[0, 1]"] -.- ℝ确实有“像集可数/不可数 ⇔ 离散/连续型随机变量”的说法，但按这种定义，连续型随机变量并不一定有概率密度（从而与“连续型分布”定义不一致）：随机变量只涉及样本空间，都没谈概率呢。实际上，这种定义下还要进一步“绝对连续”才能有概率密度。
我们学的时候是先有累积分布，再借积分定义“连续型分布”，顺带绕回来提“连续型随机变量”。
像集不可数（甚至连续）但不是连续型的反例：
- 混合型。
- Cantor 分布。
事实上按 Lebesgue 分解，随机变量可以分解成三部分：
- 绝对连续：一般所谓的连续型。
- 奇异连续：如上面的 Cantor 分布。
- 离散：纯点状。
多变量正态分布的边缘分布和条件分布¶
2023年2月22日–2023年3月5日，2023年12月10日。
铺垫¶
多变量正态分布有均值 \(\vb*\mu\)、协方差 \(\Sigma\) 两个参数。
- 只考虑 \(\vb*\mu = \vb*0\) 情形；若不为零，考虑减去 \(\vb*\mu\) 的随机变量即可。
- 设随机变量 \(X\in\R^{n\times 1}\)，则 \(\Sigma \coloneqq \expect[(X-\vb*\mu) (X-\vb*\mu)^\tran]\) 从而对称、半正定。下面只考虑正定的 \(\Sigma\)；若是退化情形，改到子空间考虑即可。
仍设随机变量 \(X\in\R^{n\times 1}\)，此时联合概率密度为
也可用 precision matrix \(\Phi = \Sigma^{-1}\) 写为
在正态分布中，
-
\(\Phi_{ij} = 0 \iff\) \(X_i, X_j\) 条件独立。（给定其它随机变量下）
给定条件下，\(\Phi_{ij} = 0\) 意味着联合概率密度无交叉项 \(x_i x_j\)，可直接分解为两个边缘密度。
-
分量两两线性无关 \(\iff\) 分量相互独立。
此时 \(\Sigma\) 是对角阵，于是 \(\Phi\) 也是。
边缘分布和条件分布¶
现在设随机变量为
相应设
这很自然
例如，概率密度中的指数是 \(\vb*X^\tran \Phi_{XX} \vb*X + \vb*X^\tran \Phi_{XY} \vb*Y + \vb*Y^\tran \Phi_{YX} \vb*X + \vb*Y^\tran \Phi_{YY} \vb*Y\)。
考虑分布 \(\vb*X\) 和 \(\vb*Y | \vb*x\)。
- 边缘分布 \(\vb*X\)
- \(\mu_{\vb*X} = \vb*0\)。
- \(\Sigma_{\vb*X} = \Sigma_{XX}\)。
-
条件分布 \(\vb*Y|\vb*x\)
-
\(\mu_{\vb*Y | \vb*x} = \Sigma_{YX} {\Sigma_{XX}}^{-1} \vb*x\)。
这与最小二乘法一致。
最小二乘法
模型为 \(y_i = A_{ij}\, x_j\)，收到样本（samples）\(y_{is}\) 与 \(x_{js}\)。试图解 \(y_{is} = A_{ij}\, x_{js}\)，但无解，转而考虑方程
\[ y_{is}\ x_{sk} = A_{ij}\ x_{js}\ x_{sk}, \]于是 \(\hat A_{ij} = \qty(y_{is}\ x_{sk}) \times \qty(x_{js} x_{sk})^{-1}\)。
把样本均值转为期望便是 \(\hat A = \Sigma_{YX} {\Sigma_{XX}}^{-1}\)。
按 \(\Phi\) 的写法
按照分块矩阵乘法写 \(\Phi \Sigma = I\)，可知 \(\Phi_{YX} \Sigma_{XX} + \Phi_{YY} \Sigma_{YX} = O\)，于是条件分布的系数 \(\Sigma_{YX} {\Sigma_{XX}}^{-1} = -{\Phi_{YY}}^{-1} \Phi_{YX}\).
-
\(\Phi_{\vb*Y | \vb*x} = \Phi_{YY}\)。
若用 \(\Sigma\) 表示，则为 \(\Sigma / \Sigma_{XX}\)（\(\Sigma_{XX}\) 在 \(\Sigma\) 中的 Schur complement）。
-
这可以理解为配方：
验证
将上式展开，反复利用 \(\Phi \Sigma = I = \Sigma \Phi\) 的分块形式即可。
特征函数¶
2023年5月14日。
变体
存在多种定义，它们只有自变量不同：\(\pm u\)（characteristic function）或 \(\pm t = \pm j u\)（moment-generating function）。
——各阶原点矩的线性组合。
随机变量序列的收敛性¶
2023年5月14日。
flowchart LR
L_s[ℒ<sup>s</sup>]
L_r["r-th mean<br>ℒ<sup>r</sup>-norm<br>𝔼[|X<sub>n</sub> - X|<sup>r</sup>] → 0"]
as["almost sure<br>P(X<sub>n</sub> → X) = 1"]
p["probability<br>P(Δ<sub>n</sub> > ε) → 0"]
d["distribution<br>CDF<sub>n</sub> → CDF"]
L_s -->|"s > r ≥ 1"| L_r -->|"Чебышёв<br>不等式"| p --> d
as --> p§2 随机过程¶
化循环平稳为平稳¶
2023年3月16日。
平稳
此处指广义平稳。
设 \(X\) 是周期为 \(T\) 的循环平稳随机过程，即
另取与之独立的随机变量 \(A \sim U(0,T)\)，则 \(\eval{Y}_t \coloneqq \eval{X}_{t-a}\) 平稳。
例如 \(Y\) 的均值时间平移不变：
从而不含 \(t\)。这些等号的依据如下。
-
\(Y\) 的构造。
\(\expect_{x|a}\) 表示在 \(A=a\) 条件下考虑 \(X\) 的分布。
-
\(A,X\) 独立：\(p(x,t | a) = p(x,t)\)。（\(p\) 是概率密度）
若考虑自相关，则进一步需要二维联合分布与 \(A\) 独立。
-
\(A\) 均匀分布。
-
周期函数的性质。
将 \(u \mapsto \expect_x \eval{x}_{u}\) 记作 \(f\)，它具有周期 \(T\)。
若考虑自相关，此处 \(f\) 是
它对第一个自变量具有周期 \(T\)，推理仍适用。
自相关的周期分量¶
2023年4月21日，2023年5月16日。
平稳信号的自相关在 \(\tau \to +\infty\) 时极限可能不存在，例如随机相位信号，\(\lim \frac12 \cos(\omega_0 \tau)\) 就不存在。
根据 Wold 定理，随机信号似乎可被分解为三部分：
- 确定信号，如 \(\sin(\omega_0 t)\)。
- 可预测随机信号，如 \(\sin(\omega_0 t + \Phi)\)。
- 不可预测随机信号，如白噪声。（innovations part）
可预测部分提供自相关的周期分量。
仍存在疑问
任给函数，如何定义它的周期分量？
§3 谱分析¶
Wiener–Хи́нчин–Einstein 定理¶
2023年4月13日。
该定理不仅限于平稳随机信号，也适用于确定信号和一般随机信号；而且即使 Fourier 变换不存在，该定理仍有某种形式。
Einstein 识别出了自相关与功率谱密度的关系，Wiener 研究了确定信号，Хи́нчин 研究了随机信号。
\(A \cos(\Omega t + \Theta)\)¶
2023年5月15日。
\(A, \Omega, \Theta \in \R\) 是相互独立的三个随机变量。
随机过程 \(A \cos(\Omega t + \Theta)\) 的自相关
平稳性
这一般并不平稳。若再考虑时间平均，最后一项化为零。（除非 \(\Omega = 0\)）
若 \(2\Theta\) 在一周内均匀分布，则 \(\expect[\cos(\cdots + 2\Theta)] = 0\)，从而 \(R = \frac12 \expect A^2 \times \expect\cos(\Omega \tau)\)。事实上
与 Fourier 变换相关，其功率谱密度与直观一致，具体来说是
随机过程 \(A e^{j(\Omega t + \Theta)}\) 则更简单：
关系
\(2 A \cos(\Omega t + \Phi) = \sum A e^{j(\pm\Omega t \pm\Phi)}\)，后两项的自相关分别是
而互相关是
一般并不为零。
因此，\(A \cos(\Omega t + \Phi)\) 的自相关
§4 随机信号通过系统¶
中心极限定理¶
2023年5月16日。
大量相互独立的随机变量的算术和标准化后服从正态分布。
下面以独立同分布随机变量序列 \(\qty{X_i}\) 为例。
推广
分布不一致但均值、方差一致的随机向量序列。
记每一 \(X\) 的特征函数为 \(C \coloneqq \expect e^{j u X}\)。不妨设 \(\expect X = 0\)、\(\expect {X}^2 = 1\)。于是 \(\eval{\dv{C}{u}}_{u=0} = j \times 0 = 0\)，\(\eval{\dv[2]{C}{u}}_{u=0} = j^2 \times 1 = -1\)，即 \(u \to 0\) 时，\(C = 1 - u^2 / 2 + o(u^2)\)。
由于独立，\(\sum_{i=1}^n X_i\) 的特征函数为 \(\prod_{i=1}^n C = C^n\)。
注意 \(\sum X\) 的均值为零，方差为 \(n\)，标准化后为 \(\sum X / \sqrt{n}\)，它的特征函数
\(n \to +\infty\) 时，这是 \(1^\infty\) 型极限，
——这正对应标准正态分布。
随机信号通过线性时不变系统时，即使输入不服从正态分布，输出也可能因中心极限定理而服从（联合）正态分布。
- 算术和——线性系统的输出是各时刻输入的线性组合。
- 大量——这种线性组合是个积分。
- 独立——若输入的相关时间远小于系统的相关时间（即输入的带宽远大于系统的带宽），可认为输入不同时刻相互独立。
§5 窄带随机过程¶
实信号表示为解析信号¶
2023年5月15日。
解析信号是相量（phasor）的推广。
给定确定实信号 \(x\)，可构造解析信号 \(\tilde x = x + j \hat x\)，保证只有正频率。
时域
\(\sgn t \leftarrow e^{0^- t} \sgn t \leftrightarrow \frac{2}{0^+ + j\omega} \rightarrow \frac{2}{j\omega}\)，\(-\frac{1}{j\pi t} \leftrightarrow \sgn \omega\)，\(\frac{1}{\pi t} \leftrightarrow \sgn \omega / j\)。
\(x \mapsto \hat x\) 称作 Hilbert 变换 \(\mathcal H\)。这是一种线性时不变系统，并且 \(\delta\) 响应 \(\frac{1}{\pi t}\) 是奇函数。
功率谱
频谱乘单位复数不改变功率谱密度，\(S_x = S_{j \hat x} = S_{\hat x}\)。
\(\tilde x = x + j\hat x\) 的功率谱在负频率反相相消，在正频谱同相叠加，于是 \(S_{\tilde x} = 4 S_x u\)。
若谈总功率，\(E_{\tilde x} = 2 E_x = 2 E_{\hat x}\)。
若 \(x\) 的频谱集中在 \(\pm\omega_0\) 附近，正负频率无交叠（例如 \(x = \cos(\omega_0 t)\)），则容易采用复信号表示：
其中 \(\tilde A\) 称作复振幅（复包络），频谱集中在 \(0\) 附近，形状、强度同 \(\tilde X\)。
上式详细写开如下。
记号
\(A_c, A_s \in \R\)。它们也被记作 \(X_I, X_Q\)（in-phase, quadrature）或 \(a,b\)。
也可反过来：
解析随机过程¶
2023年5月15日。
| 相关 | 用相量比喻 |
|---|---|
| \(R_{X X}\) | →→ |
| \(R_{\hat X \hat X}\) | ↑↑ |
| \(R_{X \hat X}\) | →↑ |
| \(R_{\hat X X}\) | ↑→ |
于是 \(R_{X X} = R_{\hat X \hat X} \xrightarrow{\mathcal H} R_{X \hat X} = - R_{\hat X X}\)，以及 \(R_{\tilde X} = 2\tilde{R}_{X}\)。
奇偶性
实随机过程的自相关偶对称，\(\mathcal H\) 把偶函数变换为奇函数。
内积
\(\tau = 0\) 时交叉项抵消，\(R_{x+jy, x+jy} = R_{xx} + R_{yy}\)。
这些从频域（功率谱密度）也能理解。
窄带随机过程¶
2023年5月15日。
有实平稳随机过程 \(X\)，若功率谱只分布于 \(\pm \omega_0\) 附近 \(\Delta \omega\)，\(\Delta \omega \ll \omega_0\)，则称窄带。可应用前面的理论。
定义只是存在
对某一 \(X\)，\(\omega_0, \Delta \omega\) 其实有多种选择，不过按哪种算都是窄带。
再看频域。设 \(S_X = \eval{\alpha}_{\omega + \omega_0} + \eval{\beta}_{\omega - \omega_0}\)，其中 \(\alpha, \beta\) 对应低通随机过程。
\(X \in \R\) 时，\(\eval{\beta}_\omega = \eval{\alpha}_{-\omega}\)，\(\beta \mp \alpha\) 是奇偶部。
后备箱¶
- 区分角频率与普通频率：\(\omega = 2\pi f\)，\(\int \dd{\omega} = 2\pi \int \dd{f}\)。
- 复向量的内积共轭对称。
- 系统的噪声等效带宽由信号转化定义，故有模方。
- 注意随机变量的取值范围。
- 联合宽平稳也要求每一随机过程自身平稳。
- 分析随机过程时，区分样本函数和概率密度。
- 概率密度一定非负。
- 随机变量的函数可能一对一、多对一、无穷多对一，不过若只需数字特征，不求解函数的分布也可。
- 存在可预测随机过程。
- 单位白噪声是指（双边）功率谱密度为 \(1\)。
- 区分成形滤波器和白化滤波器，它们作用相反。
- 区分单边、双边功率谱密度。