\[
\newcommand{\bs}{\boldsymbol}
\newcommand{\bsX}{\boldsymbol{X}}
\newcommand{\bf}{\mathbf}
\newcommand{\msc}{\mathscr}
\newcommand{\mca}{\mathcal}
\newcommand{\T}{\text{T}}
\newcommand{\rme}{\mathrm{e}}
\newcommand{\rmi}{\mathrm{i}}
\newcommand{\rmj}{\mathrm{j}}
\newcommand{\rmd}{\mathrm{d}}
\newcommand{\rmm}{\mathrm{m}}
\newcommand{\rmb}{\mathrm{b}}
\newcommand{\and}{\land}
\newcommand{\or}{\lor}
\newcommand{\exist}{\exists}
\newcommand{\sube}{\subseteq}
\newcommand{\lr}[3]{\left#1 #2 \right#3}
\newcommand{\intfy}{\int_{-\infty}^{+\infty}}
\newcommand{\sumfy}[1]{\sum_{#1=-\infty}^{+\infty}}
\newcommand{\vt}{\vartheta}
\newcommand{\ve}{\varepsilon}
\newcommand{\vp}{\varphi}
\newcommand{\Var}{\text{Var}}
\newcommand{\Cov}{\text{Cov}}
\newcommand{\edef}{\xlongequal{def}}
\newcommand{\prob}{\text{P}}
\newcommand{\Exp}{\text{E}}
\newcommand{\t}[1]{\text#1}
\newcommand{\N}{\mathbb{N}}
\newcommand{\Z}{\mathbb{Z}}
\newcommand{\Q}{\mathbb{Q}}
\newcommand{\R}{\mathbb{R}}
\newcommand{\C}{\mathbb{C}}
\newcommand{\versionofnewcommand}{\text{260125}}
\]
Power Spectrual Density
Positive Definite Functions
正定函数定义如下:
\[
f(x)\ \text{is p.d.}\quad \Leftrightarrow \quad \forall n,\ \forall x_1,\cdots,x_n,\ \text{matrix}\ (f(x_1-x_j))_{ij}\ \text{is p.d.}
\]
对于宽平稳条件下的相关函数 \(R_\bsX(\tau)\), 其对应的相关矩阵
\[
\bf{R}_\bsX(i,j)=R_X(t_i-t_j)=E(X(t_i)X(t_j))
\]
令
\[
\bf{X}=(\bs{X}(t_1),\cdots,\bsX(t_n))^{\T}
\]
则相关阵 \(\bf{R}_\bsX=E(\bf{X}\bf{X}^\T)\geq0\). 因此相关函数是正定的.
事实上, 对任意给定的正定函数, 一定能找到一个随机过程, 其相关函数就是该给定的正定函数. 从而构建了相关函数与正定函数的对应关系.
\[
\text{Correlation Functions} \Leftrightarrow \text{Positive Definite Functions}
\]
然而, 明眼人都能看出来, 这个定义并不好用. 好在我们有天降猛男!
Bochner's Theorem:
\[
\boxed{f(x)\ \text{is p.d.}\quad \Leftrightarrow \quad \intfy f(x)\exp(-\rmj \omega x)\ \rmd x\geq 0}{}
\]
这显然是个极其优美且强大的结论. 用张颢老师的话说, 这是 "深刻" 的, 即: 形式是简单的, 用途是广泛的, 证明是困难的.
Proof: 先看充分性. 首先, 已知 \(f(x)\) 的 Fourier 变换 \(\geq 0\), 即
\[
F(\omega)=\intfy f(x)\exp(-\rmj \omega x)\ \rmd x\geq0
\]
那么, 考察 Fourier 逆变换,
\[
f(x)=\frac{1}{2\pi}\intfy F(\omega)\exp(\rmj\omega x)\ \rmd\omega
\]
这里, 引入一个引理:
Lemma: 复指数函数 \(\exp(\rmj\omega x)\) 是正定的.
Proof: \(\forall n,\ \forall x_1,\cdots,x_n\), 有矩阵 \(\bf{R}=(\exp[\ \rmj\omega(x_i-x_j)\ ])_{i,j}\). 对 \(\forall \bs{z}=(z_1,\cdots,z_n)\in\C^n\), 考察
\[
\begin{aligned}
\bs{z}^{\text{H}}\bf{R}\bs{z}
=& \sum_{i=1}^{n}\sum_{j=1}^{n} \overline{z_i}\exp(\rmj\omega(x_i-x_j))z_j\\
=& \sum_{i=1}^{n}\sum_{j=1}^{n} \overline{z_i\exp(-\rmj\omega x_i)}\cdot z_j\exp(-\rmj\omega x_j)\\
=& \lr|{\sum_{i=1}^{n}z_i\exp(-\rmj\omega x_i)}|^2\geq0
\end{aligned}
\]
进一步地, 任取 \(n\) 个正定函数 \(f_1(\omega),\cdots, f_n(\omega)\geq0\), 其与本就正定的复指数函数作线性组合后, 一定也是正定的, 即:
\[
\sum_{i=1}^n f_i(\omega)\exp(\rmj\omega x_i)\geq 0
\]
将其连续化:
\[
f(x)=\frac{1}{2\pi}\intfy F(\omega)\exp(\rmj\omega x)\ \rmd\omega\geq 0
\]
这样, 充分性得证. 接下来证明必要性.
\(\forall n,\ \forall x_1,\cdots,x_n,\) 由于 \(\bf{R}=(f(x_1-x_j))_{ij}\) 是正定的, 我们取 \(\bs{z}=(\exp(\rmj\omega x_i),\cdots,\exp(\rmj\omega x_n))^\T\), 就有:
\[
0\leq \bs{z}^\mathrm{H}\bf{R}\bs{z}
=\sum_{i=1}^{n}\sum_{j=1}^{n} f(x_i-x_j)\cdot{\exp(-\rmj\omega (x_i-x_j))}
\]
先进行一步连续化, 但注意, 这里我们先把上下限写成有限的:
\[
\int_{-\frac{T}{2}}^{\frac{T}{2}}\int_{-\frac{T}{2}}^{\frac{T}{2}} f(t-s)\exp(-\rmj\omega(t-s))\ \rmd t\rmd s
\]
是不是有种换元的欲望,
\[
\begin{cases}
\ u=t-s\\
\ v=t+s
\end{cases}\\
\]
计算 Jacobian 行列式的绝对值
\[
\rmd u\rmd v=\lr|{\frac{\partial(u,v)}{\partial(t,s)}}|\cdot \rmd t\rmd s= 2\ \rmd t\rmd s
\]
再结合图像看积分上下限 (这里略过), 得到换元后结果
\[
\begin{aligned}
&\frac{1}{2}\lr({\int_{-T}^0\int_{-u-T}^{u+T}+\int_{0}^T\int_{u-T}^{-u+T}})f(u)\exp(-\rmj\omega u)\ \rmd v\rmd u\\
=& \frac{1}{2}{\int_{-T}^T\int_{|u|-T}^{-|u|+T}}f(u)\exp(-\rmj\omega u)\ \rmd v\rmd u\\
=& (T-|u|)\int_{-T}^T f(u)\exp(-\rmj\omega u)\ \rmd u
\end{aligned}
\]
尽管这里很想取个极限 \(T\to+\infty\), 但前面的 \(T-|u|\) 怎么办呢? 我有一计! 只需从头到尾都乘一个 \(1/T\) 就可以, 而这对正定性毫无影响. 因此,
\[
0\leq\lim_{T\to+\infty} \frac{T-|u|}{T}\int_{-T}^T f(u)\exp(-\rmj\omega u)\ \rmd u=\intfy f(u)\exp(-\rmj\omega u)\ \rmd u
\]
于是, 必要性也得证.
我们再把矩形框拎出来遛一遛, 由其傅里叶变换后的 \(Sa\) 函数能看出, 它不是正定的. 那么三角窗呢? 由于三角窗是两个矩形框的卷积, 其傅里叶变换是 \((Sa)^2\), 因此是正定的.
据张真人讲, 迄今为止, Bochner 的结果都是对相关函数最深的认识. 不过呢, Bochner 是位数学家, Bochner 定理原本的形式也更加数学化, 表述如下:
一个定义在实数轴 \(\R\) 上的连续函数 \(f:\R→\C\) 是正定的，当且仅当它是一个有限正 Borel 测度 (finite positive Borel measure) \(μ\) 的傅里叶变换; 即, 当且仅当存在一个有限正测度 \(μ\) 使得对于所有 \(x\in\R\)，有：
\[
f(x)=\intfy\exp(\rmi x\xi)\ \rmd\mu(\xi)
\]
以及高维形式:
\[
f(\bs{x})=\int_{\R^n}\exp{(\rmi\langle \bs{x},\bs\xi\rangle)}\ \rmd\mu(\bs\xi)
\]
它还能进一步推广到更一般的局部紧阿贝尔群 (Locally Compact Abelian Groups, LCA Groups). 但这就不是我能理解的了.
From Physical Perspective
对于确定信号而言, 我们常常对其进行傅里叶变换来研究它的频谱. 然而对于随机信号, 这样做意义不大: 每一次观测得到的信号都是随机的, 这些信号在经过平均处理后, 往往因其在特定频率上相位的随机性而相互抵消. 同时, 我们常常关注的宽平稳信号大概率不会是绝对可积的; 那么, 我们怎么研究比较合适呢? 我又有一计, 先看一个短区间内的积分情况, 即 short-time fourier transformation; 并且求模取平方算功率, 去掉相位的影响:
\[
\lr|{\int_{-\frac{T}{2}}^{\frac{T}{2}}\bs{X}(t)\exp(-\rmj\omega t)\rmd t}|^2
\]
要考察一个随机信号的特征, 常见的想法是取个期望; 同时再对时间 \(T\) 作个平均.
\[
\lim_{T\to\infty}\frac{1}{T}E\lr|{\int_{-\frac{T}{2}}^{\frac{T}{2}}\bs{X}(t)\exp(-\rmj\omega t)\rmd t}|^2\overset{\text{def}}{=} S_\bs{X}(\omega)
\]
这样就得到了 功率谱密度 (Power Spectrual Density, PSD) \(S_\bs{X}(\omega)\), 其单位为焦耳.
Wiener-Khinchin 定理
我们将它展开:
\[
\begin{aligned}
& \lim_{T\to\infty}\frac{1}{T}E\lr|{\int_{-\frac{T}{2}}^{\frac{T}{2}}\bs{X}(t)\exp(-\rmj\omega t)\rmd t}|^2\\
=& \lim_{T\to\infty}\frac{1}{T}E\lr({\int_{-\frac{T}{2}}^{\frac{T}{2}}\bs{X}(t)\exp(-\rmj\omega t)\rmd t})\overline{\lr({\int_{-\frac{T}{2}}^{\frac{T}{2}}\bs{X}(s)\exp(-\rmj\omega s)\rmd s})}\\
=& \lim_{T\to\infty}\frac{1}{T}\int_{-\frac{T}{2}}^{\frac{T}{2}}\int_{-\frac{T}{2}}^{\frac{T}{2}}E(\bs{X}(t)\overline{\bs{X}(s)})\exp(-\rmj\omega(t-s))\ \rmd t\rmd s\\
=& \lim_{T\to\infty}\frac{1}{T}\int_{-\frac{T}{2}}^{\frac{T}{2}}\int_{-\frac{T}{2}}^{\frac{T}{2}}R_\bs{X}(t-s)\exp(-\rmj\omega(t-s))\ \rmd t\rmd s\\
=& \intfy R_\bs{X}(\tau)\exp(-\rmj\omega\tau)\ \rmd \tau
\end{aligned}
\]
即, 宽平稳随机信号 \(\bs{X}(t)\) 的功率谱密度等价于其相关函数的 Fourier 变换. 注意, 对于复信号, 相关函数 \(R_\bs{X}(t,s)=E(\bs{X}(t),\overline{\bs{X}(s)})\), 需要取共轭. 同时, Bochner 定理在这里保证了 \(S_\bs{X}(ω)\) 总是非负的实函数, 毕竟功率怎么可能是负的嘛.
相应地, 也有:
\[
R_\bs{X}(\tau)=\frac{1}{2\pi}\intfy S_{\bs{X}}(\omega)\exp(\rmj\omega\tau)\ \rmd\omega
\]
进一步地,
\[
\frac{1}{2\pi}\intfy S_\bs{X}(\omega)\ \rmd\omega=R_\bsX(0)=E|\bsX(t)|^2
\]
即, 把功率谱密度直接对频率积分, 得到的就是随机信号 \(\bsX(t)\) 的功率.
另外, 功率谱密度也是个偶函数.
\[
\begin{aligned}
S_\bsX(-\omega)
=&\intfy R_\bs{X}(\tau)\exp(\rmj\omega\tau)\ \rmd\tau\\
=&\intfy R_\bs{X}(\tau)\cos(\omega\tau)\ \rmd\tau + \rmj \intfy R_\bs{X}(\tau)\sin(\omega\tau)\ \rmd\tau
\end{aligned}
\]
由于 \(R_\bs{X}(\tau)\) 是偶函数, \(\sin(\omega\tau)\) 是奇函数, 对称区间积分为零; 因此只剩第一项, 显然是关于 \(\omega\) 的偶函数.
总结一下本节的重要结果:
\[
\boxed{
\begin{aligned}
&S_\bs{X}(\omega)\overset{\text{def}}{=}\lim_{T\to\infty}\frac{1}{T}E\lr|{\int_{-\frac{T}{2}}^{\frac{T}{2}}\bs{X}(t)\exp(-\rmj\omega t)\rmd t}|^2 \\
&S_\bsX(\omega)=\intfy R_\bs{X}(\tau)\exp(-\rmj\omega\tau)\ \rmd \tau\\
&R_\bs{X}(\tau)=\frac{1}{2\pi}\intfy S_{\bs{X}}(\omega)\exp(\rmj\omega\tau)\ \rmd\omega
\end{aligned}
}
\]
通过线性系统后的功率谱
一个宽平稳的信号通过线性系统以后, 在频谱上乘上了线性系统的系数; 那么功率谱作何变换呢?
\[
\bs{Y}(t)=\intfy h(t-\tau)\bsX{(\tau)}\ \rmd \tau\\
\]
计算其相关函数:
\[
\begin{aligned}
R_\bs{Y}(t,s)&=E\lr({\intfy h(t-\tau)\bsX{(\tau)}\ \rmd \tau})\lr({\intfy h(s-r)\bsX{(r)}\ \rmd r})\\
&=\intfy\intfy E\lr({\bsX(\tau)\bsX(r)})h(t-\tau)h(s-r)\ \rmd \tau\rmd r\\
&=\intfy\intfy R_\bsX(\tau-r)h(t-\tau)h(s-r)\ \rmd \tau\rmd r\\
\end{aligned}
\]
令:
\[
\tilde{h}(t)=h(-t)
\]
则:
\[
\begin{aligned}
R_\bs{Y}(t,s)
&=\intfy\intfy R_\bsX(\tau-r)h(t-\tau)h(s-r)\ \rmd \tau\rmd r\\
&=\intfy\intfy R_\bsX(\tau-r)h(t-\tau)\tilde{h}(r-s)\ \rmd \tau\rmd r\\
&=(R_\bsX *h*\tilde{h})(t-s)
\end{aligned}
\]
从而, 线性系统保持宽平稳性; 并且有
\[
S_{\bs{Y}}(\omega)=S_\bsX(\omega)\cdot H(\omega)\cdot\tilde{H}(\omega)
\]
接下来只需计算 \(\tilde{H}(\omega)\):
\[
\begin{aligned}
\tilde{H}(\omega)=&\intfy h(-t)\exp(-\rmj\omega t)\ \rmd t\\
=&\intfy h(\tau)\exp(\rmj\omega\tau)\ \rmd\tau\\
=& \overline{\intfy h(\tau)\exp(-\rmj\omega\tau)\ \rmd\tau}\\
=& \overline{H(\omega)}
\end{aligned}
\]
从而:
$$
\boxed{S_\bs{Y}(\omega)=S_\bs{X}(\omega)\cdot|H(\omega)|^2}
$$