\[
\newcommand{\bs}{\boldsymbol}
\newcommand{\bsX}{\boldsymbol{X}}
\newcommand{\bf}{\mathbf}
\newcommand{\msc}{\mathscr}
\newcommand{\mca}{\mathcal}
\newcommand{\T}{\text{T}}
\newcommand{\rme}{\mathrm{e}}
\newcommand{\rmi}{\mathrm{i}}
\newcommand{\rmj}{\mathrm{j}}
\newcommand{\rmd}{\mathrm{d}}
\newcommand{\rmm}{\mathrm{m}}
\newcommand{\rmb}{\mathrm{b}}
\newcommand{\and}{\land}
\newcommand{\or}{\lor}
\newcommand{\exist}{\exists}
\newcommand{\sube}{\subseteq}
\newcommand{\lr}[3]{\left#1 #2 \right#3}
\newcommand{\intfy}{\int_{-\infty}^{+\infty}}
\newcommand{\sumfy}[1]{\sum_{#1=-\infty}^{+\infty}}
\newcommand{\vt}{\vartheta}
\newcommand{\ve}{\varepsilon}
\newcommand{\vp}{\varphi}
\newcommand{\Var}{\text{Var}}
\newcommand{\Cov}{\text{Cov}}
\newcommand{\edef}{\xlongequal{def}}
\newcommand{\prob}{\text{P}}
\newcommand{\Exp}{\text{E}}
\newcommand{\t}[1]{\text#1}
\newcommand{\N}{\mathbb{N}}
\newcommand{\Z}{\mathbb{Z}}
\newcommand{\Q}{\mathbb{Q}}
\newcommand{\R}{\mathbb{R}}
\newcommand{\C}{\mathbb{C}}
\newcommand{\versionofnewcommand}{\text{260125}}
\]
Non-Stationary Stochastic Process
"Non", 重点要看 "non" 在哪里. 也就是说, 都是 case by case 的. 本节主要看 周期/循环平稳过程 (Cyclostationary Process) 和 正交增量过程 (Orthogonal Increment Process)
Cyclostationary Process
Cyclo- 意味着 \(\exist T,\ R_\bsX(t,s)=R_\bsX(t+T,s+T)=R_\bsX(t+nT,s+nT),\ \forall n\in\Z\). 事实上, 我们可以通过一步简单的相位调制, 使信号变为宽平稳的:
Theorem: Let \(\theta\sim U(0,T)\), independent of \(\bsX(t)\) \(\Rightarrow\) \(\bs{Y}(t)=\bsX(t+\theta)\) is W.S.S..
Proof:
\[
\begin{aligned}
R_\bs{Y}(t,s)=&E(\bsX(t+\theta)\bsX(s+\theta))\\
=& E(E(\bsX(t+\theta)\bsX(s+\theta)|\theta))\\
=& E(R_\bs{X}(t+\theta,s+\theta))\\
=& \frac{1}{T}\int_{0}^T R_\bs{X}(t+\theta,s+\theta)\ \rmd\theta\\
=& \frac{1}{T}\int_{s}^{s+T}R_\bsX(t-s+\theta^\prime,\theta^\prime)\ \rmd\theta^\prime\\
=& \frac{1}{T}\int_{0}^{T}R_\bsX(t-s+\theta^\prime,\theta^\prime)\ \rmd\theta^\prime
\end{aligned}
\]
对证明过程做两点说明. 首先, 对多个随机变量求期望, 一个很重要的思想是求条件期望分布解决. 典型例子见 Modern DSP 笔记 1. Statistics Review.
脉冲幅度调制 Pulse Amplitude Modulation (PAM)
\[
\bs{X}(t)=\sum_{t=-\infty}^{+\infty}\bs\alpha_k\cdot {\phi}(t-kT)
\]
在通信中, \(\bs\alpha_k\) 称为信息符号 (information symbol), 根据不同的调制深度, 承载不同比特数的信息量. \(\phi\) 称为基带波形 (baseband waveform), 是定义谱形状修饰的, 即每个信息单元在时域上的表现形式. \(T\) 则是码片长度, 定义了每个信息符号的持续时间, 从而也定义了速度 (时间的倒数).
假定 \(\bs\alpha_k\) 是宽平稳的, 即 \(E(\bs\alpha_k,\bs\alpha_m)=R_\bs\alpha(k-m)\). 那么, 我们自然好奇, \(\bsX(t)\) 是不是宽平稳的呢? 来算一下:
\[
\begin{aligned}
R_\bsX(t,s)=&E(\bsX(t),\bsX(s))\\
=& E\lr({\sumfy{k}\bs\alpha_k{\phi}(t-kT)})\lr({\sumfy{n}\bs\alpha_n{\phi}(s-nT)})\\
=& \sumfy{k}\sumfy{n} E(\bs\alpha_k\bs\alpha_n){\phi}(t-kT){\phi}(s-nT)\\
=& \sumfy{k}\sumfy{n} R_\bs\alpha(k-n){\phi}(t-kT){\phi}(s-nT)\\
\end{aligned}
\]
在这里停一下, 这个确定的 \(\phi\) 似乎很难做到宽平稳噢. 然而, 周期平稳看起来是可以做到的. 例如, 让 \(\phi\) 各平移 \(T\),
\[
\begin{aligned}
R_\bsX(t+T,s+T)
=& \sumfy{k}\sumfy{n} R_\bs\alpha(k-n){\phi}(t-(k-1)T){\phi}(s-(n-1)T)\\
=& \sumfy{k^\prime}\sumfy{n^\prime} R_\bs\alpha(k^\prime-n^\prime){\phi}(t-k^\prime T){\phi}(s-n^\prime T)\\
=& \sumfy{k}\sumfy{n} R_\bs\alpha(k-n){\phi}(t-kT){\phi}(s-nT)\\
=& R_\bsX(t,s)
\end{aligned}
\]
也就是说, 4G 5G 这种信号的基本调制方式 PAM, 是以码片长度为周期的周期平稳. 不过再加上个相位调制或许就是宽平稳了, 从而可以运用傅里叶变换, 谱分析这些手段. 因此我们验证 $\(\bs{Y}(t)=\bsX(t+\theta)\)$ 下,
\[
\begin{aligned}
R_\bs{Y}(t,s)=&E_\theta(R_\bsX(t+\theta,s+\theta))\\
=&\frac{1}{T}\int_{0}^T R_\bs{X}(t+\theta,s+\theta)\ \rmd\theta\\
=& \frac{1}{T}\int_{0}^T \sumfy{k}\sumfy{n}
R_\bs\alpha(k-n){\phi}(t+\theta-kT){\phi}(s+\theta-nT)\ \rmd\theta\\
=& \frac{1}{T} \sumfy{k}\sumfy{n}R_\bs\alpha(k-n)\int_{0}^T
{\phi}(t+\theta-kT){\phi}(s+\theta-nT)\ \rmd\theta\\
\end{aligned}
\]
这里肯定要换元了, 要不然太乱. 仿照前例, 令 \(\theta^\prime = s+\theta-nT\), 以及 \(k^\prime=k-n\), \(n^\prime=n\),
\[
\begin{aligned}
R_\bs{Y}(t,s)=& \frac{1}{T} \sumfy{k}\sumfy{n}R_\bs\alpha(k-n)\int_{s-nT}^{s-(n-1)T}
{\phi}(\theta^\prime+ -(k-n)T)\ {\phi}(\theta^\prime)\ \rmd\theta^\prime\\
=& \frac{1}{T} \sumfy{k^\prime}\sumfy{n^\prime}R_\bs\alpha(k^\prime)
\int_{s-n^\prime T}^{s-(n^\prime -1)T}
{\phi}(\theta^\prime+ (t-s)-k^\prime T)\ {\phi}(\theta^\prime)\ \rmd\theta^\prime\\
=& \frac{1}{T} \sumfy{k^\prime}R_\bs\alpha(k^\prime)\intfy
{\phi}(\theta^\prime+ (t-s)-k^\prime T)\ {\phi}(\theta^\prime)\ \rmd\theta^\prime
\end{aligned}
\]
在信号与系统中, 我们学过确定性信号的相关函数:
\[
R_\phi(\tau)=\intfy\phi(\theta^\prime+\tau)\ \phi(\theta^\prime)\ \rmd\theta^\prime
\]
再令 \(\tau=t-s\), 就有一个好看的, 类似卷积的形式了:
\[
\begin{aligned}
R_\bs{Y}(t,s)=& \frac{1}{T} \sumfy{k^\prime}
R_\bs\alpha(k^\prime)R_\phi(\tau-k^\prime T)\\
\end{aligned}
\]
我们对这个结果做 Fourier 变换:
$$
\begin{aligned}
&\intfy{R_\bs{Y}(t,s)}\exp(-\rmj\omega\tau)\ \rmd\tau\
=&\frac{1}{T} \intfy\sumfy{k^\prime}
R_\bs\alpha(k^\prime)R_\phi(\tau-k^\prime T)
\exp(-\rmj\omega\tau)\ \rmd\tau\\
=&\frac{1}{T} \sumfy{k^\prime} R_\bs\alpha(k^\prime)
\intfy R_\phi(\tau-k^\prime T)
\exp(-\rmj\omega\tau)\ \rmd\tau\\
=& \frac{1}{T} \sumfy{k^\prime}
R_\bs\alpha(k^\prime)
\intfy R_\phi(\tau^\prime)
\exp(-\rmj\omega\tau^\prime)\exp(-\rmj\omega k^\prime T)\ \rmd\tau^\prime\\
=& \frac{1}{T} \lr({\sumfy{k^\prime}
R_\bs\alpha(k^\prime)\exp(-\rmj\omega k^\prime T)})
\lr({\intfy R_\phi(\tau^\prime)
\exp(-\rmj\omega\tau^\prime)\ \rmd\tau^\prime})\\
=& \frac{1}{T}\ S_\bs{\alpha}(\omega T)\ S_\phi(\omega)
\end{aligned}
$$
这就是最终的结果了, 即我们常说的 "通信信号的谱". 一部分由信息符号贡献, 另一部分由基带波形贡献. 最后整理一下:
\[
\boxed{
\begin{aligned}
\bs{X}(t)&=\sum_{t=-\infty}^{+\infty}\bs\alpha_k\cdot {\phi}(t-kT)\\
\bs{Y}(t)&=\bsX(t+\theta),\quad \theta\sim U(0,T)\\
S_\bs{Y}(\omega)&=\frac{1}{T}\ S_\bs{\alpha}(\omega T)\ S_\phi(\omega)
\end{aligned}
}
\]
Orthogonal Increment Process
设一随机过程 \(\bsX(t)\), \(\bsX(0)=0\), 并且满足任意两段不重叠区间上的增量正交, 即:
\[
\forall\ t_1<t_2\leq t_3<t_4,\quad \bsX(t_4)-\bsX(t_3)\perp \bsX(t_2)-\bsX(t_1)
\]
直觉上来讲, 他似乎是非平稳的, 毕竟正交意味着不相关, 也就是说不断地有新信息加入. 我们用计算说明这一点: 取时间 \(t,\ s\), 不妨设 \(t>s\), 计算相关函数:
\[
\begin{aligned}
R_\bsX(t,s)&=E(\bsX(t)\bsX(s))\\
&= E([\bsX(t)-\bsX(s)+\bsX(s)]\cdot[\bsX(s)-\bsX(0)]) \\
&= E([\bsX(t)-\bsX(s)][\bsX(s)-\bsX(0)]+\bsX^2(s))\\
&= E(\bsX^2(s))\\
&= E(\bsX^2(\min(t,s)))
\end{aligned}
\]
所以不是宽平稳. 但这个形式还挺好看的, 正交增量过程的相关函数只依赖于时刻的最小值, 这和宽平稳只依赖于差值有一样的美感. 那么, 我们反过来讲, 如果一个过程的相关函数只依赖于时刻的最小值, 该过程是正交增量的吗? 来验证一下: 假设
\[
R_\bsX(t,s)=g(\min(s,t))
\]
那么, 计算两个增量之间的协方差:
\[
\begin{aligned}
&\ E([\bsX(t_4)-\bsX(t_3)][\bsX(t_2)-\bsX(t_1)])\\
=&\ R_\bsX(t_4,t_2)+R_\bsX(t_3,t_1)-R_\bsX(t_4,t_1)-R_\bsX(t_3,t_2)\\
=&\ g(t_2)+g(t_1)-g(t_1)-g(t_2)=0\\
\end{aligned}
\]
的确如此. 即: 正交增量 \(\Leftrightarrow\) \(R_\bsX(t,s)=E(\bsX^2(\min(s,t)))\).
Brown Motion / Wiener Process
布朗运动, 或者说 Wiener Process 有若干种等价定义, 我们先举 Wiener 给出的一种常用定义: 我们称满足以下条件的随机过程为布朗运动:
\[
\bs{B}(0)=0,\quad \text{Orthogonal Increment},\quad \bs{B}(t)-\bs{B}(s)\sim N(0,\sigma^2(t-s)),\ \forall t,s
\]
由之前的计算,
\[
R_\bs{B}(t,s)=E(\bs{B}^2(\min(t,s)))=\Var(\bs{B}^2(\min(t,s)))=\sigma^2\cdot\min(t,s)
\]
接下来, 我们证明一件神奇的事情:
Theorem: 若 \(\bs{Y}(t)=\frac{\rmd}{\rmd t}\bs{B}(t)\), 那么 \(\bs{Y}(t)\) 是宽平稳的.
Proof: 计算相关函数:
\[
\begin{aligned}
R_\bs{Y}(t,s)=&\ E\lr({\frac{\rmd}{\rmd t}\bs{B}(t)\frac{\rmd}{\rmd t}\bs{B}(s)})\\
=&\ \frac{\partial^2}{\partial t\partial s}E\lr({\bs{B}(t)\bs{B}(s)})\\
=&\ \frac{\partial^2}{\partial t\partial s}R_\bs{B}(t,s)\\
=&\ \sigma^2\cdot\frac{\partial^2}{\partial t\partial s}\min(t,s)
\end{aligned}
\]
这里有个问题, \(\min(t,s)\) 这个函数怎么求导呢? 事实上, 可以这么考虑:
\[
\min(t,s)=\frac{1}{2}(t+s-|t-s|)
\]
而对绝对值求导, 得到的就是符号函数 \(\text{sgn}(x)=U(x)-U(-x)\); 对符号函数再求导, 等价于对阶跃函数求导, 得到的便是 \(\delta(x)\). 因此, 我们继续写下去:
\[
\begin{aligned}
R_\bs{Y}(t,s)
=&\ \sigma^2\cdot\frac{\partial^2}{\partial t\partial s}\min(t,s)\\
=&\frac{\sigma^2}{2}\cdot\frac{\partial^2}{\partial t\partial s}(t+s-|t-s|)\\
=&-\frac{\sigma^2}{2}\cdot\frac{\partial^2}{\partial t\partial s}|t-s|\\
=&-\frac{\sigma^2}{2}\cdot\frac{\rmd}{\rmd s}\text{sgn}(t-s)\\
=&\ \sigma^2\cdot\delta(t-s)
\end{aligned}
\]
因此, \(\bs{Y}(t)\) 的相关函数是 \(\delta(t-s)\), 这说明 \(\bs{Y}(t)\) 是白噪声. 即: 对 Brown Motion / Weiner Process 求导 (高通滤波) 得到的是白噪声.