【随机过程】笔记和习题分享第一章随机过程基本概念

admin • 2022-01-05 08:29 • 人工智能

知识框架

一.随机过程

1.随机过程的三种定义方法

我们在本科的概率论中学过随机变量，随机过程的概念其实是随机变量的拓展。首先从符号上看，随机变量是大写的

Chi

$X$ ，随机过程则是

(

)

Chi(t)

$X (t)$ ，后者相当于一个受变量t控制的函数，其自变量是

$t$ ，因变量是一个随机变量；t的值不同，最后得到的随机变量也就不同。

第一种定义方法：随机过程是由一族随机变量组成的。
理解：以我们的人生为例，每个人生阶段的追求目标是不一样的，这个“不同的时间阶段”可以看作是“不同的

$t$ ”，而“追求目标”则可以看作是“不同的随机变量”。比如在童年时，我们的追求目标是“学习努力”；在读大学时，我们追求目标又不一样了，比如“保研，脱单，找实习等”。在人生中的每一个

$t$ 时，我们都存在不同的随机变量。从这个极端的例子我们不难看出，“人生”就是一个随机过程，它由无限多个随机变量组成。

第二种定义方法：随机过程是是某种随机试验的结果，出现的样本函数是随机的（即一个随机过程由无数种结果构成）
理解：随机过程实验的每一次结果叫作样本函数（样本曲线）。比如，某个随机过程在任意时间点都由同一个随机变量

$A$ 表示，随机变量可以等概率取值0或者1。这相当于在每一个瞬间（这个瞬间无限小），都存在两种取值可能，但最后实验结果是固定的。任何一次实验，都会只得到一条二进制折线（因为0和1的缘故），理论上实验结果可能出现的折线是无数种的。这也就是随机过程的第二种定义方法。

第三种定义方法：使用数学定义

X

(

t

,

ω

)

Chi(t,omega)

$X (t, ω)$ 。

(

)

Chi(t,omega)

$X (t, ω)$ ,其中

$t$ 代表时间，

omega

$ω$ 这里就可以理解为样本函数。如果

$t$ 固定,即锁定一个时间点，此时

(

)

Chi(t,omega)

$X (t, ω)$ 变成了一个随机变量。如果

omega

$ω$ 固定，即确定了一个样本函数，此时

(

)

Chi(t,omega)

$X (t, ω)$ 就不再具备随机性，相当于是各时间点状态已经确定，变成了我们平时所认识的函数了。

2.随机过程的分类

根据自变量和因变量的不同，一共有四种类型的随机过程：离散参数，离散状态的随机过程；离散参数，连续状态；连续参数，离散状态；连续参数，连续状态。在此不再赘述。值得注意的是，参数离散的随机过程叫做随机序列。

二.单一随机过程的统计特性

随机过程的统计特性分为有限维分布族和数字特征。出现两个随机过程时，其统计特性也存在有限维分布族和数字特征。本节讲述单一随机过程的统计特性。

1.有限维分布族

1）有限维分布函数族

先看看随机变量的一维分布函数，

(

)

｛

≤

｝

F(x)=P｛X≤x｝

$F (x) = P ｛ X \leq x ｝$ ，粗俗来讲就是随机变量X在抵达x前所占有的概率总和。再看看随机过程一维分布函数

(

；

)

｛

(

)

≤

｝

F(x；t)=P｛X(t)≤x｝

$F (x ； t) = P ｛ X (t) \leq x ｝$ ，也就是多了一个参数t而已，如果将t看作是已知数，那么此时的

(

)

｛

≤

｝

F(x)=P｛X≤x｝

$F (x) = P ｛ X \leq x ｝$ 与

(

；

)

｛

(

)

≤

｝

F(x；t)=P｛X(t)≤x｝

$F (x ； t) = P ｛ X (t) \leq x ｝$ 无异。相应的二维，三维…n维（有限维）也是是这个道理。随机过程的二维分布函数，相当于是固定住了两个时间点

t_{1},t_{2}

$t_{1}, t_{2}$ ,即

(

，

；

)

｛

(

)

≤

，

(

)

≤

｝

F(x_{1}，x_{2}；t_{1},t_{2})=P｛X(t_{1})≤x_{1}，X(t_{2})≤x_{2}｝

$F (x_{1} ， x_{2} ； t_{1}, t_{2}) = P ｛ X (t_{1}) \leq x_{1} ， X (t_{2}) \leq x_{2} ｝$ 。随机过程的n维分布函数,相当于是固定住了n个时间点

t_{1},t_{2}....t_{n}

$t_{1}, t_{2} . . . . t_{n}$ ，即

(

，

；

)

｛

(

)

≤

，

(

)

≤

，

(

)

≤

｝

F(x_{1}，x_{2}....，x_{n}；t_{1},t_{2},....t_{n})=P｛X(t_{1})≤x_{1}，X(t_{2})≤x_{2}，.....X(t_{n})≤x_{n}｝

$F (x_{1} ， x_{2} . . . . ， x_{n} ； t_{1}, t_{2}, . . . . t_{n}) = P ｛ X (t_{1}) \leq x_{1} ， X (t_{2}) \leq x_{2} ， . . . . . X (t_{n}) \leq x_{n} ｝$ 。具体关于分布函数的知识在本科的概率论课程中已经提到在此不过多赘述。有限维分布函数族有对称性和相容性两个性质。

2）有限维分布密度族

密度族和分布族的理解相似，即当固定一个t,固定两个t…固定n个t时，对相应的n维分布函数进行微分变换。（这里有一个前提条件，固定n个t时，此时的随机变量或者随机矢量具有连续概率分布）。
一维分布密度：

(

;

)

f(x;t)

$f (x; t)$ =

∂

(

;

)

∂

frac{partial F(x;t)}{partial x}

$\frac{\partial F ( x ; t )}{\partial x}$
n维分布密度:

(

，

；

)

f(x_{1}，x_{2}....，x_{n}；t_{1},t_{2},....t_{n})

$f (x_{1} ， x_{2} . . . . ， x_{n} ； t_{1}, t_{2}, . . . . t_{n})$ =

∂

(

，

；

)

∂

frac{partial F(x_{1}，x_{2}....，x_{n}；t_{1},t_{2},....t_{n})}{partial x_{1}partial x_{2}..partial x_{n}}

$\frac{\partial F ( x _{1} ， x _{2} . . . . ， x _{n} ； t _{1} , t _{2} , . . . . t _{n} )}{\partial x _{1} \partial x _{2} . . \partial x _{n}}$

练习题1：固定一个t，固定两个t让求一维分布函数和二维分布函数

练习题2：

2.数字特征

1）单一时刻的数字特征

一维随机变量的主要数字特征是数学期望和方差，那么相似的，一维随机过程在单一时刻的数字特征是数学期望函数和方差函数，在两个时刻的数字特征是（自）协方差函数和（自）相关函数。注意对比其区别，我们能看到明显的不同是随机过程的数字特征后面跟了一个“函数”，这就是由于自变量t出现导致的，此时的数字特征是因

$t$ 而变化的函数量。如果把

$t$ 看做已知量，那么就和随机变量的数字特征一样了，是一个数。

随机过程的数学期望用

(

)

m_{x}(t)

$m_{x} (t)$ 表示

(

)

m_{x}(t)

$m_{x} (t)$ =

∫

int

$\int$

(

;

)

xf(x;t)dx

$x f (x; t) d x$ ,

∈

tin T

$t \in T$ ,其中积分限是从

−

∞

-infty

$- \infty$ 到

∞

+infty

$+ \infty$
我们对比一下随机变量的数学期望，也就不难理解了。

$E X$ =

∫

int

$\int$

(

)

xf(x)dx

$x f (x) d x$ ,其中积分限是从

−

∞

-infty

$- \infty$ 到

∞

+infty

$+ \infty$ ，也就是随机过程多了参数t。

随机过程的方差用

(

)

D_x(t)

$D_{x} (t)$ 表示，

(

)

(

)

[

(

)

−

(

)

]

D_x(t)=DX(t)=E[X(t)-m_x(t)]^{2}

$D_{x} (t) = D X (t) = E [X (t) - m_{x} (t)]^{2}$
对比随机变量，则有

[

−

]

DX=E[X-EX]^{2}

$D X = E [X - E X]^{2}$ ，依然是随机过程多了一个

$t$ 。

(

)

D_x(t)

$D_{x} (t)$ 开平方即是标准差。它和方差都在描述样本曲线的分散程度。

（

）

EX^{2}（t）

$E X^{2} （ t ）$ 代表随机过程的均方值。数学期望函数，均方值函数，方差函数拥有在随机变量中一致的关系。

2）两个时刻的数字特征

使用相似的理解方法，我们直接给出（自）协方差函数和（自）相关函数的表达式。
（自）协方差函数

(

)

(

)

(

)

C_X(t_1,t_2)=cov(X(t_1),X(t_2))

$C_{X} (t_{1}, t_{2}) = c o v (X (t_{1}), X (t_{2}))$
（自）相关函数

(

)

[

(

)

(

)

]

R_X(t_1,t_2)=E[X(t_1)X(t_2)]

$R_{X} (t_{1}, t_{2}) = E [X (t_{1}) X (t_{2})]$
它们之间存在关系

(

)

C_X(t_1,t_2)

$C_{X} (t_{1}, t_{2})$ =

(

)

−

(

)

(

)

R_X(t_1,t_2)-m_x(t_1)m_x(t_2)

$R_{X} (t_{1}, t_{2}) - m_{x} (t_{1}) m_{x} (t_{2})$
当t_1=t_2时，即

(

)

(

)

C_X(t,t)=D_X(t)

$C_{X} (t, t) = D_{X} (t)$ ,方差是一种特殊的协方差。可以说数学期望和方差是两个最基本的数字特征，相关函数和协方差函数都可以从它们身上得到。
为什么相关函数和协方差函数前面有一个（自）呢？是因为在两个随机过程的统计特性中，存在横跨两个随机过程的（互）协方差函数和（互）相关函数。（“自”和“互”）