# [概率论之期望与方差](https://www.cnblogs.com/zhangwenbiao/p/3721418.html) 		



先引入两个问题

**问题1**：一赌徒，下赌本*n*

元，赌博成功的概率为*p*

此时赢得奖金为*m*(*m*>*n*)

元，要不要试一试手？

**问题2**：小红与小明是班级中的佼佼者，考试的平均成绩相同，问派随代表学校参加竞赛比较公平？

 

​    如果我们知道随机变量的概率分布，那么关于随机变量的所有信息我们都可以得到，然而很多时候得到概率分布是不容易的而且没有必要，退而求其次我们需要刻画随机变量的一些特征。为解决问题1提出来数学**期望**(expectation)的概念,为解决问题2提出方差概念。

 

定义：

期望（expectation）:设随机变量*X*

取值为*x*1,*x*2,⋯,*x**n*，⋯

的概率为*p*1,*p*2,⋯,*p**n*,⋯

.



*E*(*X*)=∑*x**i**p**i*





连续型随机变量*X*∼*f*(*x*)





*E*(*X*)=∫+∞−∞*x**f*(*x*)*d**x*





期望是随机变量的特征刻画，关于级数收敛应该为排项次序无关，故应当绝对收敛，积分也应当是绝对收敛。从期望的定义可以看出期望实际是一种加权平均值。一般的算术平均可以看做是期望的一种特殊情况，设随机变量取值*x*1,*x*2,⋯,*x**n*

的概率为1*n*





*E*(*X*)=*x*1+*x*2+⋯+*x**n**n*





现在来看问题1，把**赢得钱数为随机变量**



*E*(*X*)=−(1−*p*)*n*+*p**m*





当*m*≥1−*p**p**n*

时，*E*(*X*)≥0

.还是值得玩一玩的。当然关于这个*p*

的值是多少？多多少少有一点主观的成分在里面。

有了期望的定义，我们就可以计算(二)中的各个分布的数学期望。

期望的性质：

(1) 随机变量的和的期望等于各随机变量期望之和



*E*(*X*+*Y*)=*E*(*X*)+*E*(*Y*)





Proof:

先看离散的情况



*E*(*X*+*Y*)=∑*i*,*j*(*x**i*+*y**j*)*p**i**j*=∑*i**x**i*∑*j**p**i**j*+∑*j**y**j*∑*i**p**i**j*=*E*(*X*)+*E*(*Y*)





连续的情况类似



*E*(*X*+*Y*)=∫∫(*x*+*y*)*f*(*x*,*y*)*d**x**d**y*=*E*(*X*)+*E*(*Y*)





问题：对无穷多个随机变量上面的等式还成立吗？(理论上探索可能有意义，而实际过程中随机变量的个数总是有限多个，此处欠妥)

(2)随机变量的常数倍 



*E*(*a**X*)=*a**E*(*X*)





(3) 若*X*∼*f*(*x*)

,导出的新随机变量*Y*=*g*(*X*)





*E*(*Y*)=∫+∞−∞*g*(*x*)*f*(*x*)*d**x*





(4) 若随机变量*X*,*Y*

**独立**



*E*(*X**Y*)=*E*(*X*)*E*(*Y*)





更进一步，*g*(*X*)

和*h*(*Y*)

相互独立



*E*(*g*(*X*)*h*(*Y*))=*E*(*g*(*X*))*E*(*h*(*Y*))





 (5) 对于多维随机变量(*X*,*Y*)∼*f*(*x*,*y*)



*X*

的边缘密度函数



*f*(*x*)=∫+∞−∞*f*(*x*,*y*)*d**y*





因此



*E*(*X*)=∫+∞−∞∫+∞−∞*x**f*(*x*,*y*)*d**x**d**y*





*Y*

的边缘密度函数



*g*(*y*)=∫+∞−∞*f*(*x*,*y*)*d**x*





此时



*E*(*Y*)=∫+∞−∞∫+∞−∞*y**f*(*x*,*y*)*d**x**d**y*





 回忆(一)中的条件概率公式



*P*(*B*|*A*)=*P*(*A**B*)*P*(*A*)





则



*P*(*Y*=*y*|*X*=*x*)=*P*(*Y*=*y*,*X*=*x*)*P*(*X*=*x*)





即



*f*(*y*|*x*)=*f*(*x*,*y*)∫+∞−∞*f*(*x*,*y*)*d**y*





定义条件期望(*Y*

对*X*

的**回归函数**)



*E*(*Y*|*x*)=∫+∞−∞*y**f*(*y*|*x*)*d**y*





 整理一下



*E*(*Y*|*x*)=1*f*(*x*)∫+∞−∞*y**f*(*x*,*y*)*d**y*





Remark:在此式中可能涉及分母为0的情况，可用极限处理。

从而我们得到了条件期望与期望的关系



*E*(*Y*)=∫+∞−∞*E*(*Y*|*x*)*f*(*x*)*d**x*





 

**方差**(variance)：方差是衡量在期望*μ*=*E*(*X*)

(均值)附近震荡程度的量可用下式计算



*V**a**r*(*X*)=*E*(*X*−*μ*)2





一个等价的公式是



*V**a**r*(*X*)=*E*(*X*2)−*E*2(*X*)





方差的性质:

(1) *V**a**r*(*X*)≥0

,*V**a**r*(*c*)=0

,指常数没有震荡。

(2) *V**a**r*(*c**X*)=*c*2*V**a**r*(*X*)

 此公式提供了改善震荡的一个方法那就是将随机变量取值进行伸缩。

(3) *V**a**r*(*X*+*c*)=*V**a**r*(*X*)

,对所有随进变量取值进行平移不改变震荡程度。

(4) **独立**的随机变量之和的方差等于方差的和(Remark:均值的这个性质不要求随机变量独立)



*V**a**r*(*X*+*Y*)=*V**a**r*(*X*)+*V**a**r*(*Y*)





Proof:



*V**a**r*(*X*+*Y*)=*E*(*X*2+*Y*2+2*X**Y*)−*E*2(*X*)−*E*2(*Y*)−2*E*(*X*)*E*(*Y*)





因为*X*,*Y*

互相独立



*E*(*X**Y*)=*E*(*X*)*E*(*Y*)





带入上式便得



*V**a**r*(*X*+*Y*)=*V**a**r*(*X*)+*V**a**r*(*Y*)





从证明过程看独立条件必不可少。由于方差是由期望定义的，所以方差的一切性质可由期望导出，可见期望的概念要比方差重要。

 

**中位数**：另一个日后可能用到的概念



*F*(*m*)=*P*(*X*≤*m*)=12





称m为分布*F*

的中位数或者*X*

的中位数。类似有众数等。

 

**矩**：是期望和方差的推广，是很重要的概念。



*E*(*X**k*)=∫+∞−∞*x**k**f*(*x*)*d**x*





称为随机变量*X*

的*k*

阶原点矩。



*E*(*X*−*μ*)*k*=∫+∞−∞(*x*−*μ*)*k**f*(*x*)*d**x*





称为随机变量*X*

的*k*

阶中心矩。

由任意阶矩的信息推测分布函数的信息是概率论的一个重要课题。一阶原点矩表示期望，二阶中心矩表示方差。更高阶的矩也有一定的意义，三阶中心矩（**偏态**）与偏度有关，四阶中心矩（**峰态**）和峰度有关。

**母函数**：



*G*(*z*)=∑*z**n**P*(*X*=*n*)





称*G*(*z*)

为随机变量*X*

生成的母函数。

**矩母函数：**



*M**X*(*t*)=*E*(*e**t**X*)=∫+∞−∞*e**t**x**f*(*x*)*d**x*





对其求导便可得到随机变量的所有矩。*ψ*(*n*)(0)



**特征函数**：



*ψ**X*(*t*)=*E*(*e**i**t**X*)=∫+∞−∞*e**i**t**x**f*(*x*)*d**x*





函数的Laplace变换与Forier变换，**后者尤其重要**。 

问题3：设身高*X*

,体重*Y*

，这两个随机变量有没有相关性？

**协方差与相关系数**：



*C**o**v*(*X*,*Y*)=*E*[(*X*−*μ**X*)(*Y*−*μ**Y*)]





一个等价的公式



*C**o**v*(*X*,*Y*)=*E*(*X**Y*)−*E*(*X*)*E*(*Y*)





性质：

(1) 显然 *C**o**v*(*X*,*X*)=*V**a**r*(*X*)



(2) 若*X*,*Y*

相互独立，*C**o**v*(*X*,*Y*)=0

.意义很明显若*X*,*Y*

独立则他们不相关。(独立的一个必要条件)

(3) 有不等式[*C**o**v*(*X*,*Y*)]2≤*V**a**r*(*X*)*V**a**r*(*Y*)

.类似内积空间的*C**S**B*

不等式，因此证明方法相同。

 

标准差：随机变量*X*

的标准差定义为方差的开方



*σ*=*V**a**r*(*X*)−−−−−−√





相关系数：



*ρ*=*C**o**v*(*X*,*Y*)*σ**X**σ**Y*





 



分类: [概率论与随机过程](https://www.cnblogs.com/zhangwenbiao/category/575744.html)