期望、方差与协方差：分布的中心、尺度和共同变化

为什么需要分布的数值摘要

随机变量的完整分布包含所有区间概率，但比较多个分布时，逐点列出分布函数往往过于繁重。期望描述取值按概率加权后的中心，方差描述围绕中心的平方波动，协方差描述两个变量偏离各自中心时是否倾向于同号变化。三者把分布压缩成少量数字，便于推导、估计和优化。

压缩必然丢失信息。两个分布可以有相同期望与方差，却在偏斜、尾部和多峰结构上完全不同；协方差为零也不能排除非线性依赖。因此这些量应被视为针对特定问题的摘要，而不是分布的完整替代。

期望的定义与存在条件

对离散随机变量 $X$，若取值为 $x$ 的概率质量为 $p_X(x)$，期望定义为

$$\mathbb E[X]=\sum_x x\,p_X(x).$$

对具有密度 $f_X$ 的连续随机变量，期望定义为

$$\mathbb E[X]=\int_{-\infty}^{\infty}x f_X(x)\,dx.$$

更一般地，期望是相对于分布 $P_X$ 的积分。为了让有限期望定义明确，通常要求

$$\mathbb E[|X|]<\infty.$$

如果正部与负部积分都发散，不能依靠形式上的正负抵消宣布期望为零。标准 Cauchy 分布关于原点对称，但 $\mathbb E[|X|]$ 发散，普通意义下的期望不存在。对称性只能说明截断区间上的主值可能为零，主值不是概率论中有限期望的替代。

期望不要求随机变量实际取到该值。公平六面骰子的期望为 $3.5$，样本结果却只可能是整数。它表示大量重复试验总和按次数归一后的理论中心，需要大数定律等额外条件才能把长期平均与期望连接起来。

无意识统计学家定律与指示变量

若 $Y=g(X)$，无需先完整求出 $Y$ 的分布，也可以直接按 $X$ 的分布计算

$$\mathbb E[g(X)] =\sum_x g(x)p_X(x)$$

或

$$\mathbb E[g(X)] =\int_{-\infty}^{\infty}g(x)f_X(x)\,dx,$$

前提是相应期望存在。这一规则常被称为无意识统计学家定律，其依据是对复合随机变量积分，并非忽略变量变换条件的技巧。

事件 $A$ 的指示变量记为 $\mathbf 1_A$，事件发生时取一，否则取零。它的期望为

$$\mathbb E[\mathbf 1_A]=P(A).$$

计数变量常可写成多个指示变量之和。例如三十个元件中失效元件数等于三十个“第 $i$ 个元件失效”的指示量相加。即使这些指示量不独立，期望的线性性仍可直接给出总失效数的期望。

期望的线性性

只要相关期望存在，对常数 $a,b$ 有

$$\mathbb E[aX+bY]=a\mathbb E[X]+b\mathbb E[Y].$$

线性性不要求 $X$ 与 $Y$ 独立。这一点使复杂总量的平均值可以拆成局部平均值。独立性会在乘积期望和方差相加中发挥作用，但不是期望求和的前提。

对有限个随机变量可以反复使用同一规则；对无穷和交换期望与求和时，则需要单调收敛、控制收敛或绝对可积等条件，不能只凭有限和公式类推。

对非线性函数，一般没有 $\mathbb E[g(X)]=g(\mathbb E[X])$。凸函数满足 Jensen 不等式

$$g(\mathbb E[X])\le\mathbb E[g(X)],$$

前提是两侧有定义。平方函数给出 $(\mathbb E[X])^2\le\mathbb E[X^2]$，这正是方差非负性的来源之一。

方差与标准差

令 $\mu=\mathbb E[X]$。若二阶矩有限，方差定义为

$$\operatorname{Var}(X) =\mathbb E[(X-\mu)^2].$$

被积量非负，所以方差非负。展开平方并使用期望线性性得到常用计算式

$$\operatorname{Var}(X) =\mathbb E[X^2]-(\mathbb E[X])^2.$$

该式计算方便，却可能在浮点数中发生两个大而接近的数相减，数值实现应考虑稳定的在线算法或中心化计算。

方差对平移不变、对缩放按平方变化：

$$\operatorname{Var}(aX+b)=a^2\operatorname{Var}(X).$$

若 $X$ 的单位是米，方差单位是平方米。标准差

$$\sigma_X=\sqrt{\operatorname{Var}(X)}$$

恢复与 $X$ 相同的单位，更适合解释典型尺度。标准差仍会受极端值影响，也不能在严重偏斜分布中直接解释为对称误差范围。

例题一：离散需求量的中心与波动

例 1：从概率表计算期望、方差与线性成本

某零件一天的需求量 $X$ 取 $0,1,2,3$，概率分别为 $0.1,0.3,0.4,0.2$。概率非负且总和为一。期望为

$$\mathbb E[X] =0\times0.1+1\times0.3+2\times0.4+3\times0.2 =1.7.$$

二阶矩为

$$\mathbb E[X^2] =0+1\times0.3+4\times0.4+9\times0.2 =3.7.$$

因此

$$\operatorname{Var}(X)=3.7-1.7^2=0.81, \qquad \sigma_X=0.9.$$

假设每日成本为 $C=50X+200$ 元，其中二百元是固定成本。期望成本为 $\mathbb E[C]=50\times1.7+200=285$ 元，方差为 $\operatorname{Var}(C)=50^2\times0.81=2025$ 平方元，标准差为四十五元。固定成本改变中心而不改变波动；单价把标准差放大五十倍。期望需求 $1.7$ 不属于实际可出现的整数需求集合；它表示概率加权中心。

协方差的定义与运算

若 $X,Y$ 具有有限二阶矩，协方差定义为

$$\operatorname{Cov}(X,Y) =\mathbb E[(X-\mathbb E[X])(Y-\mathbb E[Y])].$$

展开后得到

$$\operatorname{Cov}(X,Y) =\mathbb E[XY]-\mathbb E[X]\mathbb E[Y].$$

正协方差表示两个中心化变量倾向同号，负协方差表示倾向异号。其绝对大小依赖变量尺度：把 $X$ 从米换成厘米会把协方差放大一百倍。因此不能脱离单位直接比较不同变量对的协方差大小。

协方差具有对称性和双线性。对常数 $a,b,c,d$，

$$\operatorname{Cov}(aX+b,cY+d) =ac\operatorname{Cov}(X,Y).$$

常数平移不影响协方差。随机变量和的方差为

$$\operatorname{Var}(X+Y) =\operatorname{Var}(X)+\operatorname{Var}(Y) +2\operatorname{Cov}(X,Y).$$

若 $X,Y$ 独立且二阶矩有限，则 $\mathbb E[XY]=\mathbb E[X]\mathbb E[Y]$，从而协方差为零。反方向一般不成立：零协方差只排除一种线性共同变化，不排除确定性的非线性依赖。

相关系数与尺度标准化

当两个方差都为正时，相关系数定义为

$$\rho_{X,Y} =\frac{\operatorname{Cov}(X,Y)}{\sigma_X\sigma_Y}.$$

由柯西—施瓦茨不等式，$-1\le\rho_{X,Y}\le1$。它消除了线性单位缩放，便于比较线性关联强度。$|\rho|=1$ 表示中心化变量之间存在几乎处处的精确线性关系；$\rho=0$ 仍可能存在曲线、周期或分组依赖。

相关也不提供因果方向。共同原因、选择机制、时间趋势和测量过程都可能产生相关。判断因果效应需要干预、实验设计或明确的因果假设，不能仅依靠协方差矩阵。

例题二：零协方差但完全依赖

例 2：对称性消除线性相关却保留非线性关系

令 $X$ 在 $\{-1,0,1\}$ 上均匀分布，定义 $Y=X^2$。因为 $Y$ 由 $X$ 唯一确定，二者显然不独立：知道 $X=0$ 就能确定 $Y=0$，知道 $Y=1$ 则排除 $X=0$。

利用对称性，

$$\mathbb E[X]=0, \qquad \mathbb E[Y]=\mathbb E[X^2]=\frac23.$$

乘积 $XY=X^3$，所以

$$\mathbb E[XY]=\mathbb E[X^3] =\frac{-1+0+1}{3}=0.$$

于是

$$\operatorname{Cov}(X,Y) =0-0\times\frac23=0.$$

$X$ 与 $Y$ 零协方差，却存在确定的平方关系。散点只落在 $(-1,1),(0,0),(1,1)$ 三点，呈明显弯曲结构。该反例说明相关系数只概括线性关系，不能用“相关为零”代替“相互独立”。

还可算得 $\operatorname{Var}(X)=2/3$、$\operatorname{Var}(Y)=2/9$，二者都具有正方差，因此相关系数确实定义为零。结果并非由某个变量退化为常数造成。

多变量协方差矩阵

对随机向量 $\mathbf X=(X_1,\ldots,X_d)^\mathsf T$，均值向量为 $\boldsymbol\mu=\mathbb E[\mathbf X]$，协方差矩阵为

$$\Sigma =\mathbb E[(\mathbf X-\boldsymbol\mu)(\mathbf X-\boldsymbol\mu)^\mathsf T].$$

对角元是各分量方差，非对角元是两两协方差。矩阵对称，并且对任意向量 $\mathbf a$，

$$\mathbf a^\mathsf T\Sigma\mathbf a =\operatorname{Var}(\mathbf a^\mathsf T\mathbf X)\ge0,$$

所以协方差矩阵半正定。该性质是检查估计或手算结果的重要条件；若得到明显负特征值，通常意味着计算、舍入或数据处理存在问题。

线性变换 $\mathbf Y=A\mathbf X+\mathbf b$ 的协方差满足

$$\operatorname{Cov}(\mathbf Y)=A\Sigma A^\mathsf T.$$

这一公式连接特征缩放、主成分分析、线性误差传播和高斯模型。它描述二阶结构的变换，不要求随机向量服从正态分布；正态假设会额外使均值和协方差完全确定分布。

样本统计量与总体参数

总体期望、方差和协方差是分布参数。实际数据只能提供有限样本 $x_1,\ldots,x_n$，常用样本均值

$$\bar x=\frac1n\sum_{i=1}^n x_i$$

估计总体期望。样本方差常写成

$$s^2=\frac1{n-1}\sum_{i=1}^n(x_i-\bar x)^2,$$

在独立同分布且二阶矩有限等条件下，它是总体方差的无偏估计。分母 $n-1$ 来自均值已由同一数据估计而损失一个自由度。若目标只是描述当前有限数据集，也可以使用分母 $n$ 的经验二阶离差，但应明确对象和约定。

样本均值或样本方差本身也是随机变量；换一批样本会得到不同数值。估计误差、置信区间和抽样分布属于后续统计推断。当前定义不能保证小样本估计稳定，尤其在重尾分布或强依赖数据中。

反例与常见误解

期望就是最可能出现的值

期望是按概率加权的算术中心，众数是概率最大的位置，两者可以不同。公平骰子的期望为 $3.5$，不属于支持集；右偏收入分布的均值也可能远高于最常见区间。报告中心时应根据问题选择均值、中位数或众数。

非线性函数不能直接移到期望外

令 $X$ 以相同概率取 $-1$ 和 $1$。则 $\mathbb E[X]=0$，但 $\mathbb E[X^2]=1$，而 $(\mathbb E[X])^2=0$。把平方从期望内移到期望外会丢掉波动信息。只有线性函数或满足特殊退化条件时才可直接交换。

零协方差表示独立

独立在有限二阶矩下推出零协方差，反向推论需要额外分布结构，例如联合正态。平方关系例题已经给出零协方差但完全依赖的构造。检查非线性关系可结合联合分布、条件分布或适当图形。

方差和标准差可以互换解释

方差具有原变量单位的平方，代数公式简洁；标准差恢复原单位，更便于描述尺度。把方差直接说成“平均偏离多少个单位”会造成量纲错误。两者对极端值都敏感，也都不完整描述尾部概率。

适用条件与边界

计算期望前先检查一阶绝对矩，计算方差和协方差前检查二阶矩。重尾模型可能有有限期望却没有有限方差，也可能连期望都不存在。有限样本软件通常仍会输出一个数，但该数不因此成为稳定的总体矩估计。

方差适合衡量平方波动，协方差适合概括线性共同变化。严重偏斜、异常值频繁或关系明显非线性时，可同时报告分位数、四分位距、稳健尺度和条件分布。任何摘要都要与抽样单位和数据生成机制结合解释。

练习

练习标记完成

随机变量 $X$ 以概率 $0.2,0.5,0.3$ 取值 $0,1,4$。计算 $\mathbb E[X]$、$\operatorname{Var}(X)$ 与标准差，并说明期望是否必须属于支持集。

查看解答

$\mathbb E[X]=0+0.5+1.2=1.7$，$\mathbb E[X^2]=0+0.5+4.8=5.3$，故方差为 $5.3-1.7^2=2.41$，标准差约为 $1.552$。期望 $1.7$ 不在支持集 $\{0,1,4\}$ 中，仍是合法的概率加权中心。

练习标记完成

已知 $\operatorname{Var}(X)=4$、$\operatorname{Var}(Y)=9$、$\operatorname{Cov}(X,Y)=-3$。求 $\operatorname{Var}(2X-Y+5)$。

查看解答

常数五不影响方差。利用线性组合公式，

$$\operatorname{Var}(2X-Y) =4\operatorname{Var}(X)+\operatorname{Var}(Y)-4\operatorname{Cov}(X,Y) =16+9+12=37.$$

交叉项的系数为 $2\times2\times(-1)=-4$，再乘协方差 $-3$ 得到正十二。

练习标记完成

设 $X_1,\ldots,X_n$ 独立同分布，期望为 $\mu$、方差为 $\sigma^2<\infty$。求样本均值 $\bar X$ 的期望与方差，并解释样本量扩大对标准差的影响。

查看解答

由期望线性性，$\mathbb E[\bar X]=n^{-1}\sum_i\mu=\mu$。独立性使不同项协方差为零，因此 $\operatorname{Var}(\bar X)=n^{-2}\sum_i\sigma^2=\sigma^2/n$。样本均值的标准差为 $\sigma/\sqrt n$，样本量扩大四倍时标准差减半。结论依赖独立、同分布和有限方差；相关样本不能直接套用。

知识关系

• 随机变量与概率分布 提供求和、积分和支持集的基础对象。
• 联合分布与条件分布 为乘积期望和协方差提供共同概率权重。
• 大数定律 解释样本平均在何种条件下趋近总体期望。
• 抽样分布 研究均值、方差等统计量在重复抽样中的变化。
• 线性回归 用协方差与最小二乘联系特征和连续响应。
• 批归一化 在神经网络训练中使用小批量均值与方差，但其估计受批量大小影响。

可信资源

lecture · 2013

MIT 6.041SC Probabilistic Systems Analysis and Applied Probability

John Tsitsiklis

课程包含讲授、习题、解答和考试，适合系统检验概率计算。

打开官方来源

MIT OpenCourseWare 概率课程材料系统推导期望、条件期望、方差、协方差与随机变量之和，可用于核对矩存在条件和线性运算。

book · 2023

Introductory Statistics 2e

Barbara Illowsky, Susan Dean

提供大量分步例题和练习，适合巩固分布、期望、方差与协方差的计算。

打开官方来源

OpenStax 官方开放教材从数据与概率分布连接均值、标准差和抽样概念，提供带单位的应用例题。正文把总体参数与样本统计量分开，便于对照两种语境中的符号。

两项资源都可公开访问，但组织层次不同：课程讲义偏重概率推导，开放教材偏重数据解释。阅读时可用正文例题复算公式，再用资源中的不同分布检查结论是否依赖特定支持集。

后续学习

下一步学习 大数定律，把有限方差下的样本平均波动与概率收敛连接起来；再进入 中心极限定理 和 抽样分布，研究标准化统计量的近似分布。可先用不同样本量模拟均值方差的 $1/n$ 缩放，再核对定理条件。机器学习方向可阅读 线性回归 与 批归一化，观察同一组矩在统计建模和数值训练中的不同职责，并区分总体矩与小批量估计。