一条推断结论需要三层前提
最小二乘是一项优化运算，线性模型是一组关于数据生成机制的假设，置信区间和检验则是重复抽样意义下的概率结论。三者不能互相替代：对任意数值矩阵都可以最小化残差平方和；只有把响应看成随机变量并说明条件均值与条件方差，才能讨论估计量的偏差和方差；要使用有限样本精确的 t、F 分布，还必须再加入正态误差条件。
本章始终把设计矩阵 X X X X X X X X X
模型先说明随机对象、参数与维数
满列秩线性模型
设响应向量 Y ∈ R n Y\in\mathbb R^n Y ∈ R n X ∈ R n × p X\in\mathbb R^{n\times p} X ∈ R n × p β ∈ R p \beta\in\mathbb R^p β ∈ R p
Y = X β + ε , Y=X\beta+\varepsilon, Y = Xβ + ε , 并满足
E ( ε ∣ X ) = 0 , Var ( ε ∣ X ) = σ 2 I n , σ 2 > 0. \mathbb E(\varepsilon\mid X)=0,
\qquad
\operatorname{Var}(\varepsilon\mid X)=\sigma^2I_n,
\qquad \sigma^2>0. E ( ε ∣ X ) = 0 , Var ( ε ∣ X ) = σ 2 I n , σ 2 > 0. 若 rank ( X ) = p \operatorname{rank}(X)=p rank ( X ) = p X T X X^{\mathsf T}X X T X β \beta β ε ∣ X ∼ N n ( 0 , σ 2 I n ) \varepsilon\mid X\sim N_n(0,\sigma^2I_n) ε ∣ X ∼ N n ( 0 , σ 2 I n )
“线性”是对参数 β \beta β 1 , x , x 2 1,x,x^2 1 , x , x 2 X X X x x x Y Y Y
满列秩是可识别性条件。若两列完全相同，存在非零向量 a a a X a = 0 Xa=0 X a = 0 X β = X ( β + c a ) X\beta=X(\beta+ca) Xβ = X ( β + c a ) c c c
正规方程把拟合写成正交投影
给定观测 y y y
Q ( b ) = ∥ y − X b ∥ 2 2 . Q(b)=\lVert y-Xb\rVert_2^2. Q ( b ) = ∥ y − X b ∥ 2 2 . 对 b b b
∇ Q ( b ) = − 2 X T ( y − X b ) . \nabla Q(b)=-2X^{\mathsf T}(y-Xb). ∇ Q ( b ) = − 2 X T ( y − X b ) . 因此任何最小二乘解都满足正规方程
X T X β ^ = X T y , X T e ^ = 0 , X^{\mathsf T}X\widehat\beta=X^{\mathsf T}y,
\qquad
X^{\mathsf T}\widehat e=0, X T X β = X T y , X T e = 0 , 其中 e ^ = y − X β ^ \widehat e=y-X\widehat\beta e = y − X β
β ^ = ( X T X ) − 1 X T y , y ^ = H y , H = X ( X T X ) − 1 X T . \widehat\beta=(X^{\mathsf T}X)^{-1}X^{\mathsf T}y,
\qquad
\widehat y=Hy,
\qquad
H=X(X^{\mathsf T}X)^{-1}X^{\mathsf T}. β = ( X T X ) − 1 X T y , y = Hy , H = X ( X T X ) − 1 X T . 矩阵 H H H y y y X X X X T e ^ = 0 X^{\mathsf T}\widehat e=0 X T e = 0 X X X ∑ i e ^ i = 0 \sum_i\widehat e_i=0 ∑ i e i = 0
数值计算通常使用 QR 或奇异值分解，而不是显式形成 ( X T X ) − 1 (X^{\mathsf T}X)^{-1} ( X T X ) − 1
四个观测完成一次可复算拟合
固定四点数据的斜率、截距与残差方差
对
x = ( 0 , 1 , 2 , 3 ) , y = ( 1 , 2 , 2 , 4 ) , x=(0,1,2,3),
\qquad
y=(1,2,2,4), x = ( 0 , 1 , 2 , 3 ) , y = ( 1 , 2 , 2 , 4 ) , 拟合含截距模型 Y i = β 0 + β 1 x i + ε i Y_i=\beta_0+\beta_1x_i+\varepsilon_i Y i = β 0 + β 1 x i + ε i
x ˉ = 1.5 , y ˉ = 2.25 , S x x = ∑ i = 1 4 ( x i − x ˉ ) 2 = 5 , \bar x=1.5,
\quad
\bar y=2.25,
\quad
S_{xx}=\sum_{i=1}^4(x_i-\bar x)^2=5, x ˉ = 1.5 , y ˉ = 2.25 , S xx = i = 1 ∑ 4 ( x i − x ˉ ) 2 = 5 , S x y = ∑ i = 1 4 ( x i − x ˉ ) ( y i − y ˉ ) = 4.5. S_{xy}=\sum_{i=1}^4(x_i-\bar x)(y_i-\bar y)=4.5. S x y = i = 1 ∑ 4 ( x i − x ˉ ) ( y i − y ˉ ) = 4.5. 于是
β ^ 1 = S x y S x x = 0.9 , β ^ 0 = y ˉ − β ^ 1 x ˉ = 0.9. \widehat\beta_1=\frac{S_{xy}}{S_{xx}}=0.9,
\qquad
\widehat\beta_0=\bar y-\widehat\beta_1\bar x=0.9. β 1 = S xx S x y = 0.9 , β 0 = y ˉ − β 1 x ˉ = 0.9. 拟合值与残差分别为
y ^ = ( 0.9 , 1.8 , 2.7 , 3.6 ) , e ^ = ( 0.1 , 0.2 , − 0.7 , 0.4 ) . \widehat y=(0.9,1.8,2.7,3.6),
\qquad
\widehat e=(0.1,0.2,-0.7,0.4). y = ( 0.9 , 1.8 , 2.7 , 3.6 ) , e = ( 0.1 , 0.2 , − 0.7 , 0.4 ) . 残差和为零，并且 ∑ i x i e ^ i = 0 \sum_i x_i\widehat e_i=0 ∑ i x i e i = 0
SSE = 0.1 2 + 0.2 2 + ( − 0.7 ) 2 + 0.4 2 = 0.70. \operatorname{SSE}=0.1^2+0.2^2+(-0.7)^2+0.4^2=0.70. SSE = 0. 1 2 + 0. 2 2 + ( − 0.7 ) 2 + 0. 4 2 = 0.70. 这里 n = 4 , p = 2 n=4,p=2 n = 4 , p = 2
s 2 = SSE n − p = 0.70 2 = 0.35. s^2=\frac{\operatorname{SSE}}{n-p}=\frac{0.70}{2}=0.35. s 2 = n − p SSE = 2 0.70 = 0.35. s 2 s^2 s 2 s = 0.35 ≈ 0.5916 s=\sqrt{0.35}\approx0.5916 s = 0.35 ≈ 0.5916 s 2 s^2 s 2
Gauss–Markov 只需要二阶矩条件
Gauss–Markov 定理
在 X X X E ( ε ∣ X ) = 0 \mathbb E(\varepsilon\mid X)=0 E ( ε ∣ X ) = 0 Var ( ε ∣ X ) = σ 2 I n \operatorname{Var}(\varepsilon\mid X)=\sigma^2I_n Var ( ε ∣ X ) = σ 2 I n β ^ = ( X T X ) − 1 X T Y \widehat\beta=(X^{\mathsf T}X)^{-1}X^{\mathsf T}Y β = ( X T X ) − 1 X T Y β \beta β β ~ = A Y \widetilde\beta=AY β = A Y
Var ( β ~ ∣ X ) − Var ( β ^ ∣ X ) \operatorname{Var}(\widetilde\beta\mid X)
-\operatorname{Var}(\widehat\beta\mid X) Var ( β ∣ X ) − Var ( β ∣ X ) 为半正定矩阵。
证明
无偏性要求 A X = I p AX=I_p A X = I p C = A − ( X T X ) − 1 X T C=A-(X^{\mathsf T}X)^{-1}X^{\mathsf T} C = A − ( X T X ) − 1 X T C X = 0 CX=0 CX = 0
β ^ = β + ( X T X ) − 1 X T ε , \widehat\beta=\beta+(X^{\mathsf T}X)^{-1}X^{\mathsf T}\varepsilon, β = β + ( X T X ) − 1 X T ε , 可得
Var ( β ^ ∣ X ) = σ 2 ( X T X ) − 1 . \operatorname{Var}(\widehat\beta\mid X)
=\sigma^2(X^{\mathsf T}X)^{-1}. Var ( β ∣ X ) = σ 2 ( X T X ) − 1 . 又因为交叉项包含 X T C T = ( C X ) T = 0 X^{\mathsf T}C^{\mathsf T}=(CX)^{\mathsf T}=0 X T C T = ( CX ) T = 0
Var ( A Y ∣ X ) = σ 2 ( X T X ) − 1 + σ 2 C C T . \operatorname{Var}(AY\mid X)
=\sigma^2(X^{\mathsf T}X)^{-1}+\sigma^2CC^{\mathsf T}. Var ( A Y ∣ X ) = σ 2 ( X T X ) − 1 + σ 2 C C T . C C T CC^{\mathsf T} C C T
定理没有要求误差正态，也没有宣称普通最小二乘优于一切可能的有偏或非线性估计量。“最佳”只在“线性且无偏”这一比较类中成立。异方差或相关误差会破坏 σ 2 I n \sigma^2I_n σ 2 I n
正态误差提供精确 t 与 F 枢轴量
若进一步有 ε ∣ X ∼ N n ( 0 , σ 2 I n ) \varepsilon\mid X\sim N_n(0,\sigma^2I_n) ε ∣ X ∼ N n ( 0 , σ 2 I n )
β ^ ∣ X ∼ N p ( β , σ 2 ( X T X ) − 1 ) , \widehat\beta\mid X
\sim N_p\!\left(\beta,\sigma^2(X^{\mathsf T}X)^{-1}\right), β ∣ X ∼ N p ( β , σ 2 ( X T X ) − 1 ) , 并且
( n − p ) s 2 σ 2 ∼ χ n − p 2 , β ^ 与 s 2 独立 . \frac{(n-p)s^2}{\sigma^2}\sim\chi^2_{n-p},
\qquad
\widehat\beta\ \text{与}\ s^2\ \text{独立}. σ 2 ( n − p ) s 2 ∼ χ n − p 2 , β 与 s 2 独立 . 记 c j j c_{jj} c jj ( X T X ) − 1 (X^{\mathsf T}X)^{-1} ( X T X ) − 1 j j j H 0 : β j = β j , 0 H_0:\beta_j=\beta_{j,0} H 0 : β j = β j , 0
T = β ^ j − β j , 0 s c j j ∼ t n − p ( H 0 ) . T=\frac{\widehat\beta_j-\beta_{j,0}}{s\sqrt{c_{jj}}}
\sim t_{n-p}
\quad(H_0). T = s c jj β j − β j , 0 ∼ t n − p ( H 0 ) . 对应的双侧 1 − α 1-\alpha 1 − α
β ^ j ± t 1 − α / 2 , n − p s c j j . \widehat\beta_j
\pm t_{1-\alpha/2,n-p}s\sqrt{c_{jj}}. β j ± t 1 − α /2 , n − p s c jj . 对 q q q H 0 : R β = r H_0:R\beta=r H 0 : Rβ = r R R R
F = ( R β ^ − r ) T [ R ( X T X ) − 1 R T ] − 1 ( R β ^ − r ) / q s 2 ∼ F q , n − p . F=
\frac{(R\widehat\beta-r)^{\mathsf T}
[R(X^{\mathsf T}X)^{-1}R^{\mathsf T}]^{-1}
(R\widehat\beta-r)/q}{s^2}
\sim F_{q,n-p}. F = s 2 ( R β − r ) T [ R ( X T X ) − 1 R T ] − 1 ( R β − r ) / q ∼ F q , n − p . 等价地，对嵌套的约简模型与完整模型，若约束数为 q q q
F = ( SSE R − SSE F ) / q SSE F / ( n − p F ) . F=
\frac{(\operatorname{SSE}_{\mathrm R}-\operatorname{SSE}_{\mathrm F})/q}
{\operatorname{SSE}_{\mathrm F}/(n-p_{\mathrm F})}. F = SSE F / ( n − p F ) ( SSE R − SSE F ) / q . 这些是正态模型下的有限样本精确分布。大样本稳健标准误或渐近检验属于另一套条件链，不能在小样本中借“近似”二字省略误差结构和设计诊断。
方差分析（ANOVA）分解需要截距与同一中心
含截距模型中定义
SST = ∑ i ( y i − y ˉ ) 2 , SSR = ∑ i ( y ^ i − y ˉ ) 2 , SSE = ∑ i ( y i − y ^ i ) 2 . \operatorname{SST}=\sum_i(y_i-\bar y)^2,
\quad
\operatorname{SSR}=\sum_i(\widehat y_i-\bar y)^2,
\quad
\operatorname{SSE}=\sum_i(y_i-\widehat y_i)^2. SST = i ∑ ( y i − y ˉ ) 2 , SSR = i ∑ ( y i − y ˉ ) 2 , SSE = i ∑ ( y i − y i ) 2 . 由于拟合偏差 y ^ − y ˉ 1 \widehat y-\bar y\mathbf1 y − y ˉ 1 X X X
SST = SSR + SSE . \operatorname{SST}=\operatorname{SSR}+\operatorname{SSE}. SST = SSR + SSE . 标准回归 ANOVA 表将总自由度 n − 1 n-1 n − 1 p − 1 p-1 p − 1 n − p n-p n − p y ˉ \bar y y ˉ R 2 = 1 − SSE / SST R^2=1-\operatorname{SSE}/\operatorname{SST} R 2 = 1 − SSE / SST
四点拟合中的 ANOVA、斜率 t 检验与 F 检验
沿用前例。直接计算
SST = 4.75 , SSR = 4.05 , SSE = 0.70 , \operatorname{SST}=4.75,
\qquad
\operatorname{SSR}=4.05,
\qquad
\operatorname{SSE}=0.70, SST = 4.75 , SSR = 4.05 , SSE = 0.70 , 三者满足 4.75 = 4.05 + 0.70 4.75=4.05+0.70 4.75 = 4.05 + 0.70
F = 4.05 / 1 0.70 / 2 = 4.05 0.35 ≈ 11.5714. F=\frac{4.05/1}{0.70/2}
=\frac{4.05}{0.35}
\approx11.5714. F = 0.70/2 4.05/1 = 0.35 4.05 ≈ 11.5714. 斜率标准误为
SE ( β ^ 1 ) = s 2 S x x = 0.35 5 ≈ 0.2646. \operatorname{SE}(\widehat\beta_1)
=\sqrt{\frac{s^2}{S_{xx}}}
=\sqrt{\frac{0.35}{5}}
\approx0.2646. SE ( β 1 ) = S xx s 2 = 5 0.35 ≈ 0.2646. 检验 H 0 : β 1 = 0 H_0:\beta_1=0 H 0 : β 1 = 0
t = 0.9 0.2646 ≈ 3.4017. t=\frac{0.9}{0.2646}\approx3.4017. t = 0.2646 0.9 ≈ 3.4017. 因此
t 2 ≈ 11.5714 = F . t^2\approx11.5714=F. t 2 ≈ 11.5714 = F . 单个系数约束时 F 1 , n − p F_{1,n-p} F 1 , n − p t 2 = F t^2=F t 2 = F
杠杆值衡量设计位置而非响应异常
帽子矩阵的对角元
h i i = H i i h_{ii}=H_{ii} h ii = H ii 称为第 i i i H H H p p p
0 ≤ h i i ≤ 1 , ∑ i = 1 n h i i = tr ( H ) = p . 0\le h_{ii}\le1,
\qquad
\sum_{i=1}^n h_{ii}=\operatorname{tr}(H)=p. 0 ≤ h ii ≤ 1 , i = 1 ∑ n h ii = tr ( H ) = p . 杠杆值只由 X X X
Var ( e ^ i ∣ X ) = σ 2 ( 1 − h i i ) . \operatorname{Var}(\widehat e_i\mid X)
=\sigma^2(1-h_{ii}). Var ( e i ∣ X ) = σ 2 ( 1 − h ii ) . 因此直接比较原始残差会忽略不同设计位置的尺度。内部学生化残差定义为
r i = e ^ i s 1 − h i i . r_i=\frac{\widehat e_i}{s\sqrt{1-h_{ii}}}. r i = s 1 − h ii e i . 它适合初步诊断，但分子和分母共享同一观测，不能把所有 r i r_i r i
端点高杠杆与学生化残差分别回答什么
在四点简单回归中
h i i = 1 4 + ( x i − 1.5 ) 2 5 , h_{ii}=\frac14+\frac{(x_i-1.5)^2}{5}, h ii = 4 1 + 5 ( x i − 1.5 ) 2 , 故
( h 11 , h 22 ) = ( 0.70 , 0.30 ) , (h_{11},h_{22})=(0.70,0.30), ( h 11 , h 22 ) = ( 0.70 , 0.30 ) , ( h 33 , h 44 ) = ( 0.30 , 0.70 ) , (h_{33},h_{44})=(0.30,0.70), ( h 33 , h 44 ) = ( 0.30 , 0.70 ) , 总和为二，等于参数个数。端点 x = 0 , 3 x=0,3 x = 0 , 3
用 s = 0.35 s=\sqrt{0.35} s = 0.35
( 0.309 , 0.404 , − 1.414 , 1.234 ) . (0.309,\ 0.404,\ -1.414,\ 1.234). ( 0.309 , 0.404 , − 1.414 , 1.234 ) . x = 2 x=2 x = 2 x = 3 x=3 x = 3
均值响应与新观测预测有不同随机性
给定目标设计向量 x 0 ∈ R p x_0\in\mathbb R^p x 0 ∈ R p m 0 = x 0 T β m_0=x_0^{\mathsf T}\beta m 0 = x 0 T β m ^ 0 = x 0 T β ^ \widehat m_0=x_0^{\mathsf T}\widehat\beta m 0 = x 0 T β
SE ( m ^ 0 ) = s x 0 T ( X T X ) − 1 x 0 . \operatorname{SE}(\widehat m_0)
=s\sqrt{x_0^{\mathsf T}(X^{\mathsf T}X)^{-1}x_0}. SE ( m 0 ) = s x 0 T ( X T X ) − 1 x 0 . 在正态线性模型下，均值响应的 1 − α 1-\alpha 1 − α
m ^ 0 ± t 1 − α / 2 , n − p s x 0 T ( X T X ) − 1 x 0 . \widehat m_0
\pm t_{1-\alpha/2,n-p}
s\sqrt{x_0^{\mathsf T}(X^{\mathsf T}X)^{-1}x_0}. m 0 ± t 1 − α /2 , n − p s x 0 T ( X T X ) − 1 x 0 . 若目标是同一设计点处一个尚未观测的新响应
Y 0 = x 0 T β + ε 0 Y_0=x_0^{\mathsf T}\beta+\varepsilon_0 Y 0 = x 0 T β + ε 0 σ 2 \sigma^2 σ 2 ε 0 \varepsilon_0 ε 0
m ^ 0 ± t 1 − α / 2 , n − p s 1 + x 0 T ( X T X ) − 1 x 0 . \widehat m_0
\pm t_{1-\alpha/2,n-p}s
\sqrt{1+x_0^{\mathsf T}(X^{\mathsf T}X)^{-1}x_0}. m 0 ± t 1 − α /2 , n − p s 1 + x 0 T ( X T X ) − 1 x 0 . 根号内多出的 1 1 1
在样本中心比较均值响应区间与预测区间
沿用四点拟合，在 x 0 = 1.5 x_0=1.5 x 0 = 1.5 m ^ 0 = 2.25 \widehat m_0=2.25 m 0 = 2.25
h 0 = 1 4 + ( 1.5 − 1.5 ) 2 5 = 0.25. h_0=\frac14+\frac{(1.5-1.5)^2}{5}=0.25. h 0 = 4 1 + 5 ( 1.5 − 1.5 ) 2 = 0.25. 均值响应标准误与新观测预测标准误分别为
s h 0 = 0.35 × 0.25 ≈ 0.2958 , s\sqrt{h_0}=\sqrt{0.35\times0.25}\approx0.2958, s h 0 = 0.35 × 0.25 ≈ 0.2958 , s 1 + h 0 = 0.35 × 1.25 ≈ 0.6614. s\sqrt{1+h_0}=\sqrt{0.35\times1.25}\approx0.6614. s 1 + h 0 = 0.35 × 1.25 ≈ 0.6614. 自由度为二时 t 0.975 , 2 ≈ 4.3027 t_{0.975,2}\approx4.3027 t 0.975 , 2 ≈ 4.3027
2.25 ± 1.2728 = [ 0.977 , 3.523 ] , 2.25\pm1.2728=[0.977,3.523], 2.25 ± 1.2728 = [ 0.977 , 3.523 ] , 而一个新观测的 95% 预测区间约为
2.25 ± 2.8459 = [ − 0.596 , 5.096 ] . 2.25\pm2.8459=[-0.596,5.096]. 2.25 ± 2.8459 = [ − 0.596 , 5.096 ] . 预测区间明显更宽。下限为负并非计算错误；它说明正态同方差模型在如此小的样本下允许较大波动。若响应在物理上不可能为负，应重新审查分布、变换或约束模型，而不是把区间下限擅自截断后仍宣称保持 95% 覆盖率。
诊断只能发现不协调，不能证明假设
常见检查包括残差对拟合值图、残差对每个设计变量图、正态分位数图、杠杆值、学生化残差与影响度量。它们各有明确问题：曲线结构提示条件均值可能错设；漏斗形提示方差可能随均值改变；极端分位偏离提示尾部与正态模型不协调；高杠杆配合大残差可能显著改变拟合。
但“图上没有明显结构”不是独立、同方差或正态性的证明。小样本缺少检出能力，大样本又会让轻微偏离非常显眼。数据收集过程决定误差是否独立；图形无法恢复未记录的分组、时间顺序或选择机制。诊断结果应引导敏感性分析、稳健标准误、变换、分层模型或重新采样，而不只是删除不利观测。
外推与因果解释位于模型公式之外
在线性模型中代入一个 x 0 x_0 x 0 x 0 x_0 x 0
h 0 = 1 n + ( x 0 − x ˉ ) 2 S x x h_0=\frac1n+\frac{(x_0-\bar x)^2}{S_{xx}} h 0 = n 1 + S xx ( x 0 − x ˉ ) 2 会随离开样本中心而增大，区间随之变宽；更重要的是，真实条件均值可能在样本范围外弯曲或改变机制。一个窄区间也只反映所假设模型内部的不确定性，不能补偿模型错设。
斜率 β 1 \beta_1 β 1 x x x
三类常见误读
最小二乘解存在就表示所有系数都可解释
即使 X X X
Gauss–Markov 定理已经给出精确 t 检验
Gauss–Markov 使用零条件均值、同方差不相关误差和满列秩，结论是最佳线性无偏。精确 t、F 枢轴量还依赖正态误差及相应独立性；两条结论的前提层级不同。
高拟合度不阻止危险外推
在 x ∈ [ 0 , 3 ] x\in[0,3] x ∈ [ 0 , 3 ] x = 30 x=30 x = 30 R 2 R^2 R 2
练习：从设计矩阵到预测边界
练习 1：完整复算简单回归
所属知识 最小二乘
难度 3/5 对 x = ( − 1 , 0 , 1 ) x=(-1,0,1) x = ( − 1 , 0 , 1 ) y = ( 1 , 2 , 5 ) y=(1,2,5) y = ( 1 , 2 , 5 ) s 2 s^2 s 2
查看提示 这里 x 的均值为零，截距等于 y 的均值。
查看解答 x ˉ = 0 \bar x=0 x ˉ = 0 y ˉ = 8 / 3 \bar y=8/3 y ˉ = 8/3
S x x = 2 , S x y = ( − 1 ) ( 1 − 8 / 3 ) + ( 1 ) ( 5 − 8 / 3 ) = 4. S_{xx}=2,
\qquad
S_{xy}=(-1)(1-8/3)+(1)(5-8/3)=4. S xx = 2 , S x y = ( − 1 ) ( 1 − 8/3 ) + ( 1 ) ( 5 − 8/3 ) = 4. 所以 β ^ 1 = 2 \widehat\beta_1=2 β 1 = 2 β ^ 0 = 8 / 3 \widehat\beta_0=8/3 β 0 = 8/3
y ^ = ( 2 / 3 , 8 / 3 , 14 / 3 ) , e ^ = ( 1 / 3 , − 2 / 3 , 1 / 3 ) . \widehat y=(2/3,8/3,14/3),
\qquad
\widehat e=(1/3,-2/3,1/3). y = ( 2/3 , 8/3 , 14/3 ) , e = ( 1/3 , − 2/3 , 1/3 ) . 残差和与 x x x
1 9 + 4 9 + 1 9 = 2 3 . \frac19+\frac49+\frac19=\frac23. 9 1 + 9 4 + 9 1 = 3 2 . n − p = 1 n-p=1 n − p = 1 s 2 = ( 2 / 3 ) / 1 = 2 / 3 s^2=(2/3)/1=2/3 s 2 = ( 2/3 ) /1 = 2/3
练习 2：识别秩亏设计
所属知识 可识别性
难度 3/5 设计矩阵的三列依次为全一列、x x x 2 x 2x 2 x
查看提示 找一个非零向量 a 使 Xa=0，并说明哪些系数组合出现在均值中。
查看解答 第三列等于第二列的两倍，所以向量 a = ( 0 , 2 , − 1 ) T a=(0,2,-1)^{\mathsf T} a = ( 0 , 2 , − 1 ) T X a = 0 Xa=0 X a = 0
β 0 + β 1 x + β 2 ( 2 x ) = β 0 + ( β 1 + 2 β 2 ) x . \beta_0+\beta_1x+\beta_2(2x)
=\beta_0+(\beta_1+2\beta_2)x. β 0 + β 1 x + β 2 ( 2 x ) = β 0 + ( β 1 + 2 β 2 ) x . 数据可识别截距 β 0 \beta_0 β 0 β 1 + 2 β 2 \beta_1+2\beta_2 β 1 + 2 β 2 β 1 \beta_1 β 1 β 2 \beta_2 β 2
练习 3：给结论匹配最小条件
所属知识 Gauss–Markov 与正态推断
难度 3/5 在给定满列秩 X X X
查看提示 分别判断结论是关于无偏与方差，还是关于有限样本分布。
查看解答 若“独立同分布”还意味着共同方差 σ 2 \sigma^2 σ 2 E ( β ^ ∣ X ) = β \mathbb E(\widehat\beta\mid X)=\beta E ( β ∣ X ) = β Var ( β ^ ∣ X ) = σ 2 ( X T X ) − 1 \operatorname{Var}(\widehat\beta\mid X)=\sigma^2(X^{\mathsf T}X)^{-1} Var ( β ∣ X ) = σ 2 ( X T X ) − 1 t n − p t_{n-p} t n − p
练习 4：计算新设计位置的杠杆
所属知识 诊断与外推
难度 3/5 沿用正文四点数据，分别求 x 0 = 1.5 x_0=1.5 x 0 = 1.5 x 0 = 5 x_0=5 x 0 = 5 h 0 h_0 h 0
查看提示 使用简单回归
h 0 = 1 / n + ( x 0 − x b a r ) 2 / S x x h0=1/n+(x0-xbar)^{2}/Sxx h 0 = 1/ n + ( x 0 − x ba r ) 2 / S xx 。
查看解答 已知 n = 4 n=4 n = 4 x ˉ = 1.5 \bar x=1.5 x ˉ = 1.5 S x x = 5 S_{xx}=5 S xx = 5
h 0 ( 1.5 ) = 1 4 = 0.25. h_0(1.5)=\frac14=0.25. h 0 ( 1.5 ) = 4 1 = 0.25. 在 x 0 = 5 x_0=5 x 0 = 5
h 0 ( 5 ) = 1 4 + ( 5 − 1.5 ) 2 5 = 0.25 + 2.45 = 2.70. h_0(5)=\frac14+\frac{(5-1.5)^2}{5}=0.25+2.45=2.70. h 0 ( 5 ) = 4 1 + 5 ( 5 − 1.5 ) 2 = 0.25 + 2.45 = 2.70. 两处均值响应标准误分别为
s 0.25 ≈ 0.2958 s\sqrt{0.25}\approx0.2958 s 0.25 ≈ 0.2958 s 2.70 ≈ 0.9721 s\sqrt{2.70}\approx0.9721 s 2.70 ≈ 0.9721 5 5 5 [ 0 , 3 ] [0,3] [ 0 , 3 ]
练习 5：分清均值区间与预测区间
所属知识 预测
难度 4/5 设某满列秩正态线性模型有 n − p = 20 n-p=20 n − p = 20 s = 2 s=2 s = 2 x 0 x_0 x 0 x 0 T ( X T X ) − 1 x 0 = 0.09 x_0^{\mathsf T}(X^{\mathsf T}X)^{-1}x_0=0.09 x 0 T ( X T X ) − 1 x 0 = 0.09 t 0.975 , 20 ≈ 2.086 t_{0.975,20}\approx2.086 t 0.975 , 20 ≈ 2.086
查看提示 先写共同点估计，再找预测标准误中额外的误差方差。
查看解答 均值响应标准误为 2 0.09 = 0.6 2\sqrt{0.09}=0.6 2 0.09 = 0.6 2.086 ( 0.6 ) = 1.2516 2.086(0.6)=1.2516 2.086 ( 0.6 ) = 1.2516
[ 8.7484 , 11.2516 ] . [8.7484,11.2516]. [ 8.7484 , 11.2516 ] . 新观测预测标准误为
2 1 + 0.09 = 2 1.09 ≈ 2.0881 , 2\sqrt{1+0.09}=2\sqrt{1.09}\approx2.0881, 2 1 + 0.09 = 2 1.09 ≈ 2.0881 , 半宽约为 2.086 ( 2.0881 ) = 4.356 2.086(2.0881)=4.356 2.086 ( 2.0881 ) = 4.356
[ 5.644 , 14.356 ] . [5.644,14.356]. [ 5.644 , 14.356 ] . 两个区间中心相同；预测区间多包含一次新误差，因此更宽。
概念关系把代数、推断与决策连起来
最小二乘
提供正规方程、残差正交与投影视角；本章在其上加入随机误差条件。矩阵
组织设计、秩、投影、协方差矩阵和线性约束。统计估计
提供偏差、方差、标准误和估计目标的区分。置信区间
解释系数与均值响应区间的重复抽样覆盖率。假设检验
提供显著性水平、p 值、功效及单个和多个约束的证据语言。统计推断与决策综合复习
将模型参数、预测目标和行动损失放入同一分析流程。
三项资源分别核对理论、实践与边界
课程 · 2016 MIT 18.650 Statistics for Applications Philippe Rigollet
适合把随机样本、估计量评价、置信区间、检验和回归放在同一课程结构中学习，并比较有限样本结论与渐近方法。
打开官方来源 MIT 18.650 的公开课程材料覆盖回归、假设检验与统计建模，可用来核对从概率模型到估计量分布的推导。阅读时应逐项标注哪些结论只需二阶矩条件，哪些结论使用正态或渐近近似。
书籍 · 2021 An Introduction to Statistical Learning: with Applications in R, Second Edition Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani
适合结合案例理解线性模型的系数、标准误、区间、检验、预测与常见诊断边界。
打开官方来源 《An Introduction to Statistical Learning》第二版提供线性回归、模型评估和诊断的应用语境，适合对照系数解释、预测与训练范围。它强调建模实践；本章的满列秩、投影及精确 t/F 条件仍应以公式逐项复核。
书籍 · 2004 All of Statistics: A Concise Course in Statistical Inference Larry Wasserman
适合沿经验分布、估计误差、区间与检验、决策风险和线性模型建立统一的统计推断视角。
打开官方来源 《All of Statistics》把线性回归放在估计、检验和预测的统一框架中，适合复查标准误、区间和模型假设的边界。重做正文四点数据时，应能独立复现
β ^ 1 = 0.9 \widehat\beta_1=0.9 β 1 = 0.9 β ^ 0 = 0.9 \widehat\beta_0=0.9 β 0 = 0.9 SSE = 0.70 \operatorname{SSE}=0.70 SSE = 0.70 s 2 = 0.35 s^2=0.35 s 2 = 0.35 t 2 = F ≈ 11.5714 t^2=F\approx11.5714 t 2 = F ≈ 11.5714
完成本章后，下一步不只是再做一次回归，而是先写清目标究竟是参数、平均响应、单个预测还是行动，再为该目标选择估计、区间、检验或损失函数。
书籍 · 2023 Introductory Statistics 2e Barbara Illowsky, Susan Dean
提供大量分步例题和练习，适合核对分布、样本统计量、置信区间、假设检验和简单线性回归的基础计算与解释。
打开官方来源 OpenStax《Introductory Statistics 2e》在本章用于支撑简单线性回归的数值推断流程：最小二乘直线、残差标准差、斜率的 t 检验以及均值响应和单个预测的区间具有不同标准误。该来源的实例也帮助检查线性、独立、方差稳定和残差近似正态等条件，避免把相关性或显著斜率直接解释为因果关系。