4.5 KiB
第9周思考题：高 R² 与 OLS 的有偏性、不一致性
题目
举出具有高 $R^2$，但回归系数估计量有偏且非一致的回归例子，并解释：
- 为什么
R^2很高？ - 为什么 OLS 估计量有偏且非一致？
一、构造例子：遗漏相关变量
设真实模型为
y_i=\alpha+\beta x_i+\gamma z_i+\varepsilon_i,
\qquad \alpha=0,\quad \beta=1,\quad \gamma=1.
我们要估计的是完整模型中 x_i 的系数 $\beta=1$，即控制 z_i 后，x_i 与 y_i 的线性关系。
设 x_i,v_i,\varepsilon_i 相互独立，均服从标准正态分布，各观测之间也相互独立，并令
z_i=9x_i+v_i.
因此，z_i 是一个与 x_i 高度相关、且影响 y_i 的变量。若回归时遗漏 $z_i$，只用包含截距项的 OLS 回归 y_i 对 $x_i$，就得到
y_i=\alpha+\beta x_i+u_i,
\qquad u_i=z_i+\varepsilon_i=9x_i+v_i+\varepsilon_i.
把数据生成关系代入后，也可以将 y_i 写成
y_i=10x_i+v_i+\varepsilon_i.
这表明，单靠 x_i 就能很好地拟合 $y_i$，但回归斜率会混入遗漏变量 z_i 的影响。
二、为什么 R² 很高？
由于 v_i+\varepsilon_i 与 x_i 独立，y_i 对 x_i 的总体线性预测值为 $10x_i$，预测残差为 $v_i+\varepsilon_i$。
由独立性可得
\operatorname{Var}(10x_i)=100,
\qquad
\operatorname{Var}(v_i+\varepsilon_i)=2,
\operatorname{Var}(y_i)=100+2=102.
所以，总体决定系数为
R_{\mathrm{pop}}^2
=1-\frac{\operatorname{Var}(v_i+\varepsilon_i)}{\operatorname{Var}(y_i)}
=1-\frac{2}{102}
=\frac{100}{102}
\approx 0.9804.
样本量增大时，样本 R^2 依概率收敛于该数值，因此大样本下通常会得到约 98.04% 的高 $R^2$；并不是说每个有限样本的 R^2 都恰好等于这个值。
原因： y_i 的波动主要来自 $10x_i$，剩余噪声的方差很小。同时，x_i 还代替遗漏变量 z_i 解释了相当一部分变化。因此，高 R^2 说明拟合程度高，却不能保证回归斜率正确估计了目标参数 $\beta$。
三、为什么 OLS 估计量有偏？
遗漏变量进入误差项后，有
E(u_i\mid x_i)=9x_i\ne 0,
\operatorname{Cov}(x_i,u_i)
=\operatorname{Cov}(x_i,9x_i+v_i+\varepsilon_i)
=9\ne 0.
因此，零条件均值假设不成立，出现遗漏变量偏误。
进一步，用包含截距项的 OLS 斜率公式直接证明。记
S_{xx}=\sum_{i=1}^{n}(x_i-\bar x)^2.
由 y_i=10x_i+v_i+\varepsilon_i 及 $\sum_i(x_i-\bar x)=0$，可得
\hat\beta_{\mathrm{OLS}}
=\frac{\sum_{i=1}^{n}(x_i-\bar x)(y_i-\bar y)}{S_{xx}}
=10+\frac{\sum_{i=1}^{n}(x_i-\bar x)(v_i+\varepsilon_i)}{S_{xx}}.
给定全部 $x_i$，上式最后一项的条件期望为零，所以
E(\hat\beta_{\mathrm{OLS}}\mid x_1,\ldots,x_n)=10.
在本例中取 $n\ge 4$，相关期望存在，因而
E(\hat\beta_{\mathrm{OLS}})=10\ne\beta=1,
\operatorname{Bias}(\hat\beta_{\mathrm{OLS}})
=E(\hat\beta_{\mathrm{OLS}})-\beta
=10-1=9.
因此，OLS 斜率估计量相对于目标参数 \beta=1 是有偏的。
四、为什么 OLS 估计量不一致？
一致性要求估计量随样本量增大，依概率收敛于目标参数。由大数定律，
\operatorname{plim}_{n\to\infty}\hat\beta_{\mathrm{OLS}}
=\frac{\operatorname{Cov}(x_i,y_i)}{\operatorname{Var}(x_i)}
=\frac{\operatorname{Cov}(x_i,10x_i+v_i+\varepsilon_i)}{1}
=10\ne 1.
也可以用遗漏变量偏误公式表示为
\operatorname{plim}_{n\to\infty}\hat\beta_{\mathrm{OLS}}
=\beta+\gamma\frac{\operatorname{Cov}(x_i,z_i)}{\operatorname{Var}(x_i)}
=1+1\times\frac{9}{1}
=10.
因此，即使样本量趋于无穷，OLS 也会收敛到错误的目标值 10，而不是完整模型中的系数 1。增加样本量不能消除遗漏变量造成的偏误，所以估计量不一致。
五、结论
本例同时满足
R_n^2\xrightarrow{p}\frac{100}{102}\approx98.04\%,\qquad
E(\hat\beta_{\mathrm{OLS}})=10\ne 1,\qquad
\hat\beta_{\mathrm{OLS}}\xrightarrow{p}10\ne 1.
高 R^2 衡量的是拟合程度；无偏性和一致性考察的是估计量能否正确估计目标参数。遗漏与解释变量相关的变量，可以使回归拟合得很好，却使 OLS 对目标系数的估计有偏且不一致。
需要区分：上述“有偏”和“不一致”都是相对于完整模型中的 \beta=1 而言。如果目标只是估计 y_i 对 x_i 的总体线性投影系数，那么这个系数本来就是 10，OLS 对它是无偏且一致的。