157 lines
4.5 KiB
Markdown
157 lines
4.5 KiB
Markdown
# 第9周思考题：高 R² 与 OLS 的有偏性、不一致性
|
|
|
|
## 题目
|
|
|
|
举出具有高 $R^2$，但回归系数估计量有偏且非一致的回归例子，并解释：
|
|
|
|
1. 为什么 $R^2$ 很高？
|
|
2. 为什么 OLS 估计量有偏且非一致？
|
|
|
|
## 一、构造例子：遗漏相关变量
|
|
|
|
设真实模型为
|
|
|
|
$$
|
|
y_i=\alpha+\beta x_i+\gamma z_i+\varepsilon_i,
|
|
\qquad \alpha=0,\quad \beta=1,\quad \gamma=1.
|
|
$$
|
|
|
|
我们要估计的是完整模型中 $x_i$ 的系数 $\beta=1$，即控制 $z_i$ 后，$x_i$ 与 $y_i$ 的线性关系。
|
|
|
|
设 $x_i,v_i,\varepsilon_i$ 相互独立，均服从标准正态分布，各观测之间也相互独立，并令
|
|
|
|
$$
|
|
z_i=9x_i+v_i.
|
|
$$
|
|
|
|
因此，$z_i$ 是一个与 $x_i$ 高度相关、且影响 $y_i$ 的变量。若回归时遗漏 $z_i$，只用包含截距项的 OLS 回归 $y_i$ 对 $x_i$，就得到
|
|
|
|
$$
|
|
y_i=\alpha+\beta x_i+u_i,
|
|
\qquad u_i=z_i+\varepsilon_i=9x_i+v_i+\varepsilon_i.
|
|
$$
|
|
|
|
把数据生成关系代入后，也可以将 $y_i$ 写成
|
|
|
|
$$
|
|
y_i=10x_i+v_i+\varepsilon_i.
|
|
$$
|
|
|
|
这表明，单靠 $x_i$ 就能很好地拟合 $y_i$，但回归斜率会混入遗漏变量 $z_i$ 的影响。
|
|
|
|
## 二、为什么 R² 很高？
|
|
|
|
由于 $v_i+\varepsilon_i$ 与 $x_i$ 独立，$y_i$ 对 $x_i$ 的总体线性预测值为 $10x_i$，预测残差为 $v_i+\varepsilon_i$。
|
|
|
|
由独立性可得
|
|
|
|
$$
|
|
\operatorname{Var}(10x_i)=100,
|
|
\qquad
|
|
\operatorname{Var}(v_i+\varepsilon_i)=2,
|
|
$$
|
|
|
|
$$
|
|
\operatorname{Var}(y_i)=100+2=102.
|
|
$$
|
|
|
|
所以，总体决定系数为
|
|
|
|
$$
|
|
R_{\mathrm{pop}}^2
|
|
=1-\frac{\operatorname{Var}(v_i+\varepsilon_i)}{\operatorname{Var}(y_i)}
|
|
=1-\frac{2}{102}
|
|
=\frac{100}{102}
|
|
\approx 0.9804.
|
|
$$
|
|
|
|
样本量增大时，样本 $R^2$ 依概率收敛于该数值，因此大样本下通常会得到约 **98.04%** 的高 $R^2$；并不是说每个有限样本的 $R^2$ 都恰好等于这个值。
|
|
|
|
**原因：** $y_i$ 的波动主要来自 $10x_i$，剩余噪声的方差很小。同时，$x_i$ 还代替遗漏变量 $z_i$ 解释了相当一部分变化。因此，高 $R^2$ 说明拟合程度高，却不能保证回归斜率正确估计了目标参数 $\beta$。
|
|
|
|
## 三、为什么 OLS 估计量有偏？
|
|
|
|
遗漏变量进入误差项后，有
|
|
|
|
$$
|
|
E(u_i\mid x_i)=9x_i\ne 0,
|
|
$$
|
|
|
|
$$
|
|
\operatorname{Cov}(x_i,u_i)
|
|
=\operatorname{Cov}(x_i,9x_i+v_i+\varepsilon_i)
|
|
=9\ne 0.
|
|
$$
|
|
|
|
因此，零条件均值假设不成立，出现遗漏变量偏误。
|
|
|
|
进一步，用包含截距项的 OLS 斜率公式直接证明。记
|
|
|
|
$$
|
|
S_{xx}=\sum_{i=1}^{n}(x_i-\bar x)^2.
|
|
$$
|
|
|
|
由 $y_i=10x_i+v_i+\varepsilon_i$ 及 $\sum_i(x_i-\bar x)=0$，可得
|
|
|
|
$$
|
|
\hat\beta_{\mathrm{OLS}}
|
|
=\frac{\sum_{i=1}^{n}(x_i-\bar x)(y_i-\bar y)}{S_{xx}}
|
|
=10+\frac{\sum_{i=1}^{n}(x_i-\bar x)(v_i+\varepsilon_i)}{S_{xx}}.
|
|
$$
|
|
|
|
给定全部 $x_i$，上式最后一项的条件期望为零，所以
|
|
|
|
$$
|
|
E(\hat\beta_{\mathrm{OLS}}\mid x_1,\ldots,x_n)=10.
|
|
$$
|
|
|
|
在本例中取 $n\ge 4$，相关期望存在，因而
|
|
|
|
$$
|
|
E(\hat\beta_{\mathrm{OLS}})=10\ne\beta=1,
|
|
$$
|
|
|
|
$$
|
|
\operatorname{Bias}(\hat\beta_{\mathrm{OLS}})
|
|
=E(\hat\beta_{\mathrm{OLS}})-\beta
|
|
=10-1=9.
|
|
$$
|
|
|
|
因此，OLS 斜率估计量相对于目标参数 $\beta=1$ 是有偏的。
|
|
|
|
## 四、为什么 OLS 估计量不一致？
|
|
|
|
一致性要求估计量随样本量增大，依概率收敛于目标参数。由大数定律，
|
|
|
|
$$
|
|
\operatorname{plim}_{n\to\infty}\hat\beta_{\mathrm{OLS}}
|
|
=\frac{\operatorname{Cov}(x_i,y_i)}{\operatorname{Var}(x_i)}
|
|
=\frac{\operatorname{Cov}(x_i,10x_i+v_i+\varepsilon_i)}{1}
|
|
=10\ne 1.
|
|
$$
|
|
|
|
也可以用遗漏变量偏误公式表示为
|
|
|
|
$$
|
|
\operatorname{plim}_{n\to\infty}\hat\beta_{\mathrm{OLS}}
|
|
=\beta+\gamma\frac{\operatorname{Cov}(x_i,z_i)}{\operatorname{Var}(x_i)}
|
|
=1+1\times\frac{9}{1}
|
|
=10.
|
|
$$
|
|
|
|
因此，即使样本量趋于无穷，OLS 也会收敛到错误的目标值 10，而不是完整模型中的系数 1。增加样本量不能消除遗漏变量造成的偏误，所以估计量不一致。
|
|
|
|
## 五、结论
|
|
|
|
本例同时满足
|
|
|
|
$$
|
|
R_n^2\xrightarrow{p}\frac{100}{102}\approx98.04\%,\qquad
|
|
E(\hat\beta_{\mathrm{OLS}})=10\ne 1,\qquad
|
|
\hat\beta_{\mathrm{OLS}}\xrightarrow{p}10\ne 1.
|
|
$$
|
|
|
|
**高 $R^2$ 衡量的是拟合程度；无偏性和一致性考察的是估计量能否正确估计目标参数。遗漏与解释变量相关的变量，可以使回归拟合得很好，却使 OLS 对目标系数的估计有偏且不一致。**
|
|
|
|
需要区分：上述“有偏”和“不一致”都是相对于完整模型中的 $\beta=1$ 而言。如果目标只是估计 $y_i$ 对 $x_i$ 的总体线性投影系数，那么这个系数本来就是 10，OLS 对它是无偏且一致的。
|