Week9-1

Week9/answer.md

@@ -0,0 +1,156 @@
+# 第9周思考题：高 R² 与 OLS 的有偏性、不一致性
+
+## 题目
+
+举出具有高 $R^2$，但回归系数估计量有偏且非一致的回归例子，并解释：
+
+1. 为什么 $R^2$ 很高？
+2. 为什么 OLS 估计量有偏且非一致？
+
+## 一、构造例子：遗漏相关变量
+
+设真实模型为
+
+$$
+y_i=\alpha+\beta x_i+\gamma z_i+\varepsilon_i,
+\qquad \alpha=0,\quad \beta=1,\quad \gamma=1.
+$$
+
+我们要估计的是完整模型中 $x_i$ 的系数 $\beta=1$，即控制 $z_i$ 后，$x_i$ 与 $y_i$ 的线性关系。
+
+设 $x_i,v_i,\varepsilon_i$ 相互独立，均服从标准正态分布，各观测之间也相互独立，并令
+
+$$
+z_i=9x_i+v_i.
+$$
+
+因此，$z_i$ 是一个与 $x_i$ 高度相关、且影响 $y_i$ 的变量。若回归时遗漏 $z_i$，只用包含截距项的 OLS 回归 $y_i$ 对 $x_i$，就得到
+
+$$
+y_i=\alpha+\beta x_i+u_i,
+\qquad u_i=z_i+\varepsilon_i=9x_i+v_i+\varepsilon_i.
+$$
+
+把数据生成关系代入后，也可以将 $y_i$ 写成
+
+$$
+y_i=10x_i+v_i+\varepsilon_i.
+$$
+
+这表明，单靠 $x_i$ 就能很好地拟合 $y_i$，但回归斜率会混入遗漏变量 $z_i$ 的影响。
+
+## 二、为什么 R² 很高？
+
+由于 $v_i+\varepsilon_i$ 与 $x_i$ 独立，$y_i$ 对 $x_i$ 的总体线性预测值为 $10x_i$，预测残差为 $v_i+\varepsilon_i$。
+
+由独立性可得
+
+$$
+\operatorname{Var}(10x_i)=100,
+\qquad
+\operatorname{Var}(v_i+\varepsilon_i)=2,
+$$
+
+$$
+\operatorname{Var}(y_i)=100+2=102.
+$$
+
+所以，总体决定系数为
+
+$$
+R_{\mathrm{pop}}^2
+=1-\frac{\operatorname{Var}(v_i+\varepsilon_i)}{\operatorname{Var}(y_i)}
+=1-\frac{2}{102}
+=\frac{100}{102}
+\approx 0.9804.
+$$
+
+样本量增大时，样本 $R^2$ 依概率收敛于该数值，因此大样本下通常会得到约 **98.04%** 的高 $R^2$；并不是说每个有限样本的 $R^2$ 都恰好等于这个值。
+
+**原因：** $y_i$ 的波动主要来自 $10x_i$，剩余噪声的方差很小。同时，$x_i$ 还代替遗漏变量 $z_i$ 解释了相当一部分变化。因此，高 $R^2$ 说明拟合程度高，却不能保证回归斜率正确估计了目标参数 $\beta$。
+
+## 三、为什么 OLS 估计量有偏？
+
+遗漏变量进入误差项后，有
+
+$$
+E(u_i\mid x_i)=9x_i\ne 0,
+$$
+
+$$
+\operatorname{Cov}(x_i,u_i)
+=\operatorname{Cov}(x_i,9x_i+v_i+\varepsilon_i)
+=9\ne 0.
+$$
+
+因此，零条件均值假设不成立，出现遗漏变量偏误。
+
+进一步，用包含截距项的 OLS 斜率公式直接证明。记
+
+$$
+S_{xx}=\sum_{i=1}^{n}(x_i-\bar x)^2.
+$$
+
+由 $y_i=10x_i+v_i+\varepsilon_i$ 及 $\sum_i(x_i-\bar x)=0$，可得
+
+$$
+\hat\beta_{\mathrm{OLS}}
+=\frac{\sum_{i=1}^{n}(x_i-\bar x)(y_i-\bar y)}{S_{xx}}
+=10+\frac{\sum_{i=1}^{n}(x_i-\bar x)(v_i+\varepsilon_i)}{S_{xx}}.
+$$
+
+给定全部 $x_i$，上式最后一项的条件期望为零，所以
+
+$$
+E(\hat\beta_{\mathrm{OLS}}\mid x_1,\ldots,x_n)=10.
+$$
+
+在本例中取 $n\ge 4$，相关期望存在，因而
+
+$$
+E(\hat\beta_{\mathrm{OLS}})=10\ne\beta=1,
+$$
+
+$$
+\operatorname{Bias}(\hat\beta_{\mathrm{OLS}})
+=E(\hat\beta_{\mathrm{OLS}})-\beta
+=10-1=9.
+$$
+
+因此，OLS 斜率估计量相对于目标参数 $\beta=1$ 是有偏的。
+
+## 四、为什么 OLS 估计量不一致？
+
+一致性要求估计量随样本量增大，依概率收敛于目标参数。由大数定律，
+
+$$
+\operatorname{plim}_{n\to\infty}\hat\beta_{\mathrm{OLS}}
+=\frac{\operatorname{Cov}(x_i,y_i)}{\operatorname{Var}(x_i)}
+=\frac{\operatorname{Cov}(x_i,10x_i+v_i+\varepsilon_i)}{1}
+=10\ne 1.
+$$
+
+也可以用遗漏变量偏误公式表示为
+
+$$
+\operatorname{plim}_{n\to\infty}\hat\beta_{\mathrm{OLS}}
+=\beta+\gamma\frac{\operatorname{Cov}(x_i,z_i)}{\operatorname{Var}(x_i)}
+=1+1\times\frac{9}{1}
+=10.
+$$
+
+因此，即使样本量趋于无穷，OLS 也会收敛到错误的目标值 10，而不是完整模型中的系数 1。增加样本量不能消除遗漏变量造成的偏误，所以估计量不一致。
+
+## 五、结论
+
+本例同时满足
+
+$$
+R_n^2\xrightarrow{p}\frac{100}{102}\approx98.04\%,\qquad
+E(\hat\beta_{\mathrm{OLS}})=10\ne 1,\qquad
+\hat\beta_{\mathrm{OLS}}\xrightarrow{p}10\ne 1.
+$$
+
+**高 $R^2$ 衡量的是拟合程度；无偏性和一致性考察的是估计量能否正确估计目标参数。遗漏与解释变量相关的变量，可以使回归拟合得很好，却使 OLS 对目标系数的估计有偏且不一致。**
+
+需要区分：上述“有偏”和“不一致”都是相对于完整模型中的 $\beta=1$ 而言。如果目标只是估计 $y_i$ 对 $x_i$ 的总体线性投影系数，那么这个系数本来就是 10，OLS 对它是无偏且一致的。