[Note]ESL-第8章 Model Inference and Averaging (一)

这一章的开头4节都在讲bootstrap。Bootstrap在技术上非常简单，用『有放回的重抽样』就可以概括；但它背后的原理极其复杂，基于一个被称为Edgeworth的正态展开（类似于泰勒级数），特别当针对一个pivot做bootstrap时，可以得到二阶的精度。ESL这一章并没有探讨bootstrap的原理，而主要描述了方法和现象，Efron有一本专门的著作『An Introduction to the Bootstrap』。

通过Bootstrap抽样，我们可以通过计算机对给定数据的性质进行估计，包括样本均值的方差，样本方差的方差，估计值的置信区间，等等等等。待估计的这个估计量是任意的，举例来说，如果我们要估计某个估计量$\hat{\theta }=\hat{\theta }(x_1,x_2,\dots ,x_n)$的方差，那么我们只要首先生成$B$组（参数/非参数的，后面会解释）bootstrap样本集，然后就能得到估计

$${\mathbb{Var}}_B^{\ast }(\hat{\theta })=\frac{1}{B-1}\sum _{i=1}^B({\hat{\theta }}_i^{\ast }-\overline{{\hat{\theta }}^{\ast }}{)}^2$$

其中${\hat{\theta }}_i^{\ast }$表示通过第$i$组中样本得到的估计量，$\overline{{\hat{\theta }}^{\ast }}$表示所有$B$个估计量的平均值，一般bootstrap抽样得到的估计量都用上标星号表示。

所谓非参数bootstrap是指bootstrap样本抽样来自原始的样本，不涉及参数估计；而参数的bootstrap会假设一个样本发生模型，然后从样本中推断出模型的参数（一般是MLE），最后从估计的这个模型中sample出bootstrap样本（后面有例子具体说明）。

Bootstrap与最小二乘的置信区间

书上是这样定义这个问题的：对于一组（一维）数据，我们用三次样条进行拟合，样条结点选取在$X$的4分位点上，按照之前（书上143页）的方法，自由度为$(4region)\times (4paramsperregion)-(3knots)\times (3constraintsperknot)=7$，于是有模型：

$$\mu (x)=\sum _{j=1}^7{\beta }_j{h}_j(x)$$

由最小二乘解出$\hat{\mathit{\beta }}=(H^{T}H{)}^{-1}{H}^T\mathbf{y}$. 其中$H$是一个$N\times 7$的矩阵，$H_{ij}=h_j(x_i)$

接下去要找到预测值的standard error，令$\mathbf{h}(x)=(h_1(x),h_2(x),\dots ,h_7(x))$：

$$\begin{array}{}\text{(1)}& \begin{array}{rl}\mathrm{se}[\hat{\mu }(x)]& ={[\mathbf{h}(x{)}^T\mathrm{Var}(\hat{\mathit{\beta }})\mathbf{h}(x)]}^{1/2}\\ & ={[\mathbf{h}(x{)}^T(H^{T}H{)}^{-1}{H}^T\mathrm{Var}(\mathbf{y})H(H^{T}H{)}^{-1}\mathbf{h}(x)]}^{1/2}\\ & \approx {[\mathbf{h}(x{)}^T(H^{T}H{)}^{-1}\cdot {\hat{\sigma }}^{2}I\cdot \mathbf{h}(x)]}^{1/2}\\ & =\hat{\sigma }{[\mathbf{h}(x{)}^T(H^{T}H{)}^{-1}\mathbf{h}(x)]}^{1/2}\end{array}\end{array}$$

上式中取近似的那一步假设$\mathrm{Var}(\mathbf{y})=\mathrm{diag}({\hat{\sigma }}^2)$，其中${\hat{\sigma }}^2=\sum _{i=1}^N(y_i-\hat{\mu }(x_i){)}^2/N$

图8.2右上画出了拟合曲线的$95\mathrm{\%}$置信区间，即$\hat{\mu }(x)\pm 1.96\cdot \widehat{\mathrm{se}}[\hat{\mu }(x)]$

稍微解释一下，以上的置信区间是这么算的：首先假设$\mu (x)=\hat{\mu }(x)+{ϵ}_{\mu };{ϵ}_{\mu }\sim N(0,{\sigma }_{\mu }^2)$，这样$\frac{\mu (x)-\hat{\mu }(x)}{{\sigma }_{\mu }}\sim N(0,1)$，其中${\sigma }_{\mu }^2=\mathrm{Var}[\mu (x)]=\mathrm{Var}[{\mathit{\beta }}^T\mathbf{h}(x)]={\mathrm{se}}^2[\hat{\mu }(x)]$. 而$1.96$是标准正态分布的$95\mathrm{\%}$分位点。

而右下图画出了bootstrap方法得到的拟合曲线的$95\mathrm{\%}$置信区间，具体做法如下：

• 从训练集中重抽样出$B=200$个bootstrap训练集，每个训练集包含$N=50$个样本；
• 对每一个训练集$Z^{\ast }$拟合得到一个三次样条${\hat{\mu }}^{\ast }(x)$
• 在每一个$x$处找第$2.5\mathrm{\%}\times 200=5$大和第$5$小的值，这样得到$95\mathrm{\%}$的置信区间

以上方法被称为『非参数boostrap』，因为这是直接从训练集出发抽样得到新的数据集，而不是从参数模型中sample得到数据集。

与之相对的是『参数bootstrap』，在参数化的方法中：

• 我们首先假设一个样本生成模型，例如高斯扰动$y_i=\mu (x_i)+{ϵ}_i,ϵ\sim N(0,{\sigma }^2)$
• 通过（使用样条的）最小二乘得到均值$\hat{\mu }(x_i)$和方差${\hat{\sigma }}^2$
• 对每一个训练集中的$x_i,i=1,2,\dots ,N$，通过上述模型sample出一组新的$y_i^{\ast }=\hat{\mu }(x_i)+{ϵ}_i^{\ast };{ϵ}_i^{\ast }\sim N(0,{\hat{\sigma }}^2)$，共$N$个训练数据点：$(x_1,y_1^{\ast }),\dots ,(x_N,y_N^{\ast })$
• 产生$B=200$个bootstrap训练集，对每一个重新拟合三次样条，得到${\hat{\mu }}^{\ast }(x)=\mathbf{h}(x{)}^T(H^{T}H{)}^{-1}{H}^T{\mathbf{y}}^{\ast }$
• 通过和非参数bootstrap一样的方法得到置信区间

我们注意到${\hat{\mu }}^{\ast }(x)$也是一个高斯分布，有均值$\mathbb{E}[{\hat{\mathit{\mu }}}^{\ast }(x)]=[\mathbf{h}(x{)}^T(H^{T}H{)}^{-1}{H}^T][H(H^{T}H{)}^{-1}{H}^T\mathbf{y}]=\hat{\mathit{\mu }}(x)$，方差$\mathbf{h}(x{)}^T(H^{T}H{)}^{-1}\mathbf{h}(x){\hat{\sigma }}^2$，以及和式($\text{1}$)一样的se，因此当$B\to \mathrm{\infty }$时我们可以得到和最小二乘完全一样的置信区间。

Bootstrap与最大似然的置信区间

上面的分析展示了bootstrap和最小二乘的关系，而我们知道最小二乘和假设正态误差后求MLE是一回事情：

$$y_i={\mathit{\beta }}^T\mathbf{h}(x_i)+ϵ,ϵ\sim N(0,{\sigma }^2)$$

求解最大似然可以得到$\mathit{\beta }$和$\sigma$的估计值，这两个估计值应该和最小二乘得到的一样。

这一节的关键在于最大似然估计的置信区间，用到了最大似然的渐进性质。MLE的渐进分析基于这样一个方法：将似然函数$l(\mathit{\theta };Z_i)$中的$Z_i$看作随机变量，这样$l$也是一个随机变量；如果认为$Z_i$之间互相独立，那么$l_N(\mathit{\theta };\mathbf{Z})=\sum _{i=1}^{N}l(\mathit{\theta };Z_i)$也是随机变量，有自己的概率分布，并且不同的$\mathit{\theta }$值对应不同的概率分布。进一步的，似然函数的一阶、二阶导都是随机变量，最大似然估计$\hat{\mathit{\theta }}$也是一个随机变量。

最大似然函数的二阶导矩阵被称为information matrix，而它的期望$I_n(\mathit{\theta })$，被成为Fisher information，这是最大似然渐进分析中最重要的一个统计量了，且有（注意这里的记号和ESL不太一样）：

$$I_N(\mathit{\theta })={\mathbb{E}}_{\mathit{\theta }}[l_N^{\prime \prime }(\mathit{\theta };\mathbf{Z})]={\mathbb{Var}}_{\mathit{\theta }}[l_N^{\prime }(\mathit{\theta };\mathbf{Z})]$$

这里下标$N$是强调有$N$个随机变量的联合分布，下标$\mathit{\theta }$是为了强调用于计算期望的概率密度函数，它的参数$\mathit{\theta }$和$l_N(\mathit{\theta };\mathbf{Z})$中的参数是同一个（比如说，如果有均值$\mu$和方差$\sigma$两个参数，不能一个是$\mu$，另一个是$\sigma$）

MLE有一个重要的渐进性质，在绝大多数情况下，有

$$(\hat{\mathit{\theta }}-{\mathit{\theta }}_0)⟶N(\mathbf{0},I_n({\mathit{\theta }}_0{)}^{-1})$$

其中${\mathit{\theta }}_0$表示参数的真实值。以上结论具体的证明不妨参考UMN的Stat-5102第8章Conlecture notes

有了这个结论，就可以构造MLE的置信区间了，很显然得到的是和最小二乘相同的置信区间。

Bootstrap与贝叶斯方法

这一节我没有特别理解，大意是说给定noninformative的先验，那么贝叶斯后验和MLE就非常相似了，Bootstrap可用于这种情况下贝叶斯方法的估计。这显然是一定的：例如，令$z\sim N(\theta ,1)$，先验$\theta \sim N(0,\tau )$，那么后验

$$\theta |z\sim N(\frac{z}{1+1/\tau },\frac{1}{1+1/\tau })$$

当$\tau \to \mathrm{\infty }$时，这就是一个noninformative先验，显然，此时$\theta |z$趋向于MLE的结果。