soda-official

外观

Lesson 7 一元线性回归

复制页面

约 4603 字大约 15 分钟

2026-11-11

1

回归分析是研究变量之间关系的一种统计方法，而最小二乘法是求解回归模型参数的一种常用数学方法。

Part 1 一元线性回归方程

一元线性回归用于确定两个变量之间的线性关系，本质上是平面上的直线拟合问题。

一元线性回归的目标是寻找一条直线 y^=b0+bx\hat{y} = b_0 + bx，使之最好地拟合观测数据。

· 离差记号的代数推导

设观测数据具有结构形式 yt=β0+βxt+ϵty_t = \beta_0 + \beta x_t + \epsilon_t (t=1,2,…,Nt = 1, 2, \dots, N)，其中 ϵt\epsilon_t 为随机误差项。 设求得的经验回归直线方程为：

y^=b0+bx\hat{y} = b_0 + bx

我们先来规定一些基本概念，如离差与重心。

在统计学中，离差（Deviation）指的是样本观测值与样本均值的差值。直接计算离差会导致计算量偏大，因此通常将其展开简化为便于计算的形式：

(1). 样本中心（重心）：

/Derive/

xˉ=1N∑t=1Nxt,yˉ=1N∑t=1Nyt\bar{x} = \frac{1}{N}\sum_{t=1}^{N} x_t, \quad \bar{y} = \frac{1}{N}\sum_{t=1}^{N} y_t

在后续计算中，利用性质 ∑t=1N(xt−xˉ)=0\sum_{t=1}^{N} (x_t - \bar{x}) = 0 和 ∑t=1N(yt−yˉ)=0\sum_{t=1}^{N} (y_t - \bar{y}) = 0 可以大大简化公式推导。

(2). xx 的离差平方和（Sum of Squares for xx）：

/Derive/

lxx=∑t=1N(xt−xˉ)2=∑t=1N(xt2−2xtxˉ+xˉ2)=∑t=1Nxt2−2xˉ∑t=1Nxt+Nxˉ2l_{xx} = \sum_{t=1}^{N}(x_t - \bar{x})^2 = \sum_{t=1}^{N}(x_t^2 - 2x_t\bar{x} + \bar{x}^2) = \sum_{t=1}^{N}x_t^2 - 2\bar{x}\sum_{t=1}^{N}x_t + N\bar{x}^2

由于 ∑xt=Nxˉ\sum x_t = N\bar{x}，带入可得简化公式：

lxx=∑t=1Nxt2−Nxˉ2=∑t=1Nxt2−1N(∑t=1Nxt)2l_{xx} = \sum_{t=1}^{N}x_t^2 - N\bar{x}^2 = \sum_{t=1}^{N}x_t^2 - \frac{1}{N}\left(\sum_{t=1}^{N}x_t\right)^2

(3). x,yx, y 的交叉离差乘积和（Sum of Cross-Products for x,yx, y）：

/Derive/

lxy=∑t=1N(xt−xˉ)(yt−yˉ)=∑t=1N(xtyt−xtyˉ−ytxˉ+xˉyˉ)=∑t=1Nxtyt−yˉ∑t=1Nxt−xˉ∑t=1Nyt+Nxˉyˉ\begin{aligned} l_{xy} &= \sum_{t=1}^{N}(x_t - \bar{x})(y_t - \bar{y}) = \sum_{t=1}^{N}(x_t y_t - x_t \bar{y} - y_t \bar{x} + \bar{x}\bar{y}) \\\\&= \sum_{t=1}^{N}x_t y_t - \bar{y}\sum_{t=1}^{N}x_t - \bar{x}\sum_{t=1}^{N}y_t + N\bar{x}\bar{y} \end{aligned}

代入 ∑xt=Nxˉ\sum x_t = N\bar{x} 和 ∑yt=Nyˉ\sum y_t = N\bar{y} 后得到：

lxy=∑t=1Nxtyt−Nxˉyˉ=∑t=1Nxtyt−1N(∑t=1Nxt)(∑t=1Nyt)l_{xy} = \sum_{t=1}^{N}x_t y_t - N\bar{x}\bar{y} = \sum_{t=1}^{N}x_t y_t - \frac{1}{N}\left(\sum_{t=1}^{N}x_t\right)\left(\sum_{t=1}^{N}y_t\right)

(4). yy 的离差平方和：

同理，可推导出：

lyy=∑t=1N(yt−yˉ)2=∑t=1Nyt2−1N(∑t=1Nyt)2l_{yy} = \sum_{t=1}^{N}(y_t - \bar{y})^2 = \sum_{t=1}^{N}y_t^2 - \frac{1}{N}\left(\sum_{t=1}^{N}y_t\right)^2

在求解出回归截距 b0=yˉ−bxˉb_0 = \bar{y} - b\bar{x} 后，将其代入经验回归方程 y^=b0+bx\hat{y} = b_0 + bx 中：

y^=(yˉ−bxˉ)+bx  ⟹  y^−yˉ=b(x−xˉ)\hat{y} = (\bar{y} - b\bar{x}) + bx \implies \hat{y} - \bar{y} = b(x - \bar{x})

几何与物理意义：

必定穿过重心： 当输入点为样本均值 x=xˉx = \bar{x} 时，可算得预测值为 y^=yˉ\hat{y} = \bar{y}。这表明：经验回归直线必然严格经过数据观测点的中心几何坐标 (xˉ,yˉ)(\bar{x}, \bar{y})。

残差均值为零： 基于最小二乘法求得的残差 et=yt−y^te_t = y_t - \hat{y}_t，满足 ∑t=1Net=0\sum_{t=1}^{N} e_t = 0，即拟合值的平均数始终等于实际观测值的平均数（y^ˉ=yˉ\bar{\hat{y}} = \bar{y}）。

根据最小二乘法（Ordinary Least Squares, OLS），我们需要找到一组参数 (b0,b)(b_0, b)，使得拟合值与真实值之间的残差平方和（Sum of Squared Residuals, SSR）达到最小：

Q(b0,b)=∑t=1Net2=∑t=1N(yt−b0−bxt)2Q(b_0, b) = \sum_{t=1}^{N} e_t^2 = \sum_{t=1}^{N} (y_t - b_0 - b x_t)^2

· 代数展开求解回归方程

对目标函数 Q(b0,b)Q(b_0, b) 分别关于未知变量 b0b_0 和 bb 求偏导数，并令偏导数等于零：

(1). 对 b0b_0 求偏导：

/Derive/

∂Q∂b0=−2∑t=1N(yt−b0−bxt)=0  ⟹  ∑t=1Nyt−Nb0−b∑t=1Nxt=0\frac{\partial Q}{\partial b_0} = -2 \sum_{t=1}^{N} (y_t - b_0 - b x_t) = 0 \implies \sum_{t=1}^{N} y_t - N b_0 - b \sum_{t=1}^{N} x_t = 0

两边同时除以 NN：

yˉ−b0−bxˉ=0  ⟹  b0=yˉ−bxˉ\bar{y} - b_0 - b\bar{x} = 0 \implies b_0 = \bar{y} - b\bar{x}

(2). 对 bb 求偏导：

/Derive/

∂Q∂b=−2∑t=1Nxt(yt−b0−bxt)=0  ⟹  ∑t=1Nxtyt−b0∑t=1Nxt−b∑t=1Nxt2=0\frac{\partial Q}{\partial b} = -2 \sum_{t=1}^{N} x_t (y_t - b_0 - b x_t) = 0 \implies \sum_{t=1}^{N} x_t y_t - b_0 \sum_{t=1}^{N} x_t - b \sum_{t=1}^{N} x_t^2 = 0

将 b0=yˉ−bxˉb_0 = \bar{y} - b\bar{x} 带入上式：

∑t=1Nxtyt−(yˉ−bxˉ)∑t=1Nxt−b∑t=1Nxt2=0\sum_{t=1}^{N} x_t y_t - (\bar{y} - b\bar{x})\sum_{t=1}^{N} x_t - b \sum_{t=1}^{N} x_t^2 = 0

∑t=1Nxtyt−Nxˉyˉ−b(∑t=1Nxt2−Nxˉ2)=0\sum_{t=1}^{N} x_t y_t - N\bar{x}\bar{y} - b \left(\sum_{t=1}^{N} x_t^2 - N\bar{x}^2\right) = 0

代入离差记号定义：

lxy−b⋅lxx=0  ⟹  b=lxylxxl_{xy} - b \cdot l_{xx} = 0 \implies b = \frac{l_{xy}}{l_{xx}}

· 回归方程的向量空间表达

用矩阵形式表示回归问题时，计算过程更加简洁且利于推广到多元回归。

(1). 构造矩阵模型：

定义观测向量 YY、设计矩阵 XX 和参数向量 b\boldsymbol{b}：

Y=[y1y2⋮yN]N×1,X=[1x11x2⋮⋮1xN]N×2,b=[b0b]2×1Y = \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_N \end{bmatrix}_{N \times 1}, \quad X = \begin{bmatrix} 1 & x_1 \\ 1 & x_2 \\ \vdots & \vdots \\ 1 & x_N \end{bmatrix}_{N \times 2}, \quad \boldsymbol{b} = \begin{bmatrix} b_0 \\ b \end{bmatrix}_{2 \times 1}

残差向量为 V=Y−XbV = Y - X\boldsymbol{b}.

(2). 目标函数与二次型导数：

残差平方和转为二次型：

Q(b)=VTV=(Y−Xb)T(Y−Xb)=YTY−2bTXTY+bTXTXbQ(\boldsymbol{b}) = V^T V = (Y - X\boldsymbol{b})^T (Y - X\boldsymbol{b}) = Y^T Y - 2 \boldsymbol{b}^T X^T Y + \boldsymbol{b}^T X^T X \boldsymbol{b}

对未知向量 b\boldsymbol{b} 求一阶矩阵导数并令其为 0：

∂Q∂b=−2XTY+2XTXb=0  ⟹  XTXb=XTY\frac{\partial Q}{\partial \boldsymbol{b}} = -2 X^T Y + 2 X^T X \boldsymbol{b} = 0 \implies X^T X \boldsymbol{b} = X^T Y

(3). 解出参数矩阵：

如果 XTXX^T X 可逆，两边左乘 (XTX)−1(X^T X)^{-1}：

b=[b0b]=(XTX)−1XTY\boldsymbol{b} = \begin{bmatrix} b_0 \\ b \end{bmatrix} = (X^T X)^{-1} X^T Y

(4). 展开矩阵元素验证一致性：

求解 XTXX^T X：

XTX=[11…1x1x2…xN][1x11x2⋮⋮1xN]=[N∑xi∑xi∑xi2]X^T X = \begin{bmatrix} 1 & 1 & \dots & 1 \\ x_1 & x_2 & \dots & x_N \end{bmatrix} \begin{bmatrix} 1 & x_1 \\ 1 & x_2 \\ \vdots & \vdots \\ 1 & x_N \end{bmatrix} = \begin{bmatrix} N & \sum x_i \\ \sum x_i & \sum x_i^2 \end{bmatrix}

求解 (XTX)−1(X^T X)^{-1}（逆矩阵公式）： 设矩阵 A=[abcd]A = \begin{bmatrix} a & b \\ c & d \end{bmatrix}，其行列式 ∣A∣=ad−bc=N∑xi2−(∑xi)2=Nlxx\vert{}A\vert{} = ad - bc = N\sum x_i^2 - (\sum x_i)^2 = N l_{xx}。 因此：

(XTX)−1=1Nlxx[∑xi2−∑xi−∑xiN](X^T X)^{-1} = \frac{1}{N l_{xx}} \begin{bmatrix} \sum x_i^2 & -\sum x_i \\ -\sum x_i & N \end{bmatrix}

求解 XTYX^T Y：

XTY=[∑yi∑xiyi]X^T Y = \begin{bmatrix} \sum y_i \\ \sum x_i y_i \end{bmatrix}

矩阵乘法得到系数：

b=1Nlxx[∑xi2−∑xi−∑xiN][∑yi∑xiyi]=[(∑xi2)(∑yi)−(∑xi)(∑xiyi)Nlxx−∑xi∑yi+N∑xiyiNlxx]=[yˉ−bxˉlxylxx]\begin{aligned} \boldsymbol{b} &= \frac{1}{N l_{xx}} \begin{bmatrix} \sum x_i^2 & -\sum x_i \\ -\sum x_i & N \end{bmatrix} \begin{bmatrix} \sum y_i \\ \sum x_i y_i \end{bmatrix} \\\\\\&= \begin{bmatrix} \dfrac{(\sum x_i^2)(\sum y_i) - (\sum x_i)(\sum x_i y_i)}{N l_{xx}} \\\\ \dfrac{-\sum x_i \sum y_i + N \sum x_i y_i}{N l_{xx}} \end{bmatrix} = \begin{bmatrix} \bar{y} - b\bar{x} \\ \frac{l_{xy}}{l_{xx}} \end{bmatrix} \end{aligned}

代数法与矩阵法推导出的结论完全一致。

· 回归方程的稳定性

给定某一个自变量 xx，根据拟合出的经验公式预测响应值 y^=b0+bx\hat{y} = b_0 + bx。由于 b0b_0 和 bb 均为受样本随机误差影响的估计量，预报值 y^\hat{y} 也是一个随机变量。

应用随机误差传播律求 y^\hat{y} 的方差：

σy^2=Var(b0+bx)=σb02+x2σb2+2x Cov(b0,b)\sigma_{\hat{y}}^2 = \text{Var}(b_0 + b x) = \sigma_{b_0}^2 + x^2 \sigma_b^2 + 2 x \, \text{Cov}(b_0, b)

代入各方差与协方差表达式：

σy^2=(1N+xˉ2lxx)σ2+x2(1lxx)σ2+2x(−xˉlxx)σ2\sigma_{\hat{y}}^2 = \left( \frac{1}{N} + \frac{\bar{x}^2}{l_{xx}} \right) \sigma^2 + x^2 \left( \frac{1}{l_{xx}} \right) \sigma^2 + 2x \left( -\frac{\bar{x}}{l_{xx}} \right) \sigma^2

合并配方后即可得到经典的预报方差公式：

σy^2=[1N+(x−xˉ)2lxx]σ2\sigma_{\hat{y}}^2 = \left[ \frac{1}{N} + \frac{(x - \bar{x})^2}{l_{xx}} \right] \sigma^2

样本量 NN 越大、且预测点 xx 越靠近样本均值 xˉ\bar{x}（即 ∣x−xˉ∣\vert{}x - \bar{x}\vert{} 越小）时，预报值 y^\hat{y} 的标准差越小，精度越高。

当样本量 N→∞N \to \infty 时，σy^2→0\sigma_{\hat{y}}^2 \to 0，即在大样本条件下，经验回归直线收敛于理论真实的回归直线。

若我们在收集/设计 xx 的数据时，让 xx 保持在更宽的观测范围内（使 lxxl_{xx} 极大），就能有效压低分母，使拟合出的斜率 bb 更准确，进而显著降低整个区间的预报标准差 σy^\sigma_{\hat{y}}。

Part 2 方差分析与显著性检验

在一元线性回归分析中，方差分析（ANOVA, Analysis of Variance） 与 显著性检验（F 检验） 是评估线性模型是否有效、自变量 xx 对因变量 yy 的解释能力是否具有统计显著性的核心方法。

· 总离差平方和分解

方差分析的核心思想是：将因变量 yy 的总波动分解为“由自变量 xx 的线性效应引起的已知波动”与“无法由 xx 解释的随机误差波动”。

对于任意观测点 yty_t，将其与均值 yˉ\bar{y} 的离差拆分为两部分：

yt−yˉ=(yt−y^t)+(y^t−yˉ)y_t - \bar{y} = (y_t - \hat{y}_t) + (\hat{y}_t - \bar{y})

其中 yt−y^t=ety_t - \hat{y}_t = e_t 为残差，y^t−yˉ\hat{y}_t - \bar{y} 为拟合值对均值的偏离。

对两边求平方和：

∑t=1N(yt−yˉ)2=∑t=1N[(yt−y^t)+(y^t−yˉ)]2\sum_{t=1}^{N} (y_t - \bar{y})^2 = \sum_{t=1}^{N} \left[ (y_t - \hat{y}_t) + (\hat{y}_t - \bar{y}) \right]^2

∑t=1N(yt−yˉ)2=∑t=1N(y^t−yˉ)2+∑t=1N(yt−y^t)2+2∑t=1N(y^t−yˉ)(yt−y^t)\sum_{t=1}^{N} (y_t - \bar{y})^2 = \sum_{t=1}^{N} (\hat{y}_t - \bar{y})^2 + \sum_{t=1}^{N} (y_t - \hat{y}_t)^2 + 2 \sum_{t=1}^{N} (\hat{y}_t - \bar{y})(y_t - \hat{y}_t)

展开交叉项 ∑t=1N(y^t−yˉ)(yt−y^t)\sum_{t=1}^{N} (\hat{y}_t - \bar{y})(y_t - \hat{y}_t)： 由于 y^t=b0+bxt=(yˉ−bxˉ)+bxt=yˉ+b(xt−xˉ)\hat{y}_t = b_0 + b x_t = (\bar{y} - b\bar{x}) + b x_t = \bar{y} + b(x_t - \bar{x})，因此 y^t−yˉ=b(xt−xˉ)\hat{y}_t - \bar{y} = b(x_t - \bar{x})。

将此代入交叉项中：

∑t=1N(y^t−yˉ)(yt−y^t)=b∑t=1N(xt−xˉ)(yt−b0−bxt)\sum_{t=1}^{N} (\hat{y}_t - \bar{y})(y_t - \hat{y}_t) = b \sum_{t=1}^{N} (x_t - \bar{x})(y_t - b_0 - b x_t)

根据最小二乘法求导得到的正规方程：

∑(yt−b0−bxt)=0\sum (y_t - b_0 - b x_t) = 0

∑xt(yt−b0−bxt)=0\sum x_t (y_t - b_0 - b x_t) = 0

两式组合可得 ∑(xt−xˉ)(yt−y^t)=0\sum (x_t - \bar{x})(y_t - \hat{y}_t) = 0。因此，交叉项恒等于 0。

即得到了平方和可加性恒等式（S = U + Q）：

S=U+QS = U + Q

然后我们给出三种平方和的化简公式

(1). 总离差平方和 SS（Total Sum of Squares, SST）：

衡量样本观测值 yty_t 的整体变异程度。

S=lyy=∑t=1N(yt−yˉ)2=∑t=1Nyt2−1N(∑t=1Nyt)2S = l_{yy} = \sum_{t=1}^{N} (y_t - \bar{y})^2 = \sum_{t=1}^{N} y_t^2 - \frac{1}{N}\left(\sum_{t=1}^{N} y_t\right)^2

(2). 回归平方和 UU（Regression Sum of Squares, SSR）：

反映由回归直线所解释的波动程度（因 xx 变化而引起 yy 变化的部分）。

将 y^t−yˉ=b(xt−xˉ)\hat{y}_t - \bar{y} = b(x_t - \bar{x}) 代入：

U=∑t=1N(y^t−yˉ)2=∑t=1N[b(xt−xˉ)]2=b2∑t=1N(xt−xˉ)2=b2lxxU = \sum_{t=1}^{N} (\hat{y}_t - \bar{y})^2 = \sum_{t=1}^{N} [b(x_t - \bar{x})]^2 = b^2 \sum_{t=1}^{N} (x_t - \bar{x})^2 = b^2 l_{xx}

利用 b=lxylxxb = \dfrac{l_{xy}}{l_{xx}} 化简：

U=(lxylxx)2lxx=lxy2lxx=blxyU = \left(\frac{l_{xy}}{l_{xx}}\right)^2 l_{xx} = \frac{l_{xy}^2}{l_{xx}} = b l_{xy}

(3). 残余平方和 QQ（Residual/Error Sum of Squares, SSE）：

反映未被回归直线解释的随机误差波动。

Q=∑t=1N(yt−y^t)2=S−U=lyy−blxy=lyy−lxy2lxxQ = \sum_{t=1}^{N} (y_t - \hat{y}_t)^2 = S - U = l_{yy} - b l_{xy} = l_{yy} - \frac{l_{xy}^2}{l_{xx}}

· 残余方差与残余标准差

模型的随机误差项 ϵt∼N(0,σ2)\epsilon_t \sim N(0, \sigma^2) 的方差 σ2\sigma^2 在实际中未知，需要通过观测数据进行估计。

残余方差定义为残余平方和除以其对应的自由度：

σ^2=QN−2=∑t=1N(yt−y^t)2N−2\hat{\sigma}^2 = \frac{Q}{N - 2} = \frac{\sum_{t=1}^{N} (y_t - \hat{y}_t)^2}{N - 2}

无偏性证明：

可以证明 E(Q)=(N−2)σ2E(Q) = (N - 2)\sigma^2，因此 σ^2\hat{\sigma}^2 是未知的真实误差方差 σ2\sigma^2 的无偏估计量。

残余标准差 σ=QN−2\sigma = \sqrt{\dfrac{Q}{N - 2}}：

代表剔除线性相关性后，实际观测点垂直偏离回归直线的平均幅值（与 yy 具有相同的物理单位）。

残余标准差对模型的几何直观意义:

σ\sigma 越小, 拟合点集中程度越高，观测数据紧密包裹在经验回归线两侧，模型的预报精度更高。

模型的拟合优度判定系数定义为

R2=US=1−QSR^2 = \dfrac{U}{S} = 1 - \frac{Q}{S}

当残差平方和 Q→0Q \to 0 时，σ→0\sigma \to 0 且 R2→1R^2 \to 1，模型接近完全线性相关。

· 显著性检验（FF 检验法）

进行显著性检验的目的是为了判断自变量 xx 与因变量 yy 之间是否存在真正的线性依赖关系，还是仅仅由于随机采样误差产生的“虚假相关”。

在模型 yt=β0+βxt+ϵty_t = \beta_0 + \beta x_t + \epsilon_t 中：

  • 原假设 H0:β=0H_0: \beta = 0（xx 与 yy 无线性关系，回归方程无显著意义）。
  • 备择假设 H1:β≠0H_1: \beta \neq 0（xx 与 yy 存在显著线性关系）。

根据正态分布假设下二次型平方和分布性质：

在 H0H_0 为真的条件下，回归均方 MSU=U1MS_U = \frac{U}{1} 服从自由度为 1 的 σ2χ2(1)\sigma^2 \chi^2(1) 分布：

Uσ2∼χ2(1)\frac{U}{\sigma^2} \sim \chi^2(1)

残差均方 MSQ=QN−2MS_Q = \dfrac{Q}{N-2} 服从自由度为 N−2N-2 的 σ2χ2(N−2)\sigma^2 \chi^2(N-2) 分布：

Qσ2∼χ2(N−2)\frac{Q}{\sigma^2} \sim \chi^2(N - 2)

在正态假设下，分子与分母各自代表的二次型在统计上是相互独立的。

构造两个无偏方差的比值检验统计量 FF：

F=MSUMSQ=U/νUQ/νQ=U/1Q/(N−2)F = \frac{MS_U}{MS_Q} = \frac{U / \nu_U}{Q / \nu_Q} = \frac{U / 1}{Q / (N - 2)}

若原假设 H0H_0 成立，则分子分母中的未知参数 σ2\sigma^2 相互约去，FF 统计量精确服从自由度为 (1,N−2)(1, N - 2) 的 F 分布：

F∼F(1,N−2)F \sim F(1, N - 2)

设定显著性水平 α\alpha（常见有 0.01,0.05,0.100.01, 0.05, 0.10），查表确定临界值 Fα(1,N−2)F_\alpha(1, N - 2)：

                    F 分布概率密度曲线与拒绝域
   f(F) ^
        |   拟合成立的接受域
        |  ---------------------\ 
        |                        \  拒绝 H0 (显著域)
        |                         \ 
        +--------------------------+-----------------> F
        0                    F_α(1, N-2)
                                   |<-- 临界尾部面积 α -->|

我们可给出结论：

若 F≥F0.01(1,N−2)F \ge F_{0.01}(1, N - 2)：pp 值小于 0.010.01，表明在 α=0.01\alpha = 0.01 的极高检验水准上高度显著（拒绝原假设 H0H_0），说明 xx 对 yy 的线性影响极强。

若 F0.05(1,N−2)≤F<F0.01(1,N−2)F_{0.05}(1, N - 2) \le F < F_{0.01}(1, N - 2)： 在 α=0.05\alpha = 0.05 水平上显著，线性回归模型有效。

若 F0.10(1,N−2)≤F<F0.05(1,N−2)F_{0.10}(1, N - 2) \le F < F_{0.05}(1, N - 2)： 在 α=0.10\alpha = 0.10 水平上弱显著。

若 F<F0.10(1,N−2)F < F_{0.10}(1, N - 2)： 无法拒绝原假设 H0H_0，说明回归方程不显著，不宜使用该一元线性回归模型进行预测。

· ANOVA 数据汇总

在进行实际计算与工程统计分析时，方差分析的过程通常汇总列于下表中：

重要

回归变异（Regression）

平方和（SS）： U=blxy=lxy2lxxU = b l_{xy} = \dfrac{l_{xy}^2}{l_{xx}}，表示由自变量 xx 的线性变化引起的因变量 yy 的变异量。

自由度（df）： νU=1\nu_U = 1，一元线性回归中仅包含一个独立斜率参数。

均方（MS）： MSU=U1MS_U = \dfrac{U}{1}，即回归平方和除以其自由度。

F 检验值： F=MSUMSQ=U/1Q/(N−2)F = \dfrac{MS_U}{MS_Q} = \dfrac{U / 1}{Q / (N - 2)}，为回归均方与残余均方的比值。

显著性判定： 将计算得到的 FF 值与显著性水平 α\alpha 下的分布临界值 Fα(1,N−2)F_\alpha(1, N-2) 比较；若 F≥Fα(1,N−2)F \ge F_\alpha(1, N-2)，则回归效果显著。

残余变异（Residual）

平方和（SS）： Q=lyy−blxyQ = l_{yy} - b l_{xy}，表示剔除线性关系后由其他随机因素引起的变异量。

自由度（df）： νQ=N−2\nu_Q = N - 2，由样本量 NN 扣除估算的截距与斜率两个参数后得到。

均方（MS）： MSQ=σ2=QN−2MS_Q = \sigma^2 = \dfrac{Q}{N - 2}，即残余平方和除以其自由度，代表误差方差的无偏估计。

F 检验值与显著性判定： 不适用（作为检验分母项）。

总变异（Total）

平方和（SS）： S=lyyS = l_{yy}，表示因变量 yy 的总离差平方和，满足正交分解关系 S=U+QS = U + Q。

自由度（df）： νS=N−1\nu_S = N - 1，满足自由度可加性 (N−1)=1+(N−2)(N - 1) = 1 + (N - 2)。

均方、F 检验值与显著性判定： 不适用。

· 重复试验情况

“回归方程显著”仅表明 xx 的一次项对 yy 影响显著，但不能排除是否存在非线性趋势或未受控因素。通过在 NN 个试验点各重复 mm 次试验，可将残余变差进一步拆分为纯试验误差平方和 QEQ_E 和失拟平方和 QLQ_L。

设我们在 NN 个不同的自变量水平（或试验点）x1,x2,…,xNx_1, x_2, \dots, x_N 上，每个点分别进行了 mm 次独立重复试验。

先进行平方和与自由度的分解：

总离差平方和 SS（Total Sum of Squares）被严格地拆解为几个互不干扰的部分：

S=U+QL+QES = U + Q_L + Q_E

其中残差平方和（Residual SS）被拆分成了失拟平方和 QLQ_L 与误差平方和 QEQ_E（即 Qresidual=QL+QE=mlyy−UQ_{\text{residual}} = Q_L + Q_E = ml_{yy} - U）。

在包含重复试验的回归分析方差分析（ANOVA）视角下，总变异被严格拆解为回归、失拟和误差三个核心部分：

回归项：

其平方和为 U=mblxyU = m b l_{xy}，对应的自由度为 νU=1\nu_U = 1。由此计算出的回归方差（均方）为 U/νUU/\nu_U。

以此方差与误差方差相比构建的 FF 统计量为 F=U/νUQE/νEF = \dfrac{U/\nu_U}{Q_E/\nu_E}，

其显著性判定标准为临界值 Fα(νU,νE)F_\alpha(\nu_U, \nu_E)。

失拟项：

其平方和为 QL=mlyy−UQ_L = m l_{yy} - U，反映了模型未能捕捉的非线性趋势或未受控因素，其自由度为 νL=N−2\nu_L = N - 2。

失拟方差为 QL/νLQ_L/\nu_L，构建的失拟检验 FF 统计量为 F1=QL/νLQE/νEF_1 = \dfrac{Q_L/\nu_L}{Q_E/\nu_E}，

用于与临界值 Fα(νL,νE)F_\alpha(\nu_L, \nu_E) 进行对比以判定失拟是否显著。

误差项：

即纯随机误差，其平方和为 QE=∑t=1N∑i=1m(yti−yˉt)2Q_E = \displaystyle\sum_{t=1}^{N} \sum_{i=1}^{m} (y_{ti} - \bar{y}_t)^2，

自由度为 νE=N(m−1)\nu_E = N(m - 1)。

其误差方差为 QE/νEQ_E/\nu_E，作为底层的随机波动基准共同参与回归和失拟的 FF 检验分母。

总计：整个试验系统的总离差平方和为 S=U+QE+QLS = U + Q_E + Q_L，对应的总自由度为 νS=Nm−1\nu_S = Nm - 1，其方差、 FF 值及显著性列均不涉及

lxxl_{xx}、lyyl_{yy}、lxyl_{xy} 为常规的离差积和；yˉt\bar{y}_t 是第 tt 个试验点上 mm 次测量的平均值；yˉ\bar{y} 是所有 NmNm 个数据的总平均值

在完成上述平方和与自由度分解后，我们构建两个不同的统计量，分别回答两个独立的问题:

重要

回归显著性：

/Derive/

F=U/νUQE/νE=U/1QE/[N(m−1)]F = \frac{U / \nu_U}{Q_E / \nu_E} = \frac{U / 1}{Q_E / [N(m-1)]}

将计算得到的 FF 值与临界值 Fα(1,N(m−1))F_\alpha(1, N(m-1)) 进行比较

失拟检验：

/Derive/

F1=QL/νLQE/νE=QL/(N−2)QE/[N(m−1)]F_1 = \frac{Q_L / \nu_L}{Q_E / \nu_E} = \frac{Q_L / (N - 2)}{Q_E / [N(m-1)]}

分母 QEQ_E 是纯粹的随机误差基准；分子 QLQ_L 包含了模型失拟（如曲线趋势）引起的偏差。如果 QLQ_L 显著大于 QEQ_E，说明残差里的大头不是随机噪声，而是我们用线性模型没能拟合进去的系统性规律

与 Fα(N−2,N(m−1))F_\alpha(N-2, N(m-1)) 比较。

若 F1>FαF_1 > F_\alpha，说明失拟误差不可忽略，

原设定的线性模型不合适，应改用非线性拟合。

更新日志

2026/11/12 08:25
查看所有更新日志
  • 211bf-Metrology于

版权归属：nicostore-mathematica

许可证：署名-非商业性-相同方式共享 4.0 国际 (CC-BY-NC-SA-4.0)