Lesson 8 一元非线性回归

约 1321 字大约 4 分钟

2026-11-11

一元非线性回归（Simple Nonlinear Regression）是研究一个自变量 $x$ 与一个因变量 $y$ 之间非线性关系统计分析方法。

当客观物理规律、化学反应、生长曲线或电路特性呈现出曲线变化（如指数增长、饱和曲线、峰值曲线等）时，直接强行用直线拟合会带来较大的结构性误差。这时就需要采用非线性回归模型来精确描述变量间的函数关系。

Part 1 基本形式

一般的一元非线性回归模型可以表示为：

y = f(x, \theta) + \varepsilon

$y$ 为因变量（响应变量）。
$x$ 为自变量（解释变量）。
$\theta = (\theta_1, \theta_2, \dots, \theta_p)$ 是待估计的模型参数。
$f$ 是关于参数 $\theta$ 的非线性函数。
$\varepsilon$ 为随机误差项，通常假定其服从均值为 0、方差为 $\sigma^2$ 的正态分布 $\varepsilon \sim N(0, \sigma^2)$ 。

常见的一元非线性模型示例：

指数增长/衰减模型： $y = \theta_1 e^{\theta_2 x}$ 或 $y = \theta_1 + \theta_2 e^{\theta_3 x}$
幂函数模型： $y = \theta_1 x^{\theta_2}$
Logistic 增长曲线（S型曲线）： $y = \dfrac{\theta_1}{1 + \theta_2 e^{-\theta_3 x}}$
米门方程（Michaelis-Menten，酶动力学/饱和曲线）： $y = \dfrac{\theta_1 x}{\theta_2 + x}$

Part 2 线性化处理

在计算机和数值优化算法普及之前，许多非线性模型通过变量代换（数学变换）转化为线性模型来处理。这种方法称为可线性化非线性回归。

核心思想：

通过对 $x$ 或 $y$ 取对数、倒数、平方根等数学代换，使其符合多元或一元线性回归的形式，然后利用最小二乘法求解变换后的参数。

经典案例（幂函数模型化直）：

原模型： $y = \theta_1 x^{\theta_2}$ 两边取自然对数： $\ln(y) = \ln(\theta_1) + \theta_2 \ln(x)$ 令 $Y = \ln(y)$ ， $X = \ln(x)$ ， $b_0 = \ln(\theta_1)$ ， $b_1 = \theta_2$ ，则转化为线性模型：
$Y = b_0 + b_1 X$

局限性：

并非所有非线性模型都能通过代换“化直”（如 $y = e^{\theta_1 x} + \theta_2 x$ 就无法简单化直）。
如果原误差项是加性的（ $y = f(x) + \varepsilon$ ），取对数后误差项会变成乘性或非线性形式（ $\ln(y) = \ln(f(x) + \varepsilon)$ ），导致变换后的参数估计不再满足最小二乘法的最优统计性质（如无偏性、最小方差）。

Part 3 直接非线性最小二乘法

对于无法化直的模型，现代统计软件直接对原非线性模型进行参数估计，核心准则依然是最小二乘法（Least Squares），即寻找一组参数 $\theta$ ，使残差平方和（Residual Sum of Squares, RSS）达到最小：

Q(\theta) = \sum_{i=1}^{n} [y_i - f(x_i, \theta)]^2 \to \min

由于非线性函数对参数 $\theta$ 的偏导数通常包含参数本身，对 $Q(\theta)$ 求导得到的正规方程组是非线性方程组，无法直接得到解析解（闭式解）。因此，必须采用迭代数值优化算法：

高斯-牛顿迭代法（Gauss-Newton Algorithm）：利用泰勒级数展开将非线性函数局部线性化，通过不断更新参数修正量，逐步逼近极小值点。
列文伯格-马夸特算法（Levenberg-Marquardt, L-M 算法）： 目前最常用的标准算法。它巧妙地结合了高斯-牛顿法（局部二次收敛快）和梯度下降法（全局搜索稳健）的优点。通过引入阻尼因子，既能防止算法在远离最优解时发散，又能保证在接近最优解时快速收敛。