激活函数：让模型自己学特征

上一篇结尾留下了单个神经元的两条边界：它只能画出线性决策边界；它只能使用我们交给它的输入。这两条其实是同一个问题的两面。数据在原始输入上线性不可分时，机器学习的常规做法是改输入，也就是做特征工程。神经网络换了一个做法：加一层隐藏层，让模型自己学出新的输入。

这一篇讲清楚两件事。第一，隐藏层要学出有用的特征，层与层之间为什么必须有一个非线性函数。第二，这个函数为什么通常选 ReLU 这一类曲线，而很少直接用阶跃函数或 Sigmoid。

一个逻辑回归处理不了的规则

温度 $x$	$10$	$16$	$21$	$23$	$28$	$34$
舒适	否	否	是	是	否	否

线性分数只能切一刀

逻辑回归计算 $z=wx+b$ ，在 $z\ge 0$ 时预测为类别 $1$ 。 $w>0$ 时，预测为 $1$ 的区域是 $x\ge -b/w$ ； $w<0$ 时是 $x\le -b/w$ 。两种情况都只有一个端点，而目标区间需要两个。

一条直线追不上一段区间拖动温度，比较目标区间与任意一条线性分数。

z = w·x + bx 21.0

目标（舒适 = 1） 1.000 线性分数 z 0.150

温度 x（℃）21.0

目标在 18–24 ℃ 之间为 1，两侧都为 0。线性分数 z = wx + b 单调，z ≥ 0 的一侧永远是一条射线，不可能只覆盖中间那一段。

外层的 Sigmoid 帮不上忙。它是单调函数，只改变分数的尺度，不改变分数的大小顺序。问题出在 $z$ 关于 $x$ 单调，而目标不单调。

熟悉的解法：加一个特征

把 $x^2$ 放进输入

熟悉逻辑回归的话，第一反应多半是加一个二次项。把输入从 $x$ 换成 $(x, x^2)$ ，模型变成

z=w_1x+w_2x^2+b

取 $w_1=42$ 、 $w_2=-1$ 、 $b=-432$ ：

z=-x^2+42x-432=-(x-18)(x-24)

这是一条开口向下的抛物线，只在 $18\le x\le 24$ 时非负，目标区间就被写出来了。

模型本身没有变。它对参数 $w_1$ 、 $w_2$ 、 $b$ 仍然是线性的，训练方法也和上一篇完全一样。变的是输入： $x^2$ 不是 $x$ 的线性函数，它给了模型一个新坐标，在这个坐标下答案变得线性可分。

这个办法的代价

$x^2$ 是我们选的。选它之前，我们已经知道目标的形状是「中间高、两边低」。

一维时这不难。输入一多就难了：温度和湿度两个变量，二次特征有 $x_1^2$ 、 $x_2^2$ 、 $x_1x_2$ 三项； $d$ 个变量有约 $d^2/2$ 项。一张 $224\times224$ 的彩色图像有 $150{,}528$ 个输入，二次项超过 $10^{10}$ 个，而且我们并不知道「是不是猫」应该用二次特征来描述。

所以问题变成：能不能把「从 $x$ 算出新特征」这一步也交给模型，用数据训练出来？

让模型自己学特征

用一层线性变换提取特征

最直接的尝试是在输入和逻辑回归之间插一层可训练的变换：

\boldsymbol{h}=\boldsymbol{W}_1\boldsymbol{x}+\boldsymbol{b}_1, \qquad z=\boldsymbol{w}_2^\top\boldsymbol{h}+b_2

$\boldsymbol{h}$ 就是想让模型学出来的特征， $\boldsymbol{W}_1$ 、 $\boldsymbol{b}_1$ 和输出层参数一起训练。

线性层会合并成一层

把第一式代入第二式：

z=\boldsymbol{w}_2^\top(\boldsymbol{W}_1\boldsymbol{x}+\boldsymbol{b}_1)+b_2 =(\boldsymbol{w}_2^\top\boldsymbol{W}_1)\boldsymbol{x}+(\boldsymbol{w}_2^\top\boldsymbol{b}_1+b_2)

结果仍然是 $\boldsymbol{w}^\top\boldsymbol{x}+b$ 的形式，和原来的逻辑回归没有区别。叠多少层都一样，因为线性（严格说是仿射）变换的复合还是仿射变换。

对照上一节就能看出原因。 $x^2$ 有用，是因为它不是 $x$ 的线性函数；而 $\boldsymbol{W}_1\boldsymbol{x}+\boldsymbol{b}_1$ 的每个分量都是 $\boldsymbol{x}$ 的线性函数，输出层能从中得到的信息，直接用 $\boldsymbol{x}$ 也能得到。

在中间加一个非线性函数

修正方法是对每个分量套一个非线性函数 $\phi$ ：

\boldsymbol{h}=\phi(\boldsymbol{W}_1\boldsymbol{x}+\boldsymbol{b}_1)

$\phi$ 逐元素作用，这就是激活函数。只要 $\phi$ 不是 $\alpha z+\beta$ 的形式，上面的合并就不再成立， $\boldsymbol{h}$ 才可能成为 $x^2$ 那样的新特征。

注意这里说的是隐藏层的激活函数。上一篇输出层的 Sigmoid 负责把分数转成概率，是另一件事。

ReLU 作为可学习的特征

两个 ReLU 单元

最常用的激活函数是

\operatorname{ReLU}(z)=\max(0,z)

它在 $z<0$ 时输出 $0$ ，在 $z>0$ 时原样输出，只在原点有一个折点。在隐藏层放两个单元：

h_1=\operatorname{ReLU}(x-22), \qquad h_2=\operatorname{ReLU}(20-x)

$h_1$ 是温度高出 22 度的部分， $h_2$ 是温度低于 20 度的部分。输出层取

z=2-h_1-h_2

$x$	$h_1$	$h_2$	$z$	预测
$16$	$0$	$4$	$-2$	否
$18$	$0$	$2$	$0$	是（边界）
$21$	$0$	$0$	$2$	是
$24$	$2$	$0$	$0$	是（边界）
$30$	$8$	$0$	$-6$	否

分段看： $x\ge22$ 时 $z=24-x$ ； $x\le20$ 时 $z=x-18$ ；中间 $z=2$ 。所以 $z\ge0$ 恰好对应 $18\le x\le24$ 。

两次弯折围出一段区间拖动温度，观察「高出多少」「低了多少」两个隐藏单元怎样合成分数。

z = 2 − ReLU(x − 22) − ReLU(20 − x)x 21.0

分数 z 2.000 h₁ = 高出 22 多少 0.000 h₂ = 低于 20 多少 0.000

温度 x（℃）21.0

h₁ 只在 x > 22 时打开，h₂ 只在 x < 20 时打开。分数 z = 2 − h₁ − h₂ 在 18 ℃ 和 24 ℃ 各穿过 0 一次，正好围出目标区间。

关键在 ReLU 有一侧输出恒为 $0$ 。温度偏低时 $h_1=0$ ，只有 $h_2$ 影响结果；偏高时反过来。如果把两个 ReLU 换成线性单元，它们的和仍是 $x$ 的线性函数，这张表就算不出来。

和 $x^2$ 对照

$(h_1, h_2)$ 和 $x^2$ 的作用相同：原始输入上线性不可分的问题，在新坐标下变成线性可分，输出层只需要做加权求和。

手工特征与 ReLU 特征拖动温度，比较用 x² 特征和用两个 ReLU 单元得到的分数。

z ≥ 0 ⇔ 18 ≤ x ≤ 24x 21.0

x² 特征：−(x−18)(x−24)/4.5 2.000 ReLU 特征：2 − h₁ − h₂ 2.000

温度 x（℃）21.0

两条分数都在 18 ℃ 和 24 ℃ 穿过 0，判出的区间相同。二次曲线的形状是人事先选定的；两个折点的位置由参数决定，可以被训练调整。

区别在于形状由谁决定。 $x^2$ 的形状在训练前就固定了。 $\operatorname{ReLU}(wx+b)$ 的折点在 $x=-b/w$ ，打开的方向由 $w$ 的符号决定，而 $w$ 、 $b$ 都是参数。上面的 22 和 20 是手写的；在真实训练中，梯度下降会调整它们，数据决定折点落在哪里。

这就是隐藏层所说的「学习表示」：特征的形式（分段线性）是结构给定的，具体的特征由数据训练出来。

单元越多，折点越多

一个 ReLU 单元贡献一个折点。 $k$ 个单元的线性组合是最多 $k+1$ 段的分段线性函数，段数足够多时，可以逼近区间上的任意连续函数。Cybenko（1989）和 Hornik 等人（1989）对 Sigmoid 类激活证明了这一点，通常称为万能逼近定理，后来的结果也覆盖了 ReLU。

这个定理只说明这样的参数存在。它没有说明需要多少单元，也没有说明梯度下降能不能找到这些参数。前一个问题是下一篇的主题，后一个问题要等到反向传播。

为什么常用这几条曲线

只看表达能力，任何非线性函数都可以，阶跃函数也行。实际选择由训练决定：梯度下降需要激活函数的导数，而且导数不能太小。上一篇的参数更新里，梯度要乘上 Sigmoid 的导数；多层网络中，每经过一层就要乘一次该层激活函数的导数。

阶跃函数：没有梯度

感知机使用的阶跃函数在 $z\ge0$ 时输出 $1$ ，否则输出 $0$ 。它在 $z\ne0$ 处导数为 $0$ ，在 $z=0$ 处不可导。参数稍微改变，输出通常完全不变，梯度下降没法用。

从硬门槛到光滑门槛拖动输入，比较阶跃函数与把它摊平后的 Sigmoid。

σ(z) ≈ 1{z ≥ 0}z 0.0

Sigmoid 0.500 阶跃函数 1.000

输入 z0.0

阶跃函数在门槛两侧分别是 0 和 1，中间没有过渡；Sigmoid 把同一道门槛摊成连续斜坡，输出可以随输入一点点变化。

1986 年 Rumelhart、Hinton 和 Williams 的 Learning representations by back-propagating errors 把阈值单元换成 Sigmoid，误差才能逐层传回隐藏层，隐藏层也才开始学习表示。

Sigmoid：导数最大只有 0.25

Sigmoid 的导数是 $\sigma'(z)=\sigma(z)(1-\sigma(z))$ ，在 $z=0$ 处取到最大值 $0.25$ ， $|z|$ 较大时接近 $0$ 。

曲线中间最敏感拖动输入，观察 Sigmoid 的导数如何表示局部变化速度。

σ′(z) = σ(z)(1 − σ(z))z 0.0 →0.250

输入 z0.0

导数 σ′(z)=σ(z)(1−σ(z)) 在 z=0 时达到最大值 0.25；两端饱和时，局部梯度接近 0。

一层时影响不大。十层网络的梯度要连乘十个这样的因子，在权重不大的情况下，前面几层的梯度会变得非常小，几乎不更新。这称为梯度消失。Glorot 与 Bengio（2010）的实验分析了 Sigmoid 在深层网络中的这个问题。

ReLU：正半轴导数为 1

ReLU 的导数在 $z>0$ 时为 $1$ ，在 $z<0$ 时为 $0$ 。只要单元处于打开状态，梯度经过它时不会缩小。Glorot、Bordes 与 Bengio（2011）的 Deep Sparse Rectifier Neural Networks 之后，ReLU 成为深层网络隐藏层的默认选择。它的计算也很便宜，只需要一次比较。

代价在负半轴：如果某个单元对所有训练样本都有 $z<0$ ，它的梯度始终为 $0$ ，参数不再更新。这种现象叫 dying ReLU。

Tanh 和 GELU

另外两个常见的选择：

Tanh： $\tanh(z)=2\sigma(2z)-1$ ，输出范围 $(-1,1)$ ，以 $0$ 为中心，原点处导数为 $1$ 。两端依然饱和，常见于 RNN 等需要有界状态的结构。
GELU： $\operatorname{GELU}(z)=z\,\Phi(z)$ ， $\Phi$ 是标准正态分布的 CDF（Hendrycks & Gimpel, 2016）。可以把它看作平滑版的 ReLU，在 $0$ 附近没有硬折点，负输入会保留一小部分。BERT、GPT-2 等 Transformer 模型使用它。

四种常见激活函数拖动 z，比较同一输入经过 Sigmoid、Tanh、ReLU 与 GELU 后的输出。

φ(z)z 0.0

Sigmoid 0.500 Tanh 0.000 ReLU 0.000 GELU 0.000

输入 z0.0

四条曲线都在原点附近改变斜率，但对负输入、输出范围和两端是否压平作出了不同选择。注意它们并不占用同一段纵轴。

实际选择时，普通 MLP 和 CNN 先用 ReLU，Transformer 沿用 GELU，一般就够了。

运行对照实验

下面的代码不做训练，只把三种模型在整个温度范围上算一遍：原始输入上的逻辑回归、加入 $x^2$ 的逻辑回归、两个 ReLU 单元。点击「运行」后 Python 在浏览器里执行，第一次需要下载 Pyodide、NumPy 与 Matplotlib。

import numpy as np
import matplotlib.pyplot as plt

def relu(z):
    return np.maximum(0.0, z)

# Target: comfortable when the temperature is between 18 and 24 degrees.
def target(x):
    return ((x >= 18.0) & (x <= 24.0)).astype(float)

# 1) Logistic-regression score on the raw input x.
#    Monotone in x, so z >= 0 is always a ray.
def raw_score(x):
    return 0.15 * (22.0 - x)

# 2) Same model, but the input is (x, x^2). The weights are still linear;
#    the hand-made feature x^2 does the bending.
def square_score(x):
    w1, w2, b = 42.0, -1.0, -432.0      # = -(x - 18)(x - 24)
    return (w1 * x + w2 * x ** 2 + b) / 4.5

# 3) One hidden layer with two ReLU units. The kinks sit at 22 and 20,
#    set by the hidden weights instead of chosen by hand.
def relu_score(x):
    h1 = relu(x - 22.0)
    h2 = relu(20.0 - x)
    return 2.0 - h1 - h2

grid = np.linspace(14.0, 28.0, 561)
samples = np.array([12.0, 16.0, 19.0, 21.0, 23.0, 26.0, 30.0])

panels = [
    (raw_score, "input x"),
    (square_score, "input (x, x^2)"),
    (relu_score, "two ReLU units"),
]

figure, axes = plt.subplots(1, 3, figsize=(11, 3.6), sharey=True)
for ax, (fn, title) in zip(axes, panels):
    scores = fn(grid)
    ax.fill_between(grid, -4.5, 4.5, where=scores >= 0.0, color="#fed7aa", step="mid")
    ax.plot(grid, target(grid) * 2.0, color="#10b981", lw=2.0, label="target x 2")
    ax.plot(grid, scores, color="#2563eb", lw=2.2, label="score z")
    ax.axhline(0.0, color="#111111", lw=1.0)
    ax.set_title(title)
    ax.set_xlabel("temperature (C)")
    ax.set_ylim(-4.5, 4.5)
axes[0].set_ylabel("score")
axes[0].legend(loc="lower left", fontsize=8)

expected = target(samples).astype(int)
print("samples ", samples.tolist())
print("expected", expected.tolist())
for fn, title in panels:
    predicted = (fn(samples) >= 0.0).astype(int)
    wrong = int(np.sum(predicted != expected))
    print(f"{title:15s} predicted {predicted.tolist()} wrong {wrong}")

figure.tight_layout()
# The runner captures the current figure automatically; no plt.show() needed.

Output

运行代码后，文本与图表会显示在这里。

后两种模型的判断结果相同。区别只在于新特征是人写的，还是由参数决定、可以训练的。

小结与下一篇

这一篇的论证是：

逻辑回归在原始输入上只能切一刀，舒适区间需要两刀。
传统解法是人工加 $x^2$ 这样的非线性特征，但高维输入下很难手工设计。
用线性层来学特征会失败，因为线性层会合并成一层。
在线性层之后加入激活函数，隐藏层就能学出非线性特征；ReLU 的每个单元提供一个位置可训练的折点。
激活函数的具体形状由训练决定：需要导数，并且导数不能太快趋向 $0$ 。

这里只用到一层隐藏层。根据万能逼近定理，一层足够宽就能逼近任意连续函数，那为什么实际网络要做得很深？下一篇讨论深度。