parz1 ZHOU

当前理解

Sigmoid 是一个把任意实数压缩到 $0$ 和 $1$ 之间的函数：

\sigma(z) = \frac{1}{1 + e^{-z}}

Sigmoid 函数移动指针或拖动滑块，观察输入 z 如何变成 0 到 1 之间的输出。

σ(z) = 1 / (1 + e⁻ᶻ)z 0.0 →0.500

输入 z 0.0

Sigmoid 在 z = 0 时输出 0.5；输入越大，输出越接近 1，输入越小，输出越接近 0。

可以先把它理解成一个“平滑的概率开关”：输入 $z$ 越大，输出越接近 $1$ ；输入越小，输出越接近 $0$ ；当 $z=0$ 时，输出恰好是 $0.5$ 。

它不会把正数直接变成 $1$ 、负数直接变成 $0$ ，而是保留中间的不确定程度。因为这条曲线连续且可导，训练算法可以计算输出如何随输入变化，再把误差信号传给前面的参数。

Sigmoid 是从线性模型走向神经网络时最容易遇到的激活函数之一。

线性模型先计算一个不受范围限制的分数：

z = \boldsymbol{w}^{\mathsf T}\boldsymbol{x} + b

Sigmoid 再把它转换成 $0$ 到 $1$ 之间的值：

p = \sigma(z)

在二分类任务中， $p$ 通常被解释为样本属于类别 $1$ 的概率。这样，一个任意大小的线性分数就能进入概率损失函数，并最终用于分类决策。

Sigmoid 经常与二元交叉熵一起出现。前者负责产生 $0$ 到 $1$ 之间的输出，后者负责衡量这个输出与真实二元标签有多不一致。把它们接在线性组合之后，就得到逻辑回归。

把线性组合、Sigmoid 和二元交叉熵接在一起，就得到经典的逻辑回归训练过程：

x → z = wᵀx + b → p = sigmoid(z) → binary cross-entropy

Sigmoid 不是所有神经元的默认选择。隐藏层更常使用 ReLU、GELU 等函数；多类别分类的输出层通常使用 Softmax。选择哪种激活函数，要看这个位置需要表达什么以及它与哪个损失函数配合。

Sigmoid 的输出容易解释，但当 $z$ 的绝对值很大时，曲线会变得很平，梯度接近 $0$ 。如果很多隐藏层都使用 Sigmoid，梯度可能在反向传播时逐层变小，这也是现代深层网络较少把它作为隐藏层默认激活函数的原因之一。

另一个需要区分的点是：落在 $0$ 和 $1$ 之间，不等于自动获得了可信的概率。概率是否可靠还与训练数据、损失函数、模型拟合情况和校准有关。