Concepts
seed著者parz1 ZHOU

二元交叉熵

衡量二分类概率预测与真实标签有多不一致的损失函数,会显著惩罚自信但错误的预测。

deep-learningmachine-learningclassificationloss-function

当前理解

二元交叉熵(Binary Cross-Entropy,BCE)是二分类任务中常见的损失函数。这里的“损失函数”是一类负责给预测打分的规则,二元交叉熵是其中一种具体选择。它接收真实标签 和模型预测类别 的概率 ,输出一个损失 。

训练需要损失,是因为单纯的分类对错会丢掉概率中的确信程度。预测 和 在阈值为 时都算答对,二元交叉熵会给后者更小的损失;预测 和 都算答错时,它会更严厉地惩罚后者。

这个公式可以分成两种情况理解:

  • 当真实标签 时,损失是 。
  • 当真实标签 时,损失是 。

也就是说,它只关心模型分给“正确类别”的概率。这个概率越接近 ,损失越接近 ;越接近 ,损失就越大。损失函数负责评分,梯度与优化算法再利用这份评分修改参数。

真实标签 类别 1 概率 正确类别概率损失直觉
0.105自信地答对
2.303自信地答错
0.105自信地答对
2.303自信地答错

为什么我关心

只统计“分类对了多少次”不足以指导模型学习。预测 和预测 在阈值为 时都算答对,但它们表达的确信程度明显不同;同样,预测 与预测 虽然都答错,错误程度也不一样。

二元交叉熵保留了这种差别,并且是连续、可导的,因此优化算法可以根据损失的变化方向更新参数。

观察角度

  • 作为评分规则:检查模型给正确答案分配了多少概率。
  • 作为训练目标:把每条样本的预测质量变成一个可以最小化的数。
  • 作为置信度约束:正确且自信时损失小,错误且自信时损失大。
  • 作为似然:最小化二元交叉熵,等价于最大化伯努利模型对观测标签给出的似然。

连接

二元交叉熵经常与 Sigmoid 配合:Sigmoid 把任意分数转换成类别 的概率,二元交叉熵再用真实标签评价这个概率。

线性分数 z → Sigmoid → 概率 p → 二元交叉熵 → 损失 L

两者组合后,对线性分数 的梯度会简化为:

这正是逻辑回归以及使用 Sigmoid 输出的单个神经元中常见的误差信号。

实际框架通常提供“直接接收 logits”的实现,例如把 Sigmoid 与二元交叉熵合并计算。这样可以避免先得到非常接近 或 的概率后再取对数,数值上更加稳定。

张力与取舍

二元交叉熵适合互斥的二分类,也可以用于每个标签独立成立的多标签分类,但不应直接套用到所有预测任务。多类别单选任务通常使用分类交叉熵,回归问题则需要其他损失函数。

当类别极度不平衡时,整体 BCE 下降也不一定意味着少数类表现良好。此时还需要观察精确率、召回率等指标,或根据任务使用类别权重、重采样等方法。

未解问题

  • 为什么对数能把多个样本概率的乘积变成损失之和?
  • 交叉熵与最大似然估计之间具体怎样对应?
  • BCEWithLogitsLoss 为什么比手动计算 Sigmoid 再取对数更稳定?
  • 类别不平衡时,应该怎样调整损失或采样策略?

演化

  • 2026-08-21: 初始 seed,在学习单个神经元与逻辑回归时建立。
  • 2026-08-22: 补充损失函数的角色,以及分类对错为何不足以指导训练。