parz1

Research series深度学习：Basics

深度学习：Basics

从单个神经元到多层感知机，理解神经网络如何完成前向计算、反向传播与参数更新。

parz1Est. 2026Continuously revised

Question of this issue

一个线性模型不够的时候怎么办？

神经网络不是一组框架 API，而是可以被拆解、求导、组合和训练的计算单元。

Scope神经元 / 激活函数 / 多层感知机 / 计算图 / 反向传播 / 自动微分

Essays and arguments

起点：从线性模型到神经元

从逻辑回归出发，理解激活函数与非线性表示为什么必要。

  1. 01从逻辑回归到神经元从“分数怎样变成概率”讲起，理解 Sigmoid、二元交叉熵，以及逻辑回归为何可以看作一个神经元。2026.08.18
  2. 02激活函数比较 Sigmoid、Tanh、ReLU 与 GELU 的形状、梯度和使用场景。Forthcoming
  3. 03为什么需要深度从 XOR 出发，理解非线性与表示能力之间的关系。Forthcoming

机制：多层网络如何计算与求导

把神经元组织成多层感知机，再沿计算图追踪梯度。

  1. 04多层感知机隐藏层如何把多个神经元组织成可以学习复杂边界的网络。Forthcoming
  2. 05前向传播数据如何逐层变换为预测，张量形状又如何随之变化。Forthcoming
  3. 06计算图把一次预测拆成节点与依赖关系，为反向传播建立地图。Forthcoming
  4. 07链式法则局部导数如何沿复合函数传递，最终连接损失与每一个参数。Forthcoming
  5. 08反向传播手推一个极小网络，理解梯度如何从损失返回前面的层。Forthcoming

实现：从 NumPy 到自动微分

先自己写出网络，再理解框架替我们完成了什么。

  1. 09用 NumPy 实现神经网络不使用深度学习框架，实现 forward、loss、backward 与 update。Forthcoming
  2. 10自动微分从计算图理解 autograd 如何系统地计算梯度。Forthcoming
  3. 11PyTorch 基础理解 Tensor、Module、Parameter 与 autograd 的职责边界。Forthcoming
  4. 12训练循环把数据、前向传播、损失、反向传播与参数更新连成完整循环。Forthcoming

This series continues to grow through reading, writing, and revision.