跳到主要内容

学前导读:神经网络基础这一章到底在学什么

这一章解决的是一个根本问题:

神经网络到底为什么能学起来?

这一章的主线

如果这一章学稳,后面 PyTorch 和各种网络结构都会更容易看懂。

这一章更适合新人的学习顺序

  1. 先看神经元和激活函数
    先理解一层里到底发生了什么。

  2. 再看前向传播和反向传播
    先看模型怎样算输出,再看它怎样改参数。

  3. 再看优化器
    理解“知道梯度”之后,参数到底怎么更新。

  4. 最后看正则化和初始化
    理解为什么训练能不能稳、能不能泛化,往往取决于这些工程细节。

学这一章时最该先抓住什么

  • 一个神经元本质上就是:线性变换 + 非线性激活
  • 多层网络本质上就是:重复很多次这种结构
  • 训练本质上就是:前向算输出,反向算梯度,再更新参数

新人最容易卡住的地方

  • 把“神经元”“层”“网络”三个层次混在一起
  • 只记住公式,不知道每一步在改什么
  • 看到 loss.backward() 就直接跳过,不知道它到底在算什么

如果你能把这三件事讲清楚,这一章就已经学得很扎实了。