Skip to main content

6.0 学习指南与任务单:深度学习与 Transformer 基础

深度学习学习指南训练闭环

主要学习路线已经放在 第 6 章入口。本页只作为练习时快速查看的清单。

一句话模型

batch 数据 -> 模型前向 -> 损失 -> 反向传播梯度 -> 优化器更新 -> 曲线

如果代码看起来很长,先找出这六步。

练习清单

检查项证据
能解释 forward、loss、backward、optimizer训练闭环说明
能运行一个最小 PyTorch 脚本train.py
能打印模型中的 tensor shapeshape trace
能对比训练曲线和验证曲线曲线图片或 CSV
能解释 Attention 改变了什么attention 说明
能完成证据包工作坊deep_learning_workshop_run/

证据标准

产物应该回答什么
训练闭环说明forward、loss、backward、optimizer step 分别发生了什么?
shape tracetensor shape 在模型里怎样变化?
曲线图片或 CSV模型是在欠拟合、过拟合,还是稳定变好?
attention 说明Attention 增加了什么信息,还有什么依然困难?
失败样本记录哪个样本失败了,这说明数据、模型还是标签哪里有问题?

可以继续的信号

当你能训练一个小模型、保存训练日志、查看失败样本,并解释模型为什么变好或失败时,就可以进入第 7 章。