跳到主要内容

超参数调优策略

本节定位

很多训练问题最后都会绕回一句话：

  • 参数没调好

但“调参”常常被做得很随意，好像只能靠运气。
其实更稳的做法是：

把调参当成实验设计问题，而不是盲目撞点。

这节课会把这件事讲实。

学习目标​

  • 理解哪些超参数最值得先调
  • 理解学习率、batch size、正则化等参数分别在影响什么
  • 通过可运行示例建立“实验记录和排序比较”的调参直觉
  • 学会设计更稳的调参顺序

先建立一张地图​

如果你已经学过优化器、正则化和训练循环，这一节最自然的续接就是：

  • 前面你已经知道模型能怎么训
  • 这一节开始问“怎样把这些训练配置调得更稳、更有效”

所以调参不是训练之外的附加题，而是：

  • 训练闭环真正跑起来以后，迟早会面对的实验设计问题

调参最好不要理解成“试很多组合”，而要理解成：

这节真正想帮你建立的是：

  • 先调什么
  • 后调什么
  • 怎样避免实验失控

一、为什么调参不能靠乱试？​

1.1 因为参数之间经常互相影响​

例如：

  • 学习率和 batch size 会一起影响稳定性
  • dropout 和 weight decay 会一起影响泛化

1.2 如果没有顺序，实验很快失控​

你会遇到：

  • 同时改太多参数
  • 不知道是哪项起作用
  • 结果不可复现

1.3 一个类比​

调参像做烘焙。
如果你一次同时改：

  • 温度
  • 时间
  • 糖量
  • 面粉量

你很难知道最后成败到底是谁导致的。

1.4 调参这件事最值得先记的，不是参数名，而是什么？​

最值得先记的是：

每一轮实验都应该尽量回答一个更清楚的问题。

比如：

  • 学习率太大还是太小？
  • batch size 会不会影响稳定性？
  • 过拟合更像该靠正则化还是该靠早停？

一旦你把实验问题问清楚，调参就不会再像碰运气。

二、最值得优先看的超参数有哪些？​

2.1 学习率​

通常是第一优先项。
它太大容易震荡，太小又学不动。

2.2 batch size​

会影响：

  • 梯度稳定性
  • 显存占用
  • 训练速度

2.3 正则化​

例如：

  • dropout
  • weight decay

它们更偏向控制泛化能力。

2.4 训练轮数 / 早停​

它们和是否过拟合关系很大。

三、先跑一个最小调参记录示例​

experiments = [
    {"lr": 1e-3, "batch_size": 32, "val_acc": 0.84, "train_time_min": 18},
    {"lr": 3e-4, "batch_size": 32, "val_acc": 0.88, "train_time_min": 20},
    {"lr": 1e-4, "batch_size": 64, "val_acc": 0.86, "train_time_min": 16},
]


def score(exp):
    return round(exp["val_acc"] - exp["train_time_min"] * 0.001, 4)


ranked = sorted(
    [{**exp, "score": score(exp)} for exp in experiments],
    key=lambda x: x["score"],
    reverse=True,
)

for item in ranked:
    print(item)

3.1 这个例子想表达什么？​

调参不是只看一个最终准确率。
你通常还要一起看：

  • 训练时间
  • 资源成本
  • 是否稳定

3.2 为什么实验记录这么重要？​

因为没有记录，你就很难回答：

  • 哪个参数真的更好
  • 这次变化是不是偶然

四、一个更稳的调参顺序​

4.1 先固定大部分，只调一两项关键参数​

通常建议先看：

  • 学习率
  • batch size

4.2 确认训练能稳定跑后，再看泛化控制​

例如：

  • dropout
  • weight decay

4.3 最后再做更细的局部搜索​

这样能让实验更可解释。

4.4 一个新人可直接照抄的顺序​

第一次调深度学习模型时，最稳的顺序通常是：

  1. 先调学习率
  2. 再调 batch size
  3. 再看训练轮数和早停
  4. 再看 dropout / weight decay
  5. 最后才去碰更细的结构和优化器细节

这个顺序的好处是：你先解决“能不能稳定学”，再解决“泛化够不够好”。

4.5 为什么这个顺序对新人特别重要？​

因为初学阶段最容易出现的问题，不是“上限不够高”，而是：

  • 训练根本不稳定
  • 实验解释不清
  • 一次改太多，最后不知道什么真的有效

所以这个顺序本质上是在帮你先保住两件事：

  • 训练能稳定跑
  • 每轮实验有解释

五、最容易踩的坑​

5.1 误区一：一次改很多参数​

这会让结果难解释。

5.2 误区二：只看训练集表现​

调参更该关注：

  • 验证集
  • 泛化

5.3 误区三：觉得调参就是黑魔法​

只要实验设计清楚，
它其实是很工程化的工作。

六、一次实验最好至少记什么​

建议至少记录这几项：

  • 模型版本
  • 数据版本
  • 关键超参数
  • 训练时长
  • 最佳验证指标
  • 你主观判断这次实验说明了什么

没有记录，调参很容易变成重复劳动。

一个最小实验记录模板​

你可以直接照着记：

experiment_id:
model:
dataset:
lr:
batch_size:
weight_decay:
dropout:
best_val_metric:
train_time:
结论:

只要你真的把这份模板坚持记几轮，调参的混乱感会明显下降。

如果继续把这节往上做，最值得补什么​

更值得继续补的通常是：

  1. 一页实验记录表示例
  2. 一组“学习率太大 / 太小 / 合适”的对照曲线
  3. 一份从 baseline 到稳定模型的完整调参日志

这样这节会更像真正的训练工程课，而不只是调参建议。

小结​

这节最重要的是建立一个调参判断：

超参数调优不是盲猜，而是围绕学习率、batch size 和泛化控制做有顺序、有记录的实验设计。

只要这个习惯建立起来，后面很多训练问题都会更容易排查。

练习​

  1. 给示例再加两组实验，看看排序是否变化。
  2. 为什么说学习率通常是最值得优先调的参数？
  3. 想一想：如果模型训练特别慢，你会怎么让调参更省成本？
  4. 用自己的话解释：为什么“一次只改少量参数”会更稳？