跳到主要内容

学习指南:大模型原理、Prompt 与微调怎么学最不容易学乱

如果你来到 06 大模型原理、Prompt 与微调 后觉得术语很多,先不要追模型榜单。你要先搞清楚大模型能力从哪里来,以及这些能力如何被控制和适配。

本阶段总原则

大模型第一遍要抓住一条演进线:文本被切成 token,token 变成 embedding,Transformer 建模上下文,预训练获得通用能力,Prompt、微调和对齐让能力更可用。

推荐学习顺序

第一轮先补 NLP 核心速成。你至少要理解 tokenizer、embedding、语言模型和 HuggingFace 基本使用。

第二轮学 LLM 概览和发展历史。重点不是记模型名字,而是理解规模、数据、架构和对齐如何共同推动能力变化。

第三轮学 Transformer 和预训练。你要知道 Attention、上下文窗口、训练数据和算力为什么重要。

第四轮学 Prompt。Prompt 是最轻量的行为控制方式,也是后续结构化输出、RAG 和 Agent 的基础。

第五轮学微调和对齐。重点理解什么时候需要微调,LoRA/QLoRA 解决什么问题,RLHF 为什么和模型行为有关。

建议学习节奏

内容类型建议时间学习目标
NLP 速成4~8 小时理解 token、embedding 和语言模型
LLM 概览3~5 小时建立发展历史和能力边界
Transformer / 预训练8~16 小时理解能力来源
Prompt4~8 小时能设计结构化任务提示
微调 / 对齐8~16 小时能判断是否需要微调及风险

阶段项目路线

第一个项目建议做 Prompt 对比实验。选择一个任务,对比普通提示、角色提示、分步骤提示、少样本提示和结构化输出。

第二个项目建议做结构化输出任务,例如把自然语言转换成 JSON、表格或函数参数。

第三个项目可以设计一个领域微调方案,不一定马上训练大模型,但要说明数据格式、标注方式、训练方法、评估指标和风险。

常见卡点

最常见的卡点是把 Prompt、RAG、微调混在一起。Prompt 改变输入组织,RAG 补充外部知识,微调改变模型行为倾向,它们解决的问题不同。

第二个卡点是把大模型当数据库。大模型可能幻觉,知识可能过期,回答不等于事实。

第三个卡点是过早微调。很多问题应该先用 Prompt、RAG、工具调用或产品逻辑解决。

过关标准

学完本阶段后,你应该能解释 Token、Embedding、Attention、预训练、Prompt、微调和对齐之间的关系。

如果你能判断一个需求应该用 Prompt、RAG 还是微调,并能设计一个结构化输出 Prompt,就可以进入 LLM 应用与 RAG 阶段。