阶段学习任务单：自然语言处理

这个阶段的目标是让你理解文本任务如何从清洗、表示、建模、评估走到真实应用。即使大模型已经很强，传统 NLP、文本标注、任务定义和错误分析仍然是做可靠文本系统的基础。

本阶段必须完成的任务

任务	产出物	通过标准
理解文本预处理	一个文本清洗脚本	能处理分词、大小写、停用词、标点和特殊字符
完成文本表示实验	一份表示方法对比记录	能比较 BoW、TF-IDF、Embedding 和预训练模型表示
完成文本分类任务	一个分类 Demo	能说明标签、数据划分、指标和错误样本
完成抽取或摘要练习	一个信息抽取/摘要样例	能说明字段边界、事实一致性和评估方式
完成阶段项目	一个文本理解小项目	有输入输出、指标、失败样本和 README

推荐学习顺序

先学习文本清洗和表示，再学习分类、序列标注、预训练模型和项目实践。不要只看模型名称，要关注文本任务的标签定义、样本边界、评估指标和错误类型。

NLP 项目特别容易出现“看起来通顺但事实不对”的问题。做摘要、问答、信息抽取时，要保留来源、证据和失败样本。

和 AI 学习助手项目的关系

本阶段可以为 AI 学习助手补充文本理解能力，例如对学习问题分类、抽取知识点、生成摘要、识别复习主题，或把学习日志转成结构化记录。

建议最小功能包括：输入一条学习问题，输出所属阶段、关键词、建议章节和置信度，并记录分类错误样本。

常见卡点

常见问题包括文本清洗过度导致信息丢失，标签边界不清导致模型混淆，类别不平衡导致准确率虚高，摘要遗漏关键条件，抽取字段类型不稳定。排查时先看原始文本、标签规则、错误样本和指标是否匹配任务目标。

阶段作品集交付物

如果你想把本阶段成果沉淀到作品集，建议至少保留下面这些文件或等价材料。

交付物	说明
text_cleaning.py	文本清洗、分词、规范化和样例输出
label_guide.md	标签定义、边界案例、正负例和标注规则
classification_report.md	指标、混淆矩阵、错误样本和模型对比
extraction_examples.jsonl	信息抽取或结构化输出样例
README.md	项目目标、运行方式、输入输出、评估和限制

这些材料会让 NLP 项目从“模型能输出文本”升级成“任务定义清楚、评估可信、失败可复盘”。

阶段通关问题

学完后，你应该能回答这些问题：为什么文本清洗会影响模型效果，TF-IDF 和 Embedding 的区别是什么，文本分类为什么需要标签规则，摘要和抽取如何检查事实一致性，什么时候传统 NLP 方法比大模型更合适。

完成状态 Checklist

• 我能完成一次文本清洗和表示方法对比。
• 我能定义一个文本分类任务的标签和评估指标。
• 我能完成一个分类、抽取、摘要或问答小项目。
• 我记录了错误样本，并能解释失败来自数据、标签、模型还是生成。
• 我能说明 NLP 能力如何支撑 RAG、Agent 或学习助手项目。