今天的 NLP 系统能理解语义、生成文本，甚至写出代码。这并非魔法，而是一连串针对具体问题的突破累积而成。理解这条演进脉络，能让你在面对新任务时，快速判断该用传统统计方法、预训练模型，还是大语言模型。
1. 为什么理解演进很重要
每一项流行技术背后，都有清晰的继承关系。NLP 从规则系统起步，经过统计方法、神经表示、序列建模、预训练，最终走向大语言模型。每个阶段都解决了前一阶段的核心瓶颈，也留下了新的限制。
理解这条脉络的实用价值在于：
- 面对新任务时，能快速定位适合的技术层级
- 不盲目跟风，也不固守过时方案
- 清楚每种方法的适用边界和已知局限
2. 起点：统计 NLP 的问题与方法
在 2010 年代初期，NLP 主要由规则系统或传统机器学习模型驱动，如朴素贝叶斯、支持向量机（SVM）和逻辑回归。文本需先转换为数值形式，常用手段包括词袋模型（bag-of-words）、TF-IDF 或 one-hot 编码（C005；C015）。
核心局限（多篇研究反复指出）：
- 离散符号：单词被视为孤立的符号，相似词（如"快乐"与"愉快"）无法共享统计信息
- 固定窗口：N-gram 模型只考虑前 N-1 个词，长距离上下文被丢弃
- 人工特征工程：高质量平行语料和标注数据依赖大量人工，成本高昂
尽管如此，统计方法在当时仍然有效。隐马尔可夫模型（HMM）和条件随机场（CRF）被广泛用于词性标注和命名实体识别；基于统计的机器翻译则通过词对齐学习翻译关系（C009）。这些方法为后来的神经网络奠定了基础，但也暴露了"表示"和"上下文"两大瓶颈。
3. 突破：词嵌入与上下文表示
2013 年，Google 提出 Word2Vec，首次将每个单词映射为低维稠密向量，且语义相似的词在向量空间中距离更近。随后的 GloVe（2014）进一步利用全局共现统计，强化了这一能力（C016）。这是 NLP 从"离散符号"走向"可学习表示"的关键一步。
然而，静态词向量仍有局限：同一个词在不同句子中共享同一份向量，无法区分多义（如"bank"在"river bank"与"bank account"中的不同含义）。这一问题直到上下文相关的预训练模型出现才被真正解决。
4. 序列建模的进化：从 RNN 到 Transformer
循环神经网络（RNN）和长短期记忆网络（LSTM）曾是处理序列的主流。它们通过隐藏状态保留历史信息，理论上能处理任意长度的输入。但实际上，RNN 在长序列上容易遭遇梯度消失或爆炸，且难以并行计算（C010）。
2017 年，Google Brain 发表了 《Attention Is All You Need》，提出 Transformer 架构。其核心是自注意力机制，让每个词都能直接"看到"句子中的所有其他词，从而一步到位地捕捉长距离依赖。更重要的是，自注意力可以在训练时完全并行，极大提升了效率（C013）。这一架构后来成为几乎所有大语言模型的基石（C006）。
5. 预训练范式：BERT 与 GPT 的崛起
有了 Transformer，研究者开始探索"先在海量无标注文本上预训练，再针对具体任务微调"的路径（C014）。
- BERT（2018）采用掩码语言模型，随机遮住部分单词让模型预测，从而学习双向上下文。它迅速成为文本分类、情感分析和问答任务的标准模型（C001）。
- GPT-2（2019）则坚持因果语言模型，逐词预测下一个 token，无需微调就能生成连贯文本（C008）。
这一"预训练-微调"范式让 NLP 从"每任务从头训练"走向"通用模型 + 任务适配"，大幅降低了对标注数据的依赖。
6. 大语言模型时代：GPT-3 与规模效应
2020 年，OpenAI 发布了拥有 1750 亿参数 的 GPT-3。它展示了"大规模预训练 + 少量示例"的能力：只需在提示中给出几个例子，模型就能完成写作、翻译、代码生成等复杂任务，无需任何参数更新（C003）。
规模效应也带来了新发现。有研究对生物医学文献摘要进行系统评测，发现通用语言模型在词汇和语义指标上均表现最佳，优于专门针对推理或领域的模型（C004）。但与此同时，临床文本摘要的研究范围仍然狭窄——57% 的研究聚焦于放射学报告，50% 使用了 MIMIC 数据集（C002），提示我们大模型在专业场景中的应用仍需谨慎验证。
7. 实战指南：如何选择 NLP 方法？
按任务类型选择
| 任务场景 | 推荐方案 |
|---|---|
| 文本分类、情感分析（小数据集） | 传统 ML（SVM、逻辑回归）可能足够 |
| 需要理解上下文语义 | BERT 系列预训练模型 |
| 文本生成、代码、对话 | GPT 系列或其他自回归模型 |
| 序列标注（词性、实体识别） | BiLSTM-CRF 或微调后的 BERT |
按数据条件选择
- 有大量无标注文本：可自行预训练，或直接使用现成的预训练模型
- 标注数据稀缺：优先考虑少样本/零样本提示（如 GPT-3/4），或利用迁移学习
- 领域专业性强（医疗、法律）：可在通用模型基础上做领域微调，但需注意通用模型在生物医学摘要等任务上可能已优于专用模型（C004）
按计算与部署条件选择
- 资源有限：轻量模型（如 DistilBERT）或传统统计方法更合适
- 需要低延迟、高并发：Transformer 的并行优势明显，但需评估硬件成本
8. 下一步行动与验证
- 动手体验：访问 Hugging Face 等平台，尝试用现成的 BERT 或 GPT 模型完成你的第一个 NLP 任务
- 评估效果：不要只看自动指标（如 ROUGE、BLEU）。对于摘要、生成类任务，务必结合人工评估来判断可用性。需注意自动指标在临床等高风险场景中可能无法可靠反映摘要质量（C002）
- 注意边界：大语言模型可能产生"幻觉"（编造事实），在医疗、法律等高风险场景中必须辅以人工审核。同时，注意数据隐私和模型偏见问题
9. 总结
从离散符号到上下文学习，NLP 的演进本质上是在不断解决"表示""上下文""训练"和"使用方式"四个核心问题。今天，大语言模型正在将这些突破推向新的高度，但传统统计方法和预训练模型仍然在特定场景中发挥着不可替代的作用。理解这条技术脉络，能帮助你在面对具体问题时做出更明智的选择。
本文基于公开研究资料整理，所有主张均注明来源编号（C001–C016），单源结论已作适当不确定性提示。