一文讲清大模型前世今生 State of GPT: A Programmer's Perspective

转载于 Houmin In The Loop 2023-07-10 22:29 发表于美国公众号In the loop

2023 上半年科技与创投圈的最大热点无疑是大模型及其相关技术。自从 OpenAI 在去年 11 月底发布 ChatGPT[1]，其表现出来的强大能力迅速震撼了科技从业者、创作者，并以历史最快的速度获取了超过 1 亿用户 [2]。在接下来的 2023 年上半年，各大科技公司与科研机构关于大模型的发布令人眼花缭乱[3][4][5][6][7][8]，大多数人才开始意识到原来以 GPT 为代表的一系列深度学习的技术已经走得如此之远。如果我们点开「State of AI」[9] 从 2018 年开始做的每年 AI 年度回顾报告的话，我们也许会进一步深刻意识到世界这一螺旋式发展的规律，在经历了上一波由 AlphaGo [10] 引发的创投 AI 热潮与沉寂之后，以 Transformer [11] 和 Diffusion Model [12] 为代表的相关技术仍然在草蛇灰线地向前发展着，直到这一次才再度点燃世界。

TLDR

本文所有的资料来源于互联网的公开信息，更多是从程序员的视角去理解和梳理相关技术。本文结构主要参考自 [34] 和 [13]，强烈推荐和鼓励大家去阅读本文附录的原始资料，希望本文可以作为众多程序员们学习 GPT 相关技术的一个资料索引。
理解 Transformer 等模型要求人们了解从 RNN/LSTM 到 Transformer 这一发展的历史源流，并且具备基本的数学功底和耐心去学习相关知识。本文尽可能从程序员的视角去解释其基本原理，期望读者已经体验过类似于 ChatGPT 或者 Stable Diffusion 等相关产品，也期望读者对于神经网络和反向传播有着基本的认识 (推荐吴恩达的深度学习课程作为入门[14])。
本文的重点不是模型和算法原理，不会去解释从 Transformer 到 BERT 和 GPT 之间的路线变化，而是尝试从程序员的角度理解 GPT 这一技术的基本组成，尝试去了解那些大家都在谈论的名词背后的基本含义，乃至当前生机勃勃的 AI 应用的发展。
本文主要关注类似于 ChatGPT 和 LLaMA 这种大语言模型，暂时不会涉及类似 Stable Diffusion 等语音、图片和视频领域，乃至其他的多模态场景。
作为一个软件工程师，本文作者对于很多算法的理解也并不算深刻与全面，甚至可能会存在理解偏差和错误，在介绍相关方向的时候也肯定会有遗漏，欢迎大家交流与指正。
本文相对较长，为了获得更好的阅读体验，欢迎访问我的博客 https://loop.houmin.site/context/state-of-gpt 。

Technical Terms

在真正开始之前，这里先简单介绍下本文可能会碰到的技术名词，现在不需要深刻理解其含义，只需要有初步印象即可。

英文	中文	解释
Fine Tuning[15]	微调	将已经训练的模型的参数作为新模型的初始化参数重新训练
RLHF[16]	基于人类反馈的强化学习	让人给模型生成的结果打分，用人打的分来调整模型
Alignment[17]	对齐	让机器生成符合人类期望的，符合人类价值观的语句
Scaling Laws[18]	扩展定律	模型效果的线性增长要求模型的大小指数增长
Emergent Ability[19]	涌现能力	小模型没有，只有模型大到一定程度才会出现的能力
In-Context Learning[20]	上下文学习	在 Prompt 里面写几个例子，模型就可以照着这些例子做生成
Chain-of-Thought[21]	思维链	在写 Prompt 的时候，不仅给出结果，还要一步一步地写结果是怎么出来的
Prompt Engineering[22]	Prompt 工程	关注提示词开发和优化，帮助用户将大语言模型用于各场景和研究领域
LLM[23]	大语言模型	模型规模和训练的数据规模都很大的语言模型
Agent[24]	智能体，或者智子	基于 LLM 能够自主行为的智能体
LoRA[25]	低秩自适应	一类旨在通过低维结构近似大模型的高维结构来降低其复杂性的技术
Vector Database[26]	向量数据库	一种专门用于存储和查询向量数据的数据库系统
ZeRO[27]	零冗余优化器	一种针对大规模分布式深度学习的新型内存优化技术

Hello World!

基本上所有程序员学习编程语言的第一课是 Hello World。体验过 ChatGPT 的强大能力后，作为程序员的你或许会好奇这背后到底是如何构建出来的。幸运的是，除了 OpenAI 的 GPT 模型，其他的很多公司也发布很多的开源或闭源大语言模型 LLM[23]。

https://mmbiz.qpic.cn/sz_mmbiz_png/oFXibnSibzlJp9bXqaicalKObUdGmZegxyvwSKoRTViaccMROk1hkicqUYJlzSjvtEs8VPXIwBNcOK60YFg8rv2O8rA/?wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1

**LLM Timeline, Source: https://github.com/RUCAIBox/LLMSurvey**

其中的优秀代表就是 Meta 在 2023 年发布的 LLaMA 模型[28]，开源社区围绕着 LLaMA 这一开源模型（只开源了模型，权重被「泄漏」）构建了丰富的生态。在 GitHub 上有很多基于 LLaMA 的开源项目，其中 llama.cpp[29] 和 Chinese-LLaMA-Alpaca [30] 就可以作为我们学习和了解 LLM 的 Hello World。

本文并不打算详细介绍如何基于 llama.cpp 和 Chinese-LLaMA-Alpaca 构建自己的 ChatGPT 的具体步骤。程序员最大的优势即在于他们快速的学习能力和强大的动手能力，参考 Chinese-LLaMA-Alpaca 这一项目的 Wiki 和网上的公开资料，不需要昂贵的 GPU，你就可以快速在自己的笔记本上构建自己的 ChatGPT。

https://mmbiz.qpic.cn/sz_mmbiz_png/oFXibnSibzlJp9bXqaicalKObUdGmZegxyvWZf7pRl6FQCpdKp8MxNLnTAYGfAiabVXXibale4HibicG7kicWO1icv9DQIw/?wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1