如何入门 GPT 并快速跟上当前的大语言模型 LLM 进展？

入门GPT

首先说第一个问题：如何入门GPT模型？

最直接的方式当然是去阅读官方的论文。GPT模型从2018年的GPT-1到现在的GPT-4已经迭代了好几个版本，通过官方团队发表的论文是最能准确理清其发展脉络的途径，其中包括GPT模型本身和一些介绍关键技术的文章，比如训练方法RLHF这些。下面列出一些主要的文章。

第一手资料：论文

• GPT-1：language_understanding_paper.pdf (openai.com)
• GPT-2：language_models_are_unsupervised_multitask_learners.pdf (openai.com)
• GPT-3：Language Models are Few-Shot Learners (arxiv.org)
• GPT-4：GPT-4 Technical Report(openai.com)
• RLHF：Augmenting Reinforcement Learning with Human Feedback
• InstructGPT：Training language models to follow instructions with human feedback

 

技术解读

考虑到不是每个人都有足够的基础来阅读这些专业的论文，我也推荐一些做技术解读的博客和视频，这些技术解读通过比较通俗的方式梳理这些技术和模型的发展，对于新手来说，是比较不错的学习资源。

比如下面这张被很多人引用的图片，就是来自于这篇博文：拆解追溯 GPT-3.5 各项能力的起源 

还有一些视频解读，可以看看李沐老师和李宏毅老师的，专门有对GPT系列技术的讲解。

跟踪进展

关于第二个问题：如何快速跟上大语言模型的进展？

这方面的网络资源简直太多了，有很多人整理、跟踪这些最新技术进展，这些资源大多数在网络上都能找到。

1、一般来说，跟踪最新的论文成果，可以通过arXiv，或paper digest这样的网站，比如Paper Digest上有一个更新最新的ChatGPT相关的paper的项目：Paper Digest: Recent Papers on ChatGPT – Paper Digest

2、还有一个重要的资源聚集的网站就是GitHub。

秉承着“授人以鱼不如授人以渔”的思想，这里告诉大家一个技巧，凡是你感兴趣的东西，不管什么领域，到GitHub上去搜关键词“awesome xxx”，你都能发现很多非常有用的资源和学习资料。

比如搜“awesome chatgpt”，搜到的项目都是整理各种chatGPT相关的资料的，这些项目多则大几万的stars，少则也有几千。

这些项目里面有各种各样的资源汇总，比如详尽的学习资料、paper list、行业的发展动态、各公司的产品、开源项目、开发工具、技术解读的博文列表等等。只有你想不到的，没有他们不总结的，要不然怎么能叫curated list呢。

• 大语言模型资源聚合：Awesome-LLM。

3、关于大语言模型，还有一个项目，主要是跟进各大AI公司或研究团队的进展，重点比较这些模型的参数和对应产品的特性。（之前还专门有一个表格总结中国的语言模型，最近不知为什么被删除了。）

图中有链接

给你们推荐个国内的地址 https://gpt.91chat-ai.cn?share=csdn，这还是非常方便的。感兴趣的可以关注一下 ↓ ↓ ↓

2023超🔥的AI大模型公开课👉大模型资料包免费领！，找客服免费领取

专业书籍

最后，如果你有更远大的抱负，或者想在这方面做更深入的研究，那我建议还是要夯实自己的专业基础。这种就没有太多的捷径可以走了，只能慢慢的去啃一些专业书籍，包括机器学习、统计学以及深度学习这些方面的。

像是比较经典的有《统计学习方法》、《Pattern Recognition and Machine Learning》、《 Deep Learning: Adaptive Computation and Machine Learning series》（深度学习）、以及《Dive into deep learning》（深度学习实战）等。

再附上一些我的深度学习方面的电子书单，大家可以参考一下：

除了上面提到这几本比较经典的之外，现在人工智能、深度学习方面的特定领域的书籍也有很多，不像我当年刚学的那会，当时深度学习刚刚爆发式发展，几乎没有这方面书籍完整而又系统的介绍人工智能某一领域（比如自然语言处理、计算机视觉等等）的专业知识，特别是中文的资料少之又少，大多数是一些零零散散的博客，而想要深入的学习和了解专业领域的进展，只能自己读第一手paper、看英文资料，啃起来很费劲。不像现在有这么多系统的专业书籍。

比如最近看了一本《深度强化学习图解》，由清华大学出版社出版的。这本书的主要内容关于深度强化学习（Deep Reinforcement Learning，DRL），但又不是单独介绍DL。也非常适合对人工智能、深度学习算法（包括自然语言大模型、计算机视觉领域等）感兴趣的同学阅读。

书的内容大致可以分三个部分：强化学习的入门、行为与人类似的DRL智能体和在复杂情况下应用DRL。整体看下来，这本书内容很权威，也非常实用。当然，还有最重要的一大亮点就是易学。通过生动的图解和趣味性的文字，深入浅出地讲解了深度强化学习理论。同时有大量配套的python代码，配合实际案例和应用，指导读者在实践中学习，从而逐渐深化对深度强化学习的理解，将新的方法、理论和思想融入到自己的研究中。

LLM 不是人工智能的起点，也不会是人工智能的终点，更符合人类行为能力的 AGI 才是所有 AI 从业者和爱好者最乐于看到和期待的。虽然 AGI 到目前为止还是一个相对模糊的概念，也没有人能确切的知道它将在何时出现。但是大模型的发展和它们所表现出来的能力已经让我们看到了 AGI 的影子，它或许就隐藏在这些大模型的背后，偶尔向我们闪现，预示着它终将到来。

以上。如有帮助，希望点个赞支持一下。

对了，给你们推荐个国内的地址 https://gpt.91chat-ai.cn?share=csdn