学完这些，你就可以理解透 Transformer，手搓一个 ChatGPT了

第一部分：短视频 讲解-- 通俗易懂，感兴认识

强推，可视化整个GPT模型，并讨论其智力程度：

• 1- 关于 AI 的深度研究：ChatGPT 正在产生心智吗？_哔哩哔哩_bilibili
• 2- 【Transformer模型】曼妙动画轻松学，形象比喻贼好记_哔哩哔哩_bilibili
• 3- 【BERT模型】暴力的美学，协作的力量_哔哩哔哩_bilibili
• 4- 超强动画，一步一步深入浅出解释Transformer原理！_哔哩哔哩_bilibili
• 5- 注意力机制的本质|Self-Attention|Transformer|QKV矩阵_哔哩哔哩_bilibili
• 6- 吹爆！这可能是B站目前唯一能将Transformer讲清楚的教程了，不愧是计算机大佬！3小时全面了解 Transformer如何工作，草覆虫都看懂了!!_哔哩哔哩_bilibili
• 7- HuggingFace到底有多牛？同济计算机大佬总结了HuggingFace与NLP的联系及其核心模块解读，三小时即可搞定！_哔哩哔哩_bilibili
• 8- 简单总结， LLM大语言模型介绍_哔哩哔哩_bilibili

第二部分：基础原理讲解

• Dale Markowitz, https://towardsdatascience.com/gpt-3-explained-in-under-2-minutes-9c977ccb172f
• h ref=" http://jalammar.github.io/illustrated-transformer/">Jay Alammar: Visualizing machine learning one concept at a time. The Illustrated Transformer
• Chip Huyen: RLHF, Reinforcement Learning from Human Feedback, https://huyenchip.com/2023/05/02/rlhf.html

• Stephen Wolfram, What Is ChatGPT Doing … and Why Does It Work?

第三部分：历史技术演化

• 知乎文章， 张俊林：从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
• cnblog， 00 预训练语言模型的前世今生（全文 24854 个词）
• 知乎文章， 机器翻译的流程（原理）是怎么样的？

第四部分：实战视频

• (39集) Transformer和BERT看不懂来这里，告诉你他们的前世今生，必能懂_哔哩哔哩_bilibili
• (137集) 【清华NLP】刘知远团队大模型公开课全网首发｜带你从入门到实战_哔哩哔哩_bilibili
• (57集) 这是B站目前讲的最好的【Transformer实战】教程！带你从零详细解读Transformer模型 一次学到饱！——人工智能、深度学习、神经网络_哔哩哔哩_bilibili
• （9集） 简直逆天！我居然只花了2小时就掌握了吴恩达教授讲的【LangChain+ChatGLM-6B】LLM应用开发
• (39集)【中文完整版】一口气学完，吴恩达2023最新课程：ChtGPT提示工程师、LLM应用开发实践、Diffusion Model原理全详解，吴恩达prompt_哔哩哔哩_bilibili
• Harvard NLP: Anotated Transformer, 逐步实现 Transformer（附代码）， https://nlp.seas.harvard.edu/annotated-transformer/
• Kapathy， Let's build GPT: from scratch, in code, spelled out， https://www.youtube.com/watch?v=kCc8FmEb1nY；

第五部分：基础补充，Python+数据结构算法+PyTorch

• 知乎文章， 机器学习社区：赶快收藏，PyTorch 常用代码段合集真香！
• 花了2万多买的Python教程全套，现在分享给大家，入门到精通(Python全栈开发教程)_哔哩哔哩_bilibili
• PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】_哔哩哔哩_bilibili
• B站强推！2023公认最通俗易懂的【PyTorch】教程，200集付费课程（附代码）人工智能_机器学习_深度学习_计算机视觉_pytorch_神经网络_哔哩哔哩_bilibili

• Andrej Kapathy （OpenAI）, Neural Networks: Zero To Hero
• TensorFlow Hub, https://tfhub.dev/

• Chris McCormick, How Stable Diffusion Works
• John Schulman (OpenAI), Reinforcement Learning from Human Feedback: Progress and Challenges

书籍推荐

第一本，《预训练语言模型》，邵浩，陈一峰

第二本，《基于BERT模型的自然语言处理实战(博文视点出品)必知ChatGPT背后的技术》，李金洪

第三本，《HuggingFace自然语言处理详解(基于BERT中文模型的任务实战)》，李福林

第六部分：经典论文、研究机构

• Transformer: 2017, Attention Is All You Need
• Word2Vec, 2013: Distributed Representations of Words and Phrases and their Compositionality
• NPLM, 2003: A Neural Probabilistic Language Model
• 2020, Language Models are Few-Shot Learners
• 2018, GPT1: Improving Language Understanding by Generative Pre-Training
• 2022, Training language models to follow instructions with human feedback
• OPENAI 研究中心: Research Index
• META Generative AI Research Center
• Google Research NLP

=====持续更新整理=====