ChatGPT的几个声明

ChatGPT是一个免费的研究预览. 我们的目标是获取外部反馈，以改进我们的系统并使其更加安全. 虽然我们已经设置了保障措施，但系统偶尔可能会生成不正确或误导性的信息，并产生冒犯或有偏见的内容. 我们的AI培训师可能会审核对话以改善我们的系统. 请不要在您的对话中分享任何敏感信息. 整个欧洲都有兴趣“封禁”ChatGPT.

没错，最强语言 AI 已经诞生，那就是 ChatGPT. ChatGPT 是 OpenAI 实验室最近推出的语言 AI，上周三推出，今天已经有 100万用户量，甚至马斯克都已经注意到了. 这两天也是各个圈子在一直分享和「玩」，有技术圈、web3 圈. 我也注册试玩了下，从 SEO 角度，内容质量和流畅度确实远超其他 AI 几条街.

ChatGPT背后人工智能算法，关键的原创技术，其实全部都是国外公司发明的. 这里做一点简单的科普，人工智能原创性研究，中国还有很大进步空间，ChatGPT也不是普通的公司能够复刻的出来的. 深度残差网络（ResNet）由微软（亚洲）研究院发明. 在此之前，研究员们发现深度神经网络的效果要比浅层神经网络要好得多，这也就是所谓的深度学习.

作为智能对话系统，ChatGPT最近两天爆火，都火出技术圈了，网上到处都在转ChatGPT相关的内容和测试例子，效果确实很震撼. 我记得上一次能引起如此轰动的AI技术，NLP领域是GPT 3发布，那都是两年半前的事了，当时人工智能如日中天如火如荼的红火日子，今天看来恍如隔世；多模态领域则是以DaLL E2、Stable Diffusion为代表的Diffusion Model，这是最近大半年火起来的AIGC模型；而今天，AI的星火传递到了ChatGPT手上，它毫无疑问也属于AIGC范畴.

ChatGPT 是一个语言模型，对自然语言的理解和输出比人类要强很多，对编程语言和结构化处理相关的问题更是比人类好很多. 对于开发者来说，目前 ChatGPT 存在的几个问题：. 在 Chat 模型里对话过长会出现失忆现象. 前两个问题可以通过 数据填充机制（Augmentation）解决. 后几个问题一般引入 ReAct(Reason+Act) 模式来解决.

有幸参与ChatGPT训练的全过程. RLHF会改变现在的research现状，个人认为一些很promising的方向：在LM上重新走一遍RL的路；如何更高效去训练RM和RL policy；写一个highly optimized RLHF library来取代我的. dataset的质量、多样性和pretrain在RLHF的比重很重要.

本文来自微信公众号： Web3天空之城（ID：Web3SkyCity），作者：城主，原文标题：《从爆火的chatGPT讲起：自然语言生成式AI的前世今生，你想了解的一切》，题图来自：视觉中国. AIGC在这几个月成了一个大热的话题. 颇有些风水轮流转的感觉，如同年初大火特火的web3一样，AIGC是现在的当红炸子鸡，创业投资讨论里如果不带点AIGC就是妥妥的落伍.

本文是ChatGPT原理介绍，但没有任何数学公式，可以放心食用）. ChatGPT模型真可谓称得上是狂拽酷炫D炸天的存在了. 一度登上了知乎热搜，这对科技类话题是非常难的存在. 不光是做人工智能、机器学习的人关注，而是大量的各行各业从业人员都来关注这个模型，真可谓空前盛世. 我赶紧把 OpenAI 以往的 GPT-n 系列论文又翻出来，重新学习一下，认真领会.

AIGC 作画带给人们的惊艳感觉还没散去，ChatGPT 又来刺激人类脆弱的神经了. 当地时间 11 月 30 日，代替「跳票」的 GPT-4，OpenAI 发布了新的对话式 AI ChatGPT，没想到 ChatGPT 迅速出圈，其热烈程度甚至超过当年战胜人类棋手的 AlphaGo. 用户可以问 ChatGPT 任何问题，或者让它写一首歌，后者都能给出相当靠谱的答案.

【TechWeb】1月10日消息，据国外媒体报道，最近爆火的AI聊天机器人ChatGPT所有者OpenAI在日前传出打算以要约形式出售股票后，今日又传出了与微软更进一步投资合作的消息. 知情人士称，周二，微软正在与OpenAI就100亿美元的入股事宜进行谈判. OpenAI此次融资对象还包括其他风险投资公司在内.