如何评价OpenAI的超级对话模型ChatGPT? - 知乎

标签: | 发表时间:2022-12-03 22:00 | 作者:
出处:https://www.zhihu.com

有幸参与ChatGPT训练的全过程。直接上想法:

  1. RLHF会改变现在的research现状,个人认为一些很promising的方向:在LM上重新走一遍RL的路;如何更高效去训练RM和RL policy;写一个highly optimized RLHF library来取代我的 tianshou(x
  2. dataset的质量、多样性和pretrain在RLHF的比重很重要
  3. dialog是一个完备的载体,能够包含任何东西
  4. 有人专门跟我说openai是下一个google
  5. 可以开始想象AGI之后的世界了,我已经想了几个月了。比如最简单的想法是,这些model能够提供廉价的代码生产力,虽然不是100% perfect,但是可以极大地促进单个程序员的生产效率,因此科技公司的scope可以成倍的变大,比如之前需要一个team现在可能只需要一个人+一个model,那么相同数量的员工的话生产力会是之前的数倍
  6. 我们没有借鉴之前搞dialog agent的工作思路(其实是没了解…),如果有好的idea的话欢迎评论区留言
  7. 机器之心推送评论区第一位说内测了好几个月的人是我女票(狗头

相关 [openai 对话 模型] 推荐:

如何评价OpenAI的超级对话模型ChatGPT? - 知乎

- -
有幸参与ChatGPT训练的全过程. RLHF会改变现在的research现状,个人认为一些很promising的方向:在LM上重新走一遍RL的路;如何更高效去训练RM和RL policy;写一个highly optimized RLHF library来取代我的. dataset的质量、多样性和pretrain在RLHF的比重很重要.

国产大模型推理能力已超GPT-3.5!冲进OpenAI评测榜第一梯队

- - 量子位
量子位 | 公众号 QbitAI. OpenAI开源的数学数据集,中国厂商新成绩一举冲到最前列. 就在9月16日,国产大模型在权威推理评测集GSM8K中,首次达到了80%正确率,大幅领先GPT-3.5(57.1%)和LLaMA2-70B(56.8%). 而且这家厂商在大模型榜单上刷新全球纪录,已经不是第一次了.

OpenAI团队成员都是谁

- -
「OpenAI团队成员都是谁,出乎意料吗. 」 新版 GPT-4 就要来了,据说很强大. 附图是ChatGPT的创建者OpenAI团队:(左起)首席执行官萨姆·奥特曼,首席技术官米拉·穆拉蒂,总裁格雷格·布罗克曼,以及首席科学家伊利亚·苏茨科弗. 首席执行官萨姆·奥特曼(Samuel H. Altman):1985年出生于芝加哥,犹太人,他十岁时出柜为男同性恋,他曾在斯坦福大学学习计算机科学,2005年退学创业.

基于OpenAI的代码编辑器:Cursor

- - 程序猿DD
最近随着OpenAI的一系列大动作,把软件领域搅的天翻地覆. 各行各业各领域,都出现了大量新产品. 开发工具领域首当其冲,各种新工具层出不穷,今天TJ就给大家推荐一个全新的开发工具:Cursor. 从官网介绍可以看到,Cursor基于OpenAI实现,继承了最新的GPT-4模型,支持Mac、Windows、Linux三大平台.

OpenAI关于Kubernetes集群近万节点的生产实践

- - Indagate
OpenAI已经将Kubernetes集群规模扩展至7500个节点,为大型神经网络模型(如GPT-3,CLIP和DALL·E)及小型实验性研究提供了可扩展的基础架构. 很少将单个Kubernetes集群扩展到如此规模,为此进行了一些必要的改进,但好处是单一的基础架构使我们的机器学习研究团队可以在不修改代码的前提下,快速扩展以缩短实验时间、加速研发进度.

ChatGPT实火!微软正洽谈100亿美元增持OpenAI

- - TechWeb 今日焦点 RSS阅读
【TechWeb】1月10日消息,据国外媒体报道,最近爆火的AI聊天机器人ChatGPT所有者OpenAI在日前传出打算以要约形式出售股票后,今日又传出了与微软更进一步投资合作的消息. 知情人士称,周二,微软正在与OpenAI就100亿美元的入股事宜进行谈判. OpenAI此次融资对象还包括其他风险投资公司在内.

ChatGPT的前世今生:OpenAI的技术“执拗”与“豪赌”

- - 新浪科技滚动新闻
本文全方位地介绍了 ChatGPT 的能力特征、发展历程以及 OpenAI 一路走来所坚守的技术路线,并对 ChatGPT 出现之后 NLP 领域的范式转换进行了展望,即 ChatGPT 开启‘文本生成 + 指令’的范式.   1、ChatGPT,不再‘愚蠢’的人工智能.   ChatGPT 的相关话题应该算是继 AlphaGo 以来,最出圈的人工智能热点了.

使用 OpenAi Api 在本地搭建一个 ChatGPT 网页版

- - SaltyLeo 的博客
之前 ChatGPT 在网络上大火,由于很多开发者使劲薅羊毛,OpenAi 也撑不住了,对于新注册账号只有5美刀的免费额度了,网页版也各种限制. OpenAi 使用了 CloudFlare 的防火墙,而我使用的 IP 是美西的机房,没有任何意外地被屏蔽了. 为了方便我继续使用,我在移动端设备使用 baye 大佬开发的.

OpenAI 发布 GPT-4,有哪些技术上的优化或突破?

- - 知乎每日精选
在这个历史性的时刻,回答个问题,留下自己作为历史见证人的足迹. GPT4的技术报告里很明确地指出了三个新的方向:. 第一,LLM最前沿研究的封闭化或小圈子化. 技术报告里说了,出于竞争以及安全等方面的考虑,未公布模型规模等技术细节. 从GPT 2.0的开源,到GPT 3.0的只有论文,再到ChatGPT连论文也没有,直到GPT 4.0的技术报告更像效果评测报告.

OpenAI宣布为ChatGPT引入插件功能 解锁更多技能

- - TechWeb 新酷网站 RSS阅读
【TechWeb】3月24日消息,据外媒报道,当地时间周四,美国人工智能研究公司OpenAI宣布为ChatGPT引入插件功能. 到目前为止,ChatGPT一直受到限制,因为它只能从2021年9月之前的训练数据中提取信息. 引入插件功能极大地扩展了ChatGPT的功能,并首次允许它访问来自网络的实时数据.