如何评价OpenAI的超级对话模型ChatGPT? - 知乎

标签: | 发表时间:2022-12-03 22:00 | 作者:
出处:https://www.zhihu.com

有幸参与ChatGPT训练的全过程。直接上想法:

  1. RLHF会改变现在的research现状,个人认为一些很promising的方向:在LM上重新走一遍RL的路;如何更高效去训练RM和RL policy;写一个highly optimized RLHF library来取代我的 tianshou(x
  2. dataset的质量、多样性和pretrain在RLHF的比重很重要
  3. dialog是一个完备的载体,能够包含任何东西
  4. 有人专门跟我说openai是下一个google
  5. 可以开始想象AGI之后的世界了,我已经想了几个月了。比如最简单的想法是,这些model能够提供廉价的代码生产力,虽然不是100% perfect,但是可以极大地促进单个程序员的生产效率,因此科技公司的scope可以成倍的变大,比如之前需要一个team现在可能只需要一个人+一个model,那么相同数量的员工的话生产力会是之前的数倍
  6. 我们没有借鉴之前搞dialog agent的工作思路(其实是没了解…),如果有好的idea的话欢迎评论区留言
  7. 机器之心推送评论区第一位说内测了好几个月的人是我女票(狗头

相关 [openai 对话 模型] 推荐:

如何评价OpenAI的超级对话模型ChatGPT? - 知乎

- -
有幸参与ChatGPT训练的全过程. RLHF会改变现在的research现状,个人认为一些很promising的方向:在LM上重新走一遍RL的路;如何更高效去训练RM和RL policy;写一个highly optimized RLHF library来取代我的. dataset的质量、多样性和pretrain在RLHF的比重很重要.

OpenAI关于Kubernetes集群近万节点的生产实践

- - Indagate
OpenAI已经将Kubernetes集群规模扩展至7500个节点,为大型神经网络模型(如GPT-3,CLIP和DALL·E)及小型实验性研究提供了可扩展的基础架构. 很少将单个Kubernetes集群扩展到如此规模,为此进行了一些必要的改进,但好处是单一的基础架构使我们的机器学习研究团队可以在不修改代码的前提下,快速扩展以缩短实验时间、加速研发进度.

ChatGPT实火!微软正洽谈100亿美元增持OpenAI

- - TechWeb 今日焦点 RSS阅读
【TechWeb】1月10日消息,据国外媒体报道,最近爆火的AI聊天机器人ChatGPT所有者OpenAI在日前传出打算以要约形式出售股票后,今日又传出了与微软更进一步投资合作的消息. 知情人士称,周二,微软正在与OpenAI就100亿美元的入股事宜进行谈判. OpenAI此次融资对象还包括其他风险投资公司在内.

马斯克的OpenAI,究竟是如何在dota2中击败顶级人类选手的?

- - 雷锋网
在8月12日,埃隆·马斯克旗下旨在研究通用人工智能解决方案的公司OpenAI,所训练的一款人工智能算法在著名的电子竞技游戏Dota2国际邀请赛The International中,参与了1V1比赛环节,并压倒性的击败了顶级电子竞技选手Dendi. 在alphago击败了柯洁以后,Deepmind多次公开表达了希望准备要去尝试挑战星际争霸等电子竞技项目,目前Deepmind确实也联合暴雪公司在开展这项尝试.

和AI结对编程!OpenAI与GitHub联手推出AI代码生成工具,比GPT-3更强大

- - 雷锋网
昨日,微软与OpenAI共同推出了一款AI编程工具GitHub Copilot,这款工具基于GitHub及其他网站的源代码,可根据上文提示为程序员自动编写下文代码. GitHub 的首席执行官 Nat Friedman 介绍说,GitHub Copilot是结对编程的虚拟版本. 结对编程是一种常见的敏捷软件开发技术——即两个开发人员在同一个项目上并肩协作,轮流编写代码并检查合作伙伴的输出.

AI攻破Dota2!马斯克OpenAI版“阿尔法狗”完胜最强人类选手,马斯克:这可比围棋难多了

- -
8 月 11 日,人工智能又给人类带来了惊喜,伊隆·马斯克(Elon Musk)旗下的人工智能研究机构 OpenAI 宣布他们所打造的一个 AI 机器人已经在电子竞技游戏 Dota 2 中击败了一个名为 Dendi 的人类职业玩家,而比赛所采取的形式也是很直接的 1v1. 双方约定好共进行三轮比赛,在第一场比赛中,人工智能在不到十分钟的时间内闪电击败对手;第二场比赛同样也是由人工智能取得了胜利;而这直接导致了 Dendi 放弃进行第三场比赛.

模型制作

- 小鱼儿 - 非正常人类研究中心 – Mtime时光网
1.材料:一大袋的一次性筷子(花了60块钱);5支502胶水;5张粗砂纸;记号笔一只;锋利的美工刀片若干,破剪刀一把. 就是这种屌毛筷子,质量也太他妈的差了点,80%都是弯的 . 随便提一下:我的脚丫子还是蛮性感滴 . 开始动工了!!  先做门框跟房子的底架. 3.不好意思,忘了交代一下了,我是先画图纸的,看到那张纸了没有.

MapReduce编程模型

- - CSDN博客云计算推荐文章
MapReduce是一个Google发明的编程模型,也是一个处理和生成超大规模数据集的算法模型的相关实现. 用户首先创建一个Map函数处理一个基于对的数据集合,输出的中间结果基于对的数据集合,然后再创建一个Reduce函数用来合并所有的具有相同中间Key值的中间Value值.

关于BOM模型

- - CSDN博客编程语言推荐文章
当我们使用浏览器打开一个网页程序时,那么,js系统会自动创建对象,首先创建浏览器对象window,然后再为window对象创建它的子级对象,最后形成一个树状模型,这个就是BOM模型. BOM定义了JavaScript可以进行操作的浏览器的各个功能部件的接口. BOM 主要处理浏览器窗口和框架,不过通常浏览器特定的 JavaScript 扩展都被看做 BOM 的一部分.

无聊对话录

- Chrisoul - 滯銷書
B:“那换个方式这样打行不行. A:“这位选手,你其他方面的表现都还不错,就是唱歌有些走调. B:“是这样的,评委老师,这首歌原唱就是这样,我练了很久才练出这种貌似走调的效果. A:“我觉得自从和你谈恋爱以后就越来越蠢了. 只有你变聪明了才会意识到自己蠢. B:“哦,你好,请问你是姓田中吗. B:“D 大调还是 D 小调.