ChatGPT一路狂飙,我们的安全带在哪儿?

标签: chatgpt 安全带 | 发表时间:2023-03-07 16:41 | 作者:机器之心
出处:https://www.jiqizhixin.com/

但是,令人担忧的是,学生们也会用它来写作业。前段时间的一项调查表明,美国近 9 成的学生已经在用 ChatGPT 写作业了,有篇 ChatGPT 生成的论文甚至拿到了全班第一。对于学校老师来说,这一变化来得过于突然。在还没想出对策之前,有些学校直接选择了禁用。

同样给 ChatGPT 下了禁令的还有一些公司,包括花旗、高盛、摩根大通等华尔街金融机构,因为他们担心员工在使用 ChatGPT 的时候会泄露公司敏感信息。

这些手忙脚乱的应对措施反映出一个问题:我们这个社会还没有为 ChatGPT 这类 AI 生成模型的到来做好准备,相关问题的讨论需要被提上日程。或许这也是近期举办的全球人工智能开发者先锋大会「由知道智:AI 安全与伦理洞察主题论坛」座无虚席的原因。

图片

虽然大会的主题是「A 安全与伦理洞察」,但嘉宾的讨论范围没有局限于此,而是加入了多个维度的讨论,从 ChatGPT 等 AI 生成模型对基础研究的影响到它的应用问题再到新时代人才培养思路,各个角度都展开了深入探讨。透过这个论坛,大家试图勾勒出一个问题的答案:在已经到来的 AIGC 时代,我们要如何应对

ChatGPT 给科研领域带来了哪些启发和挑战?

今年 1 月份,因为对 ChatGPT 的评价过于苛刻,图灵奖得主 Yann LeCun 被送上了热搜。在他看来,「就底层技术而言,ChatGPT 并没有什么特别的创新,」也不是「什么革命性的东西」,只能算一个像样的工程实例。

「ChatGPT 是否具有革命性」是个充满争议的话题。但毋庸置疑,它确实是一个工程上的杰作。在现场,中国科学院院士鄂维南也指出了这一点。

他还强调,这一杰作是 OpenAI 逐步验证、集中投入的结果。其中,「集中投入」这点是非常重要的。因为 OpenAI 的成功表明,以往那种「小作坊、项目制」的 AI 赋能方式正在成为历史,而「AI 工程化、平台化」正成为释放人工智能技术红利的重要支撑。如果能够适应这种变化,AI 在自然语言领域所取得的成功,有望在基础科学研究领域被复制。这也是鄂维南院士所从事的 AI for Science 领域的工作。

图片

当然,这项工作并不容易,需要我们集中力量去构建用于基础科学研究的平台化基础设施,包括数据、基础软件工具、算力平台、智能化科研平台等。在过去的几年,鄂院士已经带领团队做了一些这方面的工作,发布了原子间势能函数预训练模型等重要成果。

不过,他们的工作还面临很多挑战,比如积累的数据格式不一、噪声大,软件缺乏基本的测试体系,算力基础设施跟不上等等。在鄂院士看来,这属于「黎明前的黑暗」,只有敢于在原始创新方向上集中资源,我们才能迎来曙光。

除了自然科学,ChatGPT 的出现对于社会科学领域的研究者也有一定的启发。对此,华东师范大学政治与国际关系学院院长吴冠军贡献了非常有价值的思路。

吴院长指出,在 ChatGPT 面前,社会科学研究者应该有一些危机感。首先,它的背后是巨量的数据,这些数据可能是人类学者靠传统的田野调查搜集不到的,而且它能够在短时间内处理大量数据。其次,它「读」了大量的书,这些书,人可能一辈子也读不完。

「我们正在面对(技术)奇点,但是我们很多学者却茫然不知,」吴冠军说到。

这里的技术奇点指的是一个根据技术发展史总结出的观点,认为未来将要发生一件不可避免的事件:技术发展将会在很短的时间内发生极大的接近于无限的进步。届时,我们熟悉的知识、价值、规则全部会失效。

因此,他呼吁,社会科学家需要和其他科学家一起,推进对技术奇点时代的研究。这种研究以亚里士多德知识分类法中的「实践性知识」(比如伦理、政治)为主,因为在另外两类知识(生产性知识和理论性知识)领域,AI 已经开始学习甚至学得比人类好了。而在政治等实践性知识领域,AI 还只能复述,无法创造新的世界。因此,吴院长认为,人类在这一领域将大有可为。

图片

AIGC 市场即将爆发,应用端要如何做好准备?

前几天,OpenAI 在千呼万唤中发布了 ChatGPT 的 API,而且价格非常便宜,生成百万 token 仅需 2 美元。对于应用端来说,这是一个颇为振奋人心的消息。与此同时,国内的类 ChatGPT 产品的研发也在加快,本月也将有新产品问世。可以预见的是,在未来的一年,由 AIGC 模型支持的应用将在国内外集中爆发。

但与此同时,我们对于应用端的投入似乎并没有跟上,这是德勤中国主席蒋颖观察到的现象。

具体来说,她发现我国的人工智能发展对于研发供给侧和应用需求侧的投入存在失衡现象。这种失衡表现在三个方面。

首先,在角色方面,当前很多的决策组织主要还是由科研机构、科技企业构成,行业协会等应用场景的相关方参与相对不足。因此,蒋颖认为,我们需要建立一个多方参与的联盟,从而进一步提升转化需求侧力量在人工智能发展中的策源作用。

其次,在发展方面,通过技术创新来提升人工智能发展已经被充分提及并得到大量支持,但模式创新的力量还没有得到充分重视。因此,蒋颖提出,我们应该鼓励人工智能创新商业模式的实际运用,加大这方面的研究。

最后,在人才培养方面,现在很多高校都设立了人工智能相关专业,但这些专业大多局限于理工类知识和技能的培养,导致具备技术和管理应用双向知识的人才相对匮乏。要知道,在实际应用场景中,要想让 AI 真正发挥经济效能,仅仅用它来完成某个生产线的工作是不够的,整个流程、管理架构都需要转变,能满足这类需求的人才现阶段是非常稀缺的。

图片

在应用层面,商汤科技智能产业研究院院长、上海人工智能研究院副院长田丰也分享了自己的观点,不过他更加关注的是 AI 应用过程中存在的各种风险,包括模型风险、数据风险等等。

具体来说,田丰主张用技术及管理工具去提升企业 AI 伦理治理能力。在过去的几年,商汤科技已经自研了一套 AI 伦理风险的治理工具箱,包括数字水印、数据脱敏、数据沙箱、模型体检平台等,覆盖设计、开发、部署、上线这样一个完整的产品生命周期。

图片

未来,商汤还将基于自身实践积累,上线 “AI 安全开放平台”,为行业提供模型体检、模型防御、数字内容版权保护、创作风格保护等公益服务,推动形成开放、可信的人工智能创新生态。

学生都在用 ChatGPT,老师怎么办?

在论坛现场,上海大学副校长汪小帆被问到了一个问题:上海大学会禁止学生用 ChatGPT 吗?对此,汪校长回答说:不主张禁用。

在他看来,ChatGPT 等 AI 工具的出现有其积极的一面。

在教学实践中,它可以为学生提供即时的反馈,像 AlphaGo 辅助人类棋手一样帮助学生更快地取得进步。回想一下,30 年前,我们还在图书馆一本一本地查阅文献;20 年前,我们开始在网上快速检索文献;而今天,ChatGPT 已经能够帮我们把文献整理成摘要或综述了。这无疑大大提高了我们学习知识的效率。

在教学内容和方法上,它会迫使教学工作者去反思:我们的教育应该传授什么样的知识?如何利用 ChatGPT 这类工具让我们高等教育的「教」和「学」更加高效?经过这一轮反思和变革,高等教育可能会更加贴近其本质。就像爱因斯坦所说,「大学教育的价值不在于记住很多事实,而是训练大脑会思考…… 被放在首要位置的永远应该是独立思考和判断的总体能力的培养,而不是获取特定的知识」。

图片

当然,ChatGPT 给高校教育带来的问题也是无法回避的。对此,汪校长提出了三项需要做的工作:一是有章可循,即制定在教学和研究中使用 AIGC 的指导性原则,并确保学生和教师都能了解和遵循这些准则;二是合理使用,即支持在教、学和研究中合理使用 AIGC,但采取有效举措禁止抄袭等学术不端行为;三是教学示范,即教师在教学和研究过程中起到示范作用,并把合理使用 AIGC 等人工智能技术纳入学术诚信和伦理道德课程教学。

人工智能发展,不能走汽车老路

除了嘉宾们的精彩分享,本次论坛还诞生了两项重要成果。

第一项成果是上海标准《信息技术 人工智能系统生命周期治理指南》工作组核心专家成员获颁聘书。该指南将从 AI 算法模型的概念设计开始,贯穿开发、测试评估、部署、运行监控、退出使用的完整生命周期,为人工智能系统的治理提供指导。这是国内首个关于人工智能系统治理的地方标准,旨在以标准规则促进发展,通过技术手段和监管措施守住安全和伦理的底线,确保类似 AIGC 等技术充分发挥其社会价值、经济价值,用实际成效树立人工智能发展的「上海经验」。

图片

第二项成果《2023 上海人工智能安全伦理倡议书》的发布与签署。《倡议书》以《上海市促进人工智能产业发展条例》为指导,倡导人工智能开发者向光而行,确保人工智能行业朝着公平公正、内容安全、隐私保护、互联互通、共建共享共治方向不断前进,向上发展。来自上海市人工智能行业协会、上海中青年知识分子联谊会、上海临港集团、信通院华东分院、市软件开发中心等代表共同签署了《倡议书》。

图片

为什么要做这两件事?在演讲中,汪校长提到了一个冷知识:汽车是 19 世纪末被发明出来的,但直到 20 世纪下半叶,不同的国家才出台了强制要求开车系安全带的法规。可以想象,这中间必然有多少人白白丧命。

仔细想一下,现在的我们其实有点像 19 世纪那些刚刚接触汽车的人们:新兴的 AIGC 在加速狂飙,但开车的人却没有法规去约束,坐车的人也没有安全带可系。这些问题迫在眉睫。

「今天人工智能的发展,显然不能走汽车的这条路,」汪校长语重心长地说。以论坛为起点,社会各方都在探索一条新的路径,让我们能够从容地应对 AIGC 时代的到来。

相关 [chatgpt 安全带] 推荐:

ChatGPT一路狂飙,我们的安全带在哪儿?

- - 机器之心
但是,令人担忧的是,学生们也会用它来写作业. 前段时间的一项调查表明,美国近 9 成的学生已经在用 ChatGPT 写作业了,有篇 ChatGPT 生成的论文甚至拿到了全班第一. 对于学校老师来说,这一变化来得过于突然. 在还没想出对策之前,有些学校直接选择了禁用. 同样给 ChatGPT 下了禁令的还有一些公司,包括花旗、高盛、摩根大通等华尔街金融机构,因为他们担心员工在使用 ChatGPT 的时候会泄露公司敏感信息.

ChatGPT的几个声明

- -
ChatGPT是一个免费的研究预览. 我们的目标是获取外部反馈,以改进我们的系统并使其更加安全. 虽然我们已经设置了保障措施,但系统偶尔可能会生成不正确或误导性的信息,并产生冒犯或有偏见的内容. 我们的AI培训师可能会审核对话以改善我们的系统. 请不要在您的对话中分享任何敏感信息. 整个欧洲都有兴趣“封禁”ChatGPT.

最强语言 AI 诞生 - ChatGPT

- - 煞有介事
没错,最强语言 AI 已经诞生,那就是 ChatGPT. ChatGPT 是 OpenAI 实验室最近推出的语言 AI,上周三推出,今天已经有 100万用户量,甚至马斯克都已经注意到了. 这两天也是各个圈子在一直分享和「玩」,有技术圈、web3 圈. 我也注册试玩了下,从 SEO 角度,内容质量和流畅度确实远超其他 AI 几条街.

ChatGPT背后人工智能算法

- - 今日话题 - 雪球
ChatGPT背后人工智能算法,关键的原创技术,其实全部都是国外公司发明的. 这里做一点简单的科普,人工智能原创性研究,中国还有很大进步空间,ChatGPT也不是普通的公司能够复刻的出来的. 深度残差网络(ResNet)由微软(亚洲)研究院发明. 在此之前,研究员们发现深度神经网络的效果要比浅层神经网络要好得多,这也就是所谓的深度学习.

ChatGPT会取代搜索引擎吗

- - 知乎每日精选
作为智能对话系统,ChatGPT最近两天爆火,都火出技术圈了,网上到处都在转ChatGPT相关的内容和测试例子,效果确实很震撼. 我记得上一次能引起如此轰动的AI技术,NLP领域是GPT 3发布,那都是两年半前的事了,当时人工智能如日中天如火如荼的红火日子,今天看来恍如隔世;多模态领域则是以DaLL E2、Stable Diffusion为代表的Diffusion Model,这是最近大半年火起来的AIGC模型;而今天,AI的星火传递到了ChatGPT手上,它毫无疑问也属于AIGC范畴.

ChatGPT ReAct (Reason+Act) 模式实现

- - hooopo (Hooopo)
ChatGPT 是一个语言模型,对自然语言的理解和输出比人类要强很多,对编程语言和结构化处理相关的问题更是比人类好很多. 对于开发者来说,目前 ChatGPT 存在的几个问题:. 在 Chat 模型里对话过长会出现失忆现象. 前两个问题可以通过 数据填充机制(Augmentation)解决. 后几个问题一般引入 ReAct(Reason+Act) 模式来解决.

如何评价OpenAI的超级对话模型ChatGPT? - 知乎

- -
有幸参与ChatGPT训练的全过程. RLHF会改变现在的research现状,个人认为一些很promising的方向:在LM上重新走一遍RL的路;如何更高效去训练RM和RL policy;写一个highly optimized RLHF library来取代我的. dataset的质量、多样性和pretrain在RLHF的比重很重要.

爆火的chatGPT,和它的前世今生

- - 虎嗅网 - 首页资讯
本文来自微信公众号: Web3天空之城(ID:Web3SkyCity),作者:城主,原文标题:《从爆火的chatGPT讲起:自然语言生成式AI的前世今生,你想了解的一切》,题图来自:视觉中国. AIGC在这几个月成了一个大热的话题. 颇有些风水轮流转的感觉,如同年初大火特火的web3一样,AIGC是现在的当红炸子鸡,创业投资讨论里如果不带点AIGC就是妥妥的落伍.

一文读懂ChatGPT模型原理 - 知乎

- -
本文是ChatGPT原理介绍,但没有任何数学公式,可以放心食用). ChatGPT模型真可谓称得上是狂拽酷炫D炸天的存在了. 一度登上了知乎热搜,这对科技类话题是非常难的存在. 不光是做人工智能、机器学习的人关注,而是大量的各行各业从业人员都来关注这个模型,真可谓空前盛世. 我赶紧把 OpenAI 以往的 GPT-n 系列论文又翻出来,重新学习一下,认真领会.

你最关注的 10 个问题,我们替你问了 ChatGPT

- - 极客公园
AIGC 作画带给人们的惊艳感觉还没散去,ChatGPT 又来刺激人类脆弱的神经了. 当地时间 11 月 30 日,代替「跳票」的 GPT-4,OpenAI 发布了新的对话式 AI ChatGPT,没想到 ChatGPT 迅速出圈,其热烈程度甚至超过当年战胜人类棋手的 AlphaGo. 用户可以问 ChatGPT 任何问题,或者让它写一首歌,后者都能给出相当靠谱的答案.