[微言]人工智能有多可怕?

标签: 微言大义 人工智能 公共安全 制度 | 发表时间:2015-08-03 00:46 | 作者:辉格
出处:http://headsalon.org

【2015-05-29】

@whigzhou: 花了两个多小时思考强人工智能引出的问题,得出的结论是:相信陪审团。然后发现,这不就是 我去年得出过的结论嘛~哈。不过,其间经历的逻辑链条那是相当漫长,而且有了一些新想法,容我慢慢道来。

@whigzhou: 1)强人工智能很快(也就是几十年内)会出现;2)强AI的出现会让世界很不一样,但并不像有些人所想象的#那么#不一样;3)其实,“只有一小撮人(或组织)有能力做一些绝大多数人做不到、甚至完全无法理解的事情”——这早就不是什么新鲜事了。

@whigzhou: 4)需要区分三种能力:A)做某种事情的能力;B)理解某种事情、并知道怎么去做的能力;C)理解某种事态如何涉及自己的利益,并在此类事态出现时如何保护自己的能力

@whigzhou: 这三种能力之间,不存在任何互为充分或必要条件的关系:A)蜘蛛会织网,但不理解自己是怎么做到的,B)我理解阿姆斯特朗是如何登上月球的,但我做不到,C)陪审团不理解案件所涉及的大量技术性问题,但仍很好的保护了我们的权利

@heracles的救赎:一小撮人指的是?

@whigzhou: 这里的“人”可以是任何实体,自然人、组织、机器人、某个软件系统、等等

@whigzhou: 5)诚然,不理解某些事情是如何进行的,会提高被愚弄的风险,但这种风险历来就有,应对办法是寻求顾问,在生活中,我们从各种顾问那里寻求意见,在事关权利的重大关口,我们寻求专家证人的意见,重要的是,拥有强人工智能的机器可以而且已经成为我们的顾问

@whigzhou: 6)当我们对比肉人和未来机器的智能时,不能用裸人和机器去对比,因为我们早就不是裸人了,自从有了语言之后,我们的能力早已高度依赖于在成长过程和生活史中被安装上的文化软件了,和安装了文化软件的人相比,裸人早就弱爆了

@whigzhou: 7)AI的发展,一方面预示了出现强大机器人的前景,但同时(这往往被忽略)也为肉人们提供了强大的可选装备,所有被机器人用来装备自己的东西,没有理由不能被我们肉人用来装备自己

@whigzhou: 8)当然,在利用这些装备方面,肉人或许有一些天然的弱势,比如通信带宽,可能会构成一些瓶颈,这使得肉人个体或许无法突破某些能力局限

@whigzhou: 9)但是,假如我们将任务仅仅限定在C类问题上,即在新局面下保护我们的利益和权利,那么,这些瓶颈就很可能不是问题,因为唯一不能被委托给外部装备的任务,是意志表达,而意志表达不需要多大的带宽和处理能力,而在其他任何方面,肉人的不足都可以用外部装备来弥补

@whigzhou: 肯定有人还会问:就算肉人能借助外部装备,就算他们能得到(至少部分)高智能机器的帮助——为他们提供易理解的信息、善意的建议,帮助他们明白自己的处境,甚至直接帮他们做事、对抗恶意的机器,可谁能保证那些最强大的机器在关键时刻站在人类这边呢?

@whigzhou: 谁能保证在事态失控之前的那几次国会听证会上,或法庭辩论中,出庭作证的机器人是抱着善意作证而不是心怀鬼胎误导人类呢?甚至,谁能保证最了解事态的机器果真出席了听证会呢?

@whigzhou: 对此,我的回答是:没人能保证,至少没有万全之策,但是,这个问题其实和几十年前就被提过的另一个问题没什么区别:谁能保证掌握着核按钮的那一小撮人不会阴谋毁灭地球?我对这两个问题的回答是一样的,毕竟,公众同样不理解控制核按钮的整个决策与执行机制,乃至整套核威慑战略的工作方式

@whigzhou: 好在,尽管没有万全之策,我仍有理由保持乐观,因为我知道人工智能方面最新的进步发生在一个开放社会,那里有盐论目田,有着千千万万观念和利益各不相同的个体和组织,果真有什么危及人类生存的大阴谋,哪怕只是朝这方向的一点点发展苗头,很难不被揭露出来,并得到充分的调查、讨论和评估……

@whigzhou: 实际上,人类和恶意机器人的战斗早就开始了,反病毒便是一例,所谓病毒,就是一种拥有自身遗传利益的硅基有机体,禁止制造病毒的法律,其实可以理解为禁止制造硅基生命:即,可以制造无论多强大的机器,但不能让它拥有自己的利益,当然,这只是防范措施的一种,是否合理,可以讨论

@每天都仿真:有必要利用信息技术把研发过程透明化么(开放开源的开发平台)?否则难以保证监督啊。

@whigzhou: 这好像没那么必要,肉人可以用机器帮助他们分析代码。当然,开源会让这工作方便一点,但不开源也不是做不了

@whigzhou: 所以,最终,我的信心仍托付于制度,相信陪审团,相信国会,相信最高法院,相信在事态失控之前,有关坏消息会由对人类保有善意的证人以易于肉人理解的方式呈现在陪审员、议员和法官面前,而他们所表达的意愿也会经由被这套制度而得到执行

@慕容飞宇gg:如果:1)人工智能的邪恶攻击由人工智能发起,而不是由人类发起;2)并且,人工智能的邪恶攻击建立在对人性及制度缺陷的学习和研究上呢?

@whigzhou: 机器的恶意或可能产生恶意的机器的存在/出现,也会被其他机器发现啊,它不会从某个疯子的车库里突然冒出来,一部有着压倒性破坏力的机器的建造过程,只要涉及足够多的人,就很难瞒得住。

@慕容飞宇gg:问题是机器的恶意不一定是人类主观制造出来的,这个“恶意”仅仅是就人类的角度而言,可能任何一个AI都不足以识别这是一个“恶意”,而人类在其实施之前也无法发现这个“恶意”。因此,是不是应该有一个对AI的思考的实时监控呢?即便有,能否发现其复杂逻辑链背后的“恶意”呢?

@whigzhou: 我没假定“是人类主观制造出来的”啊,只要“制造重大危害需要接触某些重要资源”这个前提成立,总有防范的办法,分析代码是方法之一。就好比当今世界,任何地方冒出一个有机会接触核武器的机构,核大国就会跑过去检查其“组织代码”。

 

相关 [人工智能] 推荐:

人工智能技术新进展

- - 生命奥秘
新的计算机人脑模型可以模拟更加复杂的人类行为. 人类的大脑是一个高度复杂的器官,在众多对人类大脑的研究工作当中就包括了从分子水平到人类行为活动水平等多个层面采集大脑相关信息的工作. 这种超大范围的研究方式很有可能会让大脑研究走向专业不断细化的发展方向,这种趋势虽然有利于大脑研究的不断深化,可是同时也会带来知识碎片化的结果.

由人工智能管理的港铁

- - Solidot
港铁公司运营香港地铁跻身全世界最出色地铁系统之列,它的准时抵达记录高达99.9%,超过了伦敦和纽约地铁. 数百公里长的繁忙地铁系统需要大量人力维护,港铁公司平均每周有多达1万人执行2600项维护工作,工人们工作都是提前规划好的,由人工智能进行管理. 港铁公司计划将人工智能推广到它在其它城市运营的地铁系统,其中北京有可能第一个采用.

[微言]人工智能有多可怕?

- - 海德沙龙(HeadSalon)
@whigzhou: 花了两个多小时思考强人工智能引出的问题,得出的结论是:相信陪审团. 然后发现,这不就是 我去年得出过的结论嘛~哈. 不过,其间经历的逻辑链条那是相当漫长,而且有了一些新想法,容我慢慢道来. @whigzhou: 1)强人工智能很快(也就是几十年内)会出现;2)强AI的出现会让世界很不一样,但并不像有些人所想象的#那么#不一样;3)其实,“只有一小撮人(或组织)有能力做一些绝大多数人做不到、甚至完全无法理解的事情”——这早就不是什么新鲜事了.

注意:人工智能非你所想!

- - 译言最新精选
译者: 果果向前冲 原文地址: gizmodo.com. 艾萨克·阿西莫夫的机器人三定律还不足以控制人工智能. 上图是幻想插画家之父迈克尔·蕙兰为《曙光中的机器人》设计的封面. 近20年前“深蓝”与盖里·卡斯帕罗夫对战象棋获胜一事被誉为史上最具意义的机器智能测试. 时至今日,谷歌的“阿法狗”与国手李世石在围棋锦标赛中决一胜负,对决前三局两次告捷,表明多年来人工智能经历了显著进化.

恰到好处的人工智能

- - 可能吧
技术不应该给用户带来使用难度,而是提高效率,并恰到好处地提供帮助. 这是我在使用 Google 智能音箱 Google Home 之后的总结. 智能、AI,是今年创投圈的关键词. 如果你在京东、淘宝上搜索各种家电,多多少少这些产品都会说自己是「智能」的,到底什么是智能. 把安卓系统塞到硬件里,这个硬件是不是就是智能了.

2017年人工智能研究报告

- - 互联网数据中心-199IT
81%的IT公司正在或者计划投资人工智能(AI). Cowen预测人工智能将会将人类的生产力提升到一个新的水平,而微软会冲在最前面. 数字化市场或市场自动化、Salesforce自动化(CRM)和数据分析将成为人工智能最为成熟的三大应用领域. 据angel.co的数据显示,目前有2200多家人工智能初创公司,其中超过50%的初创公司是在最近两年成立的.

我第一次谈人工智能

- - IT瘾-dev
不知道谁这么坏,给起了一个人工智能这个词,让通过科幻片才了解啥叫智能的普罗大众老误解人工智能,就像现在我仍然对智能手机这个词有微言,这怎么就智能了呢. 从现在表现出来的人工智能规模应用来说,本质上就是个概率统计的事,和智能根本不沾边,倒是和人工挺沾边,需要人工做大量的数据标准化加工、数据标注,再喂给算法.

ChatGPT背后人工智能算法

- - 今日话题 - 雪球
ChatGPT背后人工智能算法,关键的原创技术,其实全部都是国外公司发明的. 这里做一点简单的科普,人工智能原创性研究,中国还有很大进步空间,ChatGPT也不是普通的公司能够复刻的出来的. 深度残差网络(ResNet)由微软(亚洲)研究院发明. 在此之前,研究员们发现深度神经网络的效果要比浅层神经网络要好得多,这也就是所谓的深度学习.

人工智能碰上人工智能:两个机器人的爆笑对话

- 地安门城管 - cnBeta.COM
大家都听说过判断人工智能(AI)的图灵测试吧. 或者都和一些聊天机器人说过话吧. 不过那只是人与机器人之间的故事. 如果两个机器人放在一起会发生什么事呢. 其实这是一个名为Cleverbot(聪明机器人)的两份复制品,彼此是完全相同的,为了便于识别而分别做成女性和男性,但依然显示了不同的“人格”,其中男性比较单纯,女性则有些狡猾.

人工智能 | 自动驾驶与人工智能前沿研究报告(应用篇)

- - IT瘾-geek
博主github: https://github.com/MichaelBeechan. 博主CSDN: https://blog.csdn.net/u011344545. 概念篇: https://blog.csdn.net/u011344545/article/details/89432313.