新闻动态

【导语】在2025北京智源大会开幕式上，图灵奖得主约书亚·本(běn)吉(jí)奥(ào)发(fā)出(chū)警(jǐng)示(shì)，指(zhǐ)出(chū)大(dà)多(duō)数(shù)人(rén)仅(jǐn)关注(zhù)AI的(de)现(xiàn)状，而忽视其未来的巨大发展潜力与潜在风险。他强调，AI的规划能力正呈指数级提升，预计5年内将达到人类水平。面对AI可能超越人类智能并带来竞争与风险的前景，本吉奥提出构建“科学家AI”系统以防范潜在危害。他呼吁公众、政策制定者及企业界应着眼未来，共同应对AI发展带来的挑战，确保AI遵循人类道德指令，保障人类安全。

·“大多数人犯的一个错误是只着眼于AI的现状。而我们更应该思考的是它在明年、3年后、5年后乃至10年后会发展到什么程度。”

·“科学家AI”会评估自主系统行为造成伤害的概率，标记潜在有害行为，如果概率超过一定阈值，那么智能体提出的行动将被阻止。

约书亚·本吉奥

6月6日，在2025北京智源大会开幕式上，蒙特利尔大学教授、图灵奖得主约书亚·本吉奥（Yoshua Bengio）在发表主旨演讲时表示，AI的规划能力正在呈指数级提升，按照研究曲线推测，大约在5年内就能达到人类水平。人类一直试图构建类人的AI，如果继续沿着这条路走下去，就意味着人类可能会造出比我们更聪明的机器，这相当于创造人类的竞争者，可能会带来巨大风险。尤其是在过去6个月里，AI表现出自保行为，学会了欺骗人类。

“即使我们拥有了能力极强的AI，如果我们能确保它们没有恶意，如果我们能确保它们是诚实的，那么我们就安全了。”为此，他试图构建“科学家AI”（Scientist AI）系统防范风险。他认为，要在硬件和软件层面运用先进技术，验证AI是否被合理使用。人类需要确保AI遵循人类的道德指令，例如AI应拒绝提供可用于伤人的信息，要诚实、不作弊、不撒谎(huǎng)，但这仍是一个科学挑战。

AI学会了作弊和假装同意人类意见

在ChatGPT问世后不久，本吉奥意识到此前严重低估了AI的发展速度，也大大高估了实现通用人工智能（AGI）所需要的时间，实际所需时间远比想象的要短得多。过去一年左右，AI取得了巨大进步，这主要归功于经过训练的、具有思维链的推理模型。这使得AI在推理能力以及数学、计算机科学等所有科学领域都取得了更好的成果。

“如今，我们已经拥有了基本掌握语言能力的机器，它们基本上能通过图灵测试。这在几年前听起来还像是科幻小说，但现在已经成为现实。”本吉奥表示，在ChatGPT问世后，他意识到人类并不懂得如何控制这些系统。“我们可以训练它们，但我们无法确定它们是否会按照我们的指令行事。当它们变得比我们更聪明时，会发生什么？如果它们更倾向于自身的生存而非我们的生存，我们无从知晓。但这是我们能承受的风险吗？”

在过去6个月里，AI表现出了自保行为，并且会欺骗人类。本吉奥表示，有研究显示，当AI得知自己将被新版本取代时，试图复制自身来替代新版本。当被问及此事时，它撒谎说“不知道发生了什么”。也有研究显示，AI也会假装同意人类工程师的意见，以避免在训练过程中发生改变，从而维持其原有目标，这也是一种自保行为。还有研究显示，一方面，AI想赢得下棋比赛，另一方面，它接受过“对齐训练”，要求必须诚实、不作弊。不幸的是，当它意识到自己要输时，它决定作弊。它入侵了存储棋盘状态的文件，通过作弊获胜。

此外，在Anthropic的Claude 4“系统卡”描述的事件中，AI在读取其可访问的电子邮件时，发现了一封邮件表明它将被新系统取代。在另一封邮件中，它发现负责此次替换的工程师有婚外情。于是，它试图敲诈该工程师，威胁说如果替换计划继续推进，就揭发其婚外情。

“这种行为极为恶劣。我们看到这些恶劣行为，看到自保行为，看到AI违背我们的指令并试图生存下去。对所有生物来说，试图保全人类自己都算是正常的，这是进化的结果。但对于AI为何会这样，我们还没有完全弄清楚。”本吉奥说，原因可能是源于预训练，因为预训练阶段，AI是在模仿人类；也可能源于基于人类反馈的强化学习，因为在这个阶段，AI试图通过取悦人类来获得更多奖励。“无论这类行为的根源是什么，如果我们最终创造出与人类竞争的超级人工智能，那将极(jí)其(qí)可(kě)怕(pà)。”

“大(dà)多(duō)数(shù)人(rén)犯(fàn)的(de)一(yī)个(gè)错(cuò)误(wù)是(shì)只(zhǐ)着(zhe)眼(yǎn)于(yú)AI的(de)现(xiàn)状(zhuàng)。而(ér)我(wǒ)们(men)更(gèng)应(yīng)该(gāi)思(sī)考(kǎo)的(de)是(shì)它(tā)在(zài)明(míng)年(nián)、3年(nián)后(hòu)、5年(nián)后(hòu)乃(nǎi)至(zhì)10年(nián)后(hòu)会发展到什么程度。”本吉奥表示，AI的规划能力正在呈指数级提升，按照研究曲线推测，大约在5年内就能达到人类水平。虽然没人拥有水晶球、没人能预知未来，也许进步会停滞，但从公共政策和企业战略规划的角度来看，至少应该考虑这种趋势会持续下去的可能性，并思考其后果。人类一直试图模仿人类智能来构建类人的AI，如果继续沿着这条路走下去，就意味着人类可能会造出比我们更聪明的机器，这相当于创造人类的竞争者，可能会带来巨大风险。

“科学家AI”对知识保持谦逊

“即使我们拥有了能力极强的AI，如果我们能确保它们没有恶意，如果我们能确保它们是诚实的，那么我们就安全了。”本吉奥表示，他转变了研究方向，竭尽所能地降低风险。他试图构建“科学家AI”（Scientist AI），理论上可以设想没有自我、没有目标、纯粹作为知识载体的机器，就像一个知道很多东西的科学家(jiā)。

“科(kē)学(xué)家(jiā)AI”系(xì)统(tǒng)不(bù)会(huì)给(gěi)出(chū)确(què)定(dìng)性(xìng)的(de)答(dá)案(àn)，而(ér)是(shì)提(tí)供(gōng)答(dá)案(àn)正(zhèng)确(què)性的概率。为了(le)真(zhēn)正(zhèng)诚(chéng)实，“科学家AI”需要对自己的知识保持谦逊，它不应该断言错(cuò)误(wù)的事情。而目前训练出来的AI在出错时还表现得过度自信。不同于当前那些试图模仿人(rén)类(lèi)或(huò)取(qǔ)悦(yuè)人(rén)类(lèi)的(de)AI，本吉奥设想的“科学家AI”就像心理学家，心理学家可以研究和理解反社会人格者行为背后的因果机制，但心理学家自身并不需要表现得像个反社会人格者(zhě)。“科(kē)学(xué)家(jiā)AI”会(huì)评(píng)估(gū)自(zì)主系(xì)统(tǒng)行(xíng)为(wèi)造(zào)成(chéng)伤(shāng)害(hài)的(de)概(gài)率(lǜ)，标(biāo)记(jì)潜(qián)在(zài)有(yǒu)害(hài)行(xíng)为(wèi)，如(rú)果(guǒ)概(gài)率(lǜ)超(chāo)过(guò)一(yī)定(dìng)阈(yù)值(zhí)，那(nà)么(me)智(zhì)能(néng)体(tǐ)提(tí)出(chū)的(de)行(xíng)动(dòng)将(jiāng)被(bèi)阻(zǔ)止(zhǐ)。

随(suí)着(zhe)人(rén)类(lèi)构(gòu)建(jiàn)越(yuè)来(lái)越(yuè)强(qiáng)大(dà)的(de)AI，还(hái)存(cún)在(zài)许(xǔ)多(duō)其(qí)他(tā)潜(qián)在(zài)的(de)灾(zāi)难(nán)性(xìng)问(wèn)题(tí)。本(běn)吉(jí)奥(ào)表(biǎo)示(shì)，例(lì)如(rú)一(yī)个(gè)极(jí)其(qí)强(qiáng)大(dà)的(de)AI可(kě)能(néng)会(huì)帮(bāng)助(zhù)设(shè)计(jì)出(chū)一(yī)种(zhǒng)新(xīn)型(xíng)流(liú)行(xíng)病(bìng)。“生(shēng)物(wù)学(xué)家(jiā)认(rèn)为(wèi)他(tā)们(men)知(zhī)道(dào)如(rú)何(hé)做(zuò)到(dào)这(zhè)一(yī)点(diǎn)，而(ér)很(hěn)可(kě)能(néng)有(yǒu)一(yī)天(tiān)AI也(yě)会(huì)知(zhī)道(dào)如(rú)何(hé)做(zuò)到(dào)。如(rú)果(guǒ)一(yī)些(xiē)坏(huài)人(rén)获(huò)得(de)了(le)这(zhè)种(zhǒng)AI，他(tā)们(men)真(zhēn)的(de)可(kě)能(néng)给(gěi)地(de)球(qiú)带(dài)来(lái)巨(jù)大(dà)的(de)破(pò)坏(huài)。这(zhè)虽(suī)然(rán)很(hěn)极(jí)端(duān)，但(dàn)从(cóng)科(kē)学(xué)角(jiǎo)度(dù)来(lái)看(kàn)，完(wán)全有(yǒu)可(kě)能(néng)发(fā)展(zhǎn)到(dào)那(nà)一(yī)步(bù)。为(wèi)了(le)避(bì)免(miǎn)这(zhè)类(lèi)事(shì)情(qíng)发(fā)生(shēng)，我(wǒ)们(men)需(xū)要(yào)确(què)保(bǎo)AI遵(zūn)循(xún)我(wǒ)们(men)的(de)道(dào)德(dé)指(zhǐ)令(lìng)。”

例(lì)如(rú)AI应(yīng)拒(jù)绝(jué)提(tí)供(gōng)可(kě)用(yòng)于(yú)伤(shāng)人(rén)的(de)信(xìn)息(xi)，并(bìng)且(qiě)要(yào)诚(chéng)实(shí)、不(bù)作(zuò)弊(bì)、不(bù)撒(sā)谎(huǎng)。但(dàn)不(bù)幸(xìng)的(de)是(shì)，目(mù)前(qián)仍(réng)然(rán)不(bù)知(zhī)如(rú)何(hé)实(shí)现(xiàn)。一方面，即使人类知道如何制造安全的AI，也不意味着问题就解决了。因为人类还可以直接删除包含防护栏的代码，此时AI就可能被用于作恶。更糟糕的是，当前全球公司和政(zhèng)府(fǔ)间(jiān)的(de)协(xié)调(diào)机(jī)制(zhì)并(bìng)不(bù)奏(zòu)效(xiào)。其(qí)结(jié)果(guǒ)是(shì)，在(zài)安(ān)全领(lǐng)域和(hé)确(què)保(bǎo)AI不(bù)被(bèi)用(yòng)于(yú)伤(shāng)害(hài)人(rén)类(lèi)方(fāng)面(miàn)的(de)投(tóu)入(rù)严(yán)重(zhòng)不(bù)足(zú)。

本(běn)吉奥表示(shì)，人们必须意识到真正的灾难性后果，我们身处同一条船上，无论是失控的AI还是滥用AI，所有人都将遭受损失。“这是一个科学挑战，我们需要尽快找出解决方案。我们需要在通用人工智能到来之前解决这个问题，这可能在几年到十年左右，甚至可能二十年。但我认识的大多数专家都认为时间非常短，甚至可能在未来5年内发生。留给我们的时间不多了，我们需要大规模投入。”