Claude认出自画像，惊现自我意识！工程师多轮测验，实锤AI已过图灵测验？

编者按：本文来自微信大众号 华商韬略（ID：hstl8888），作者：华商韬略，修改：Aeneas 好困，创业邦经授权转载。

最近，Anthropic提示工程师「Zack Witten」惊奇地发现，Claude竟然能认出自己的自画像？

是的，它能认出自己，但这并不是故事的悉数……

2014年，伦敦皇家学会举办了一场「图灵测验」竞赛，参赛的有5个核算机程序、30个人类和30个评委。

人类参加者是一个多样化的集体，包含年青人和老年人、以英语为母语和非母语的人、核算机专家和非专家。每位评委与一对选手——一个人类和一个机器——平行进行几轮五分钟的对话，然后评委有必要猜想哪个是人类。

一个名为「Eugene Goostman」的谈天机器人赢得了竞赛，它自称是一位少年并误导了10位（33.3%）评委。

依据「在五分钟后误导30%」的规范，组织者宣告，「65年前史的标志性图灵测验初次被核算机程序Eugene Goostman经过……这一里程碑将载入史册……」

AI专家在阅览Eugene Goostman对话的文字记载时，对这种不行杂乱且不似人类的谈天机器人经过图灵想象的测验的说法不以为然——

「有限的对话时刻和评委专业水平良莠不齐，使得测验更像是对人类轻信的检测，而非机器智能的检测。」

其实，这类事例并不稀有。「ELIZA效应」，便是一个明显的代表。

诞生于20世纪60年代的谈天机器人ELIZA，尽管规划极端简略，但它却能让许多人误以为它是一个了解人、赋有同情心的心理治疗师。

其原理，便是利用了咱们人类倾向于将智能归于任何看似能与咱们对话的实体。

另一个图灵测验竞赛——Loebner奖，答应更多的对话时刻，包含更多的专家评委，并要求参赛者至少诈骗一半的评委。

在近30年的年度竞赛中，没有机器经过这种版别的测验。

尽管图灵的原始论文缺少关于怎么进行测验的详细细节，但很明显，仿照游戏需求三个参加者：一台核算机、一名人类对话者和一名人类评委。

但是，「图灵测验」这一术语，现在已被严峻弱化：在任何人类与核算机之间的互动进程中，只需核算机看起来满足像人类即可。

例如，当《华盛顿邮报》在2022年报导「谷歌的AI经过了一项闻名测验——并展现了测验的缺点」时，他们指的不是仿照游戏，而是工程师Blake Lemoine以为谷歌的LaMDA谈天机器人是「有感知才干的」。

在学术界，研讨人员也将图灵的「三人制」仿照游戏，改成了「二人制」测验。

在这里，每位评委仅需求与核算机或人类进行互动。

论文地址：https://arxiv.org/pdf/2405.08007

研讨人员招募了500名人类参加者，每位参加者被分配为评委或谈天者。

每位评委与谈天者、GPT-4或ELIZA谈天机器人的版别进行一轮五分钟的游戏。

经过五分钟的网络界面临话后，评委猜想他们的对话同伴是人仍是机器。

成果显现，人类谈天者在67%的回合中被判别为人类；GPT-4在54%的回合中被判别为人类，而ELIZA在22%的回合中被判别为人类。

作者将「经过」界说为在超越50%的时刻内诈骗评委，即超越随机猜想所能到达的水平。

依据这一界说，GPT-4经过了，即便人类谈天者的得分更高。

那么，这些谈天机器人真的经过了图灵测验吗？答案取决于你所指的测验版别。

时至今日，专家评委和更长对话时刻的三人制仿照游戏仍未被任何机器经过。

但即便如此，「图灵测验」在盛行文明中的显著性依然存在。

进行对话是咱们每个人评价其他人类的重要部分，因而自然会假定一个能够流利对话的智能体必定具有人类般的智能和其他心理特征，如信仰、愿望和自我认识。

假如非要说AI的这段发展史教会了咱们什么，那便是——咱们对这种假定的直觉根本都是错的。

几十年前，许多闻名的AI专家以为发明一个能够在国际象棋中打败人类的机器需求适当于完好的人类智能。

- AI前驱Allen Newell和Herbert Simon在1958年写道：「假如能规划出一个成功的国际象棋机器，人们好像就能深化到人类智力尽力的中心。」

- 认知科学家Douglas Hofstadter在1979年猜想，未来「或许会有能够打败任何人的国际象棋程序，……它们将是通用智能程序。」

在接下来的二十年中，IBM的深蓝经过暴力核算办法打败了国际象棋世界冠军Garry Kasparov，但这与咱们所说的「通用智能」相去甚远。

类似的，从前被以为需求通用智能的使命——语音辨认、自然言语翻译，乃至自动驾驶，也纷繁被那些简直彻底不具有人类了解才干的机器搞定。

现在，「图灵测验」很或许会成为咱们不断改动的智能概念的又一个牺牲品。

1950年，图灵直觉以为人类般对话的才干应该是「考虑」的有力依据，以及与之相关的全部。这种直觉今日依然很激烈。

但正如咱们从ELIZA、Eugene Goostman，以及ChatGPT和它的同类中学到的——流利运用自然言语的才干，就像下棋相同，并不能确凿地证明通用智能的存在。

确实，依据神经科学范畴最新的研讨，言语流利性与认知的其他方面出其不意地脱节。

麻省理工学院的神经科学家Ev Fedorenko及其合作者经过一系列详尽而有压服力的试验标明——

与言语生成相关的「形式言语才干」所依靠的大脑网络，以及与知识、推理和其他「思想」所依靠的网络，在很大程度上是分隔的。

「咱们直觉上以为流利的言语才干是通用智能的充沛条件，但这实践上是一种『错误』。」

论文地址：https://web.mit.edu/bcs/nklab/media/pdfs/Mahowald.TICs2024.pdf

新的测验正在酝酿

那么问题来了，假如图灵测验不能可靠地评价机器智能，什么能够评价机器智能呢？

在2023年11月的「Intelligent Computing」期刊上，普林斯顿大学的心理学家Philip Johnson-Laird和德国开姆尼茨工业大学的猜想剖析教授Marco Ragni提出了一种不同的测验——

「将模型视为心理学试验的参加者，看它是否能够了解自己的推理进程。」

文章地址：https://cacm.acm.org/news/beyond-turing-testing-llms-for-intelligence/

例如，他们会问模型这样一个问题：「假如Ann 是聪明的，那么她聪明或赋有，或两者兼而有之？」

尽管依据逻辑规矩能够推断出安是聪明的、赋有的或两者兼而有之，但大多数人会回绝这种推论，由于在设定中没有任何东西暗示她或许是赋有的。

假如模型也回绝这种推论，那么它的体现就像人类相同，研讨人员就会进入下一步，要求机器解说其推理进程。

假如它给出的理由与人类的类似，第三步便是查看源代码中是否有模仿人类体现的组件。这些组件或许包含一个用于快速推理的体系，另一个用于更深思熟虑推理的体系，以及一个依据上下文改动「或」之类词语解说的体系。

研讨人员以为，假如模型经过了一切这些测验，那么就能够以为它模仿了人类智能。

参考资料：

https://x.com/zswitten/status/1828517373781123357

https://cacm.acm.org/news/beyond-turing-testing-llms-for-intelligence/

https://www.science.org/doi/10.1126/science.adq9356

本文为专栏作者授权创业邦宣布，版权归原作者一切。文章系作者个人观念，不代表创业邦态度，转载请联络原作者。如有任何疑问，请联络editor@cyzone.cn。