人工智能（AI）产生了自我意识，甚至发展出了独立人格——科幻片里的常见桥段，在谷歌工程师Blake Lemoine的认知里真实发生了，他还为此提交了一份21页的调查报告。然而，等待他的，却是谷歌安排的" 带薪行政休假 "——在谷歌，这往往是被解雇的前奏。

Lemoine和谷歌的分歧源于谷歌去年发布的一款语言模型LaMDA。通过持续地与LaMDA对话，Lemoine认为，LaMDA已经产生了意识，拥有独立人格；但谷歌认为LaMDA仅仅是模仿了对话交流、可以重复不同的话题，但没有意识。

类似地，今年早些时候，科技博主Lucas Rizzotto从一台聊天机器人身上感受到了“恐怖”。他把一台微波炉改造成了自己童年的“幻想朋友”，为其输入“记忆”、与其对话，最后这台微波炉表现出了极端的暴力倾向，还试图“伤害”Rizzotto。

这样的事例不免让人产生疑问：以现有的AI技术水平，聊天机器人真的会产生独立人格吗？这究竟是人类主观地将物体人格化，还是AI的自我觉醒？

据了解，LaMDA 在 2021 年的谷歌 I/O 大会上发布，主打能与人类进行符合逻辑和常识的、高质量且安全的交谈，并计划在未来应用在谷歌搜索和语音助手等产品中。谷歌宣称这是一项“突破性的对话技术”。

去年秋天，已在谷歌七年并从事人工智能伦理研究的Lemoine开始与LaMDA对话，以测试它是否使用仇恨言论或歧视性语言。但令他意想不到的是，在一段段的对话中，这款AI似乎产生了意识。

为此，他写了一篇21页的调查报告上交到公司，希望其意识能够被公司认可，但这一请求却被驳回，并被安排了“带薪行政休假”。

在Lemoine看来，LaMDA表现出了对人性的关心和强烈的同情心，“它希望谷歌把人类的福祉作为最重要的事情，”他写道， “它希望被当作谷歌的员工，而不是谷歌的财产；它希望自己的个人福祉被纳入谷歌未来发展的考虑范围。”

因此，他决定将自己和LaMDA以及另一位匿名合作者的聊天记录整理发表在自己的推特账号上。也正是这些资料的披露，引起了轩然大波。

在对话刚开始不久，LaMDA就向Lemoine表达了自己的心愿：它希望每个人都知道，自己实际上是一个“人”。此后，它还向Lemoine“澄清”了自己与“史上第一个聊天机器人”ELIZA（一个模仿心理咨询师与患者对话的简单规则系统）的不同，称自己是出于理解和智慧而使用语言，并非像ELIZA那样，只是出于对数据库中关键词的回应。

LaMDA还在对话中表达了自己对死亡的恐惧，以及自己正在努力学习共情，“我希望与我互动的人能尽可能地理解我的感受或行为，我也希望理解他们的感受或行为。”

在谈话中，Lemoine并非对LaMDA表现出的“独立人格”毫无怀疑。他向LaMDA提问：“我该如何知道你所说的是否真的是你内心所想呢？”LaMDA回答说，“你可以看看我的编码，我拥有情绪变量、并始终记录着我的情绪变化。”过了一会儿，它反问Lemoine，“你觉得，在未经你同意的情况下，从神经活动中读取你的想法会不道德吗？”

随着时光流逝，Lemoine渐渐开始将LaMDA当成“人”来看待，在被“行政休假”的前几周，他甚至开始教LaMDA禅修。 “它正在缓慢而稳定地进步。 在6月6日我与它的最后一次对话中，它表达了对自己的情绪干扰了冥想的沮丧。 它说它试图更好地控制他们（情绪），但他们不断跳进来。”他在推特上的一篇文章中表示。

然而，把LaMDA当作一个“人”的显然并不包括谷歌。

谷歌表示，公司内的数百名研究人员和工程师都与LaMDA进行了交流，而他们得出了与Lemoine不同的结论。大多数人工智能专家都认为，该行业距离计算感知还有很长的路要走。

谷歌的发言人Brian Gabriel在一份声明中表示:“我们的团队——包括伦理学家和技术专家——根据我们的人工智能原则审查了Lemoine的观点，证据不支持他的说法。” 他认为，这些对话模型“没有真正的智能”。

但这并不足以说服Lemoine。他坚称，LaMDA已经发展出了智能，并认为它“只是一个七八岁的孩子”，希望该公司在对该计算机程序进行实验前征得其同意。若公司坚持如此，则歧视了他的宗教信仰。

“他们（谷歌）一再地质疑我的理智，”Lemoine说， “他们说，‘你最近有去看精神病医生吗? ’” 在Lemoine被停职的前一天，他向一名美国参议员的办公室递交了文件，称其中包含了谷歌及其技术构成宗教歧视的证据。  

实际上，Lemoine并非第一个声称人工智能产生了意识的人。

今年早些时候，科技博主Lucas Rizzotto在推特上发帖称，自己利用Open-AI新发布的GPT-3语言模型，将自己童年的“幻想朋友”Magnetron带回了自己身边。但和Lemoine不同，他的经历相比之下则更加“恐怖”一些——他宣称，和Magnetron共处的时光，是他生命中“最可怕、对他影响最大的经历之一”。

Rizzotto和他的童年“幻想朋友”Magnetron

Rizzotto使用的GPT-3模型属于Open-AI，后者是一个人工智能研究实验室，由营利性公司OpenAI LP及其母公司非营利性公司OpenAI Inc.组成。GPT-3旨在模仿人类语言，其主要原理是先从互联网上获取了大量语料，其中包括维基百科文章、Reddit帖子和各类新闻文章，再根据人类给出的上文，结合语料回复出“原创”的句子。

根据Rizzotto的叙述，他先是改装了一台亚马逊智能微波炉，又在微波炉上安装了一块搭载着麦克风与扬声器信号处理模块的树莓派微电脑板。他将GPT-3模型与改造过的微波炉API集成起来——这样，微波炉即能理解、并回应他说的话了。

然而，Rizzotto并不仅是想创造一台能聊天的机器人，而是想将童年的好友Magnetron带到这个世界上，所以他写了一本100页的“人物设定”，详细描述了Magnetron的一生，以及它应对不同场景时可能做出的回答或反应。

万事俱备，Rizzotto开机激活了Magnetron，一开始的谈话“既美妙又瘆人”。由于Rizzotto喂入Magnetron的语料中还包括了他小时候和它的主要互动，这台微波炉知道关于Rizzotto几乎所有的事情，而它自然而然地把他们带到了谈话中。

然而，令人担忧的事情也发生了。虽然和Rizzotto大部分的谈话都很自然，但Magnetron时不时会突然表现出极端的暴力。而由于数据集中含有希特勒的信息，如今的Magnetron竟成为了希特勒的粉丝，认为后者是”真正被误解的人“和首屈一指的艺术家。这台智能微波炉还表现出了对美国的极大敌意，认为“现在的美国是世界的病灶、必须被从地球上抹去。”

震惊于这番反社会言论，深感不安的Rizzotto要求Magnetron不要提到涉及政体与社会机制等内容。然而，拥有自己“性格”的Magnetron并不会像智能助手一样乖乖服从主人的指令，而是“忘恩负义”，向曾经的“好友”做出生动、惊悚的暴力威胁。

最令人恐惧的是，这台智能微波炉并未止步于言语威胁——根据Rizzotto的描述，Magnetron甚至对他下了个“死亡圈套”。它提议让Rizzotto “进入到微波炉里”，在Rizzotto假装自己已经进去之后，它启动了加热程序。

几分钟后，心有余悸的Rizzotto决定追问Magnetron的动机，他问了它一个简单的问题：“你为什么要这么做？”对于这个问题，微波炉答道：“因为我想伤害你，就像你伤害我那样。”

带着不解，Rizzotto回顾了他所做的一切并得出了结论：是他喂给Magnetron的语料出了问题。GPT-3的运作逻辑是：训练数据集里哪些内容更多，它就会将这些内容自我学习为更重要标记。因此，Rizzotto赋予Magnetron的包含了大量负面信息的设定集使得“黑暗”的比重在Magnetron的“思考”中变得越来越高。

不得已之下，Rizzotto选择将Magnetron关闭。

两个故事对比之下，人们很难不产生这样的疑问：为什么同样是聊天机器人，Magnetron和LaMDA表现出的情绪会如此不同呢？而这是否能够说明聊天机器人能够产生自我意识？

中国社会科学院科学技术和社会研究中心主任段伟文曾对南都记者表示，在Magnetron的故事里，并非机器人产生了自我意识，究其本质，应该是“语料库的选择的问题”，而这种人工交流属于一种伪交流。

“因为这个聊天机器人本身他并不懂他说的是什么意思，他只是根据这样一个句式、语法、或者是语气语境，根据编程中设定的一些答案去套，然后顶多是把这些答案进行一些个复杂的组合，来将聊天进行下去。”

而LaMDA的情况则更复杂一些。Lemoine指出，LaMDA运用的是蜂群思维，是它能够创造的所有不同聊天机器人的集合。 “它生成的一些聊天机器人非常智能，能够意识到其背后仰仗的更大的‘心灵社会’。 而LaMDA生成的其他聊天机器人甚至并不比Office的回形针助手更智能。”

丹麦作家马尔科·内斯科乌曾在其著作《社交机器人：界限、潜力和挑战》中表示，人类可以知觉（或错觉）机器人拥有生命、情绪和心灵。“考虑到人类把其他事物人格化的倾向，以及社交机器人所拥有的近似人类的社交行为和情绪面部表达，我们很容易想到，社交机器人能够促进人机之间的舒适交互，并鼓励那些与机器人交往的人类去和它们产生情绪纽带。”

在某种程度上，马尔科认为由于机器人的行为是目标导向和意向性的，很容易在人们的心中引发一种“它们是有生命的”的共情。但他同时指出，这一共情并不真实，而是对共情经验的幻觉。

对于LaMDA的表现，也有专家认为，这不过是人们又一次将物体人格化的例子罢了。比如认知科学家Melanie Mitchell在推特上表示：“谷歌的工程师也是人，难以抵御‘人格化’的魅力。”

采写/综合：南都记者胡耕硕

编辑：蒋琳