不知何时起，AI时代的游戏们开始变得玄幻了起来。

比个射击手势，并作势“扣动扳机”，游戏角色竟也同时完成了瞄准射击的动作。

不靠键盘鼠标，对着麦克风一顿高低音输出，就能依据发声的音调高低控制角色前进跳跃。

游戏主角在开放世界游戏中穿越了地图上一个完整省城的同时，玩家自己也实打实地跑完了35公里。

更有甚者，直接通过脑电波来放游戏技能：当你凝神静气地进行“冥想”时，脑机接口设备将能检测到你此时的脑电波，并使得魔力值（即图中的蓝条）缓慢上升。

如果玩家此时注意力不集中，打出去的技能伤害就会下降，只有当平静心情直到蓝条回满时才能释放强大的魔法技能——完全就是玄幻小说走进现实。

这些通过各式各样的技术改造，直接将玩家身体的各个部位作为游戏“外部设备”的游戏，可以说是为我们打开了一道通过虚拟世界的门。

而当现实世界中的一跑一动，一念一声通过这道门确实地反馈到了虚拟的游戏世界中，虚实的边界也开始逐渐模糊。

也难怪去年“元宇宙”这一概念因小扎而热度飙升之际，不少游戏玩家却无比淡然——

毕竟，这种虚拟世界的概念，游戏很早之前就开始玩了。微软CEO甚至在今年年初表示“元宇宙的本质就是游戏”。

图源：网络

不过，在现在的我们看来正在推开虚实边界大门的游戏，在最开始的时候，只是出于制作者和玩家对“拟物”感的追求。

什么是拟物感？拿这款上古时代（1936年开发）的Ray-O-Lite来举例，这是一款打鸭子的射击游戏。

没有复杂的计算机编程，目标就是右下角这只装了真空管，并且能够进行移动的鸭子模型，左边则是游戏控制器——一款用猎枪改造的真·射击工具。

图源：网络

游戏场景中什么样，现实中玩家就要什么样——这就是拟物感的简单定义。

之后，游戏制作者们又陆续整了不少新活儿：比如将赛车游戏中的方向操控键位直接改为方向盘，在球类对战游戏中将控制器改为真正的球拍等等。

2019年，日本游戏公司任天堂推出了“健身环大冒险”，玩家手握装有挤压感测器的健身环，再将游戏控制器拆下安装在腿部固定带上，在体感技术的红外捕捉下，就能将手部和腿部动作一一映射到游戏内。

“游戏运动两不误”，这就是当年官方打出的口号。

图源：官方宣传视频

可以说，虽然这并不是第一款将现实照进虚拟场景的游戏，但却是目前最为大众所知，甚至最出圈的一个。

而健身环大冒险的爆火，也使得不少玩家蠢蠢欲动了起来：

那是不是也能通过这种思路“进入”别的虚拟世界呢?

于是三个月后，同样由任天堂出品的《塞尔达传说：旷野之息》，就迎来了一位拿着健身环的玩家：

图源：油管主SuperLouis64视频

这位名叫SuperLouis6的老哥先是对着健身环一通爆改：本来自带手柄的健身环，现在只要玩家不跑动就会自动锁定，只有在跑步时才可以正常移动。

就这样，跑步移动，甩动健身环攻击，用体感瞄准，老哥就实打实地用双脚双手开始了在海拉尔大陆的冒险。

随着技术的革新，进入虚拟世界的除了四肢，也加上了“视觉”——

我们熟悉的虚拟现实（VR）设备开始逐步发展，从最早引入视觉的单一个头显或眼镜，到加入手部动作的手柄，再到VR跑步机的诞生——使得虚拟世界的位移真正成为了可能。

图源：油管主ThrillSeeker视频

这种设备会提供一个底盘和一双特制鞋子，当用户穿着这种鞋子在底盘上跑动时，机器就会将人的方位、速率和里程数据全部记录下来并传输到游戏当中，在虚拟世界中做出对现实反应的真实模拟。

再加上VR跑步机的支架并非手扶，而是通过腰部的一个绑带将人体固定，在保持最大限度的身体自由度的前提下，也不会使用户绊倒。

开头所说的那位在现实世界中跑了35公里，横穿游戏大地图的是一位名叫ThrillSeeker的油管主，他就是通过VR跑步机将自己的四肢和眼睛一起“搬到”了开放世界游戏《上古卷轴5》中。

跑动一共花费了两个多小时，ThrillSeeker虽然是原地跑步，但也结结实实地跑了22英里（约34公里），而VR跑步机底盘“像沙子一样的特殊脚感”，腰部的绑带也使得ThrillSeeker一度形容自己“快晕过去了”。

但在他的全程录播中，所有观众都可以看到那种几乎不可能在现实中存在的奇异场景不断从身边掠过，伴随着ThrillSeeker本人逐渐粗重的跑步喘息，恍然间真的有种虚实难分的感觉。

在完成这趟奇特的旅行之后，ThrillSeeker表示：“感觉整个上古卷轴的世界从未那么鲜活地展现在自己面前。”

现在，人类的主要感官，如视觉、位移等感知方式已经进入了虚拟世界已经出现，而更多的感知手段，如触觉、嗅觉的研究还在继续。

绕开主要的感知方式，还有另外一条研究方向，转向了人体更细节，更深入的交互研究。

比如开头提到的屏幕外比个射击手势，游戏内角色也跟着做出了射箭动作的技术——能跑，能看，能听之后，还要再加入手指的各种花式动作——这就来到了更加细节的手势识别领域。

而靠的就是玩家手上所带的手套。

图源：B站@呜啦啦科技视频号视频

而在手套识别到的信息最终要传到游戏内，总共要经历四个“关口”：

1. 手套中埋有芯片和数据线，用于感知手指的细微动作和移动，得到重要的手指的移动轨迹以及位置信息；

2. 手套与手机通过蓝牙相连，将上述信息输入给手机，手势中装有手势识别算法，用于对输入信息进行解释；

3. 手机通过数据线与手柄相连，将上一步解释完的手势信息与手柄按键一一对应，并激活相应按键；

4. 手柄与电脑通过数据线正常相连，控制游戏角色动作。

对于其中的第三步，手套的开发团队，呜啦啦科技CEO于维佳在接受采访时表示，由于他们这次所玩的游戏《原神》并不开放程序接口，因此要从外部与游戏进行互动，只能采用游戏本来就有的控制器：键盘鼠标或者手柄。

他们在这里选择了后者：即暴力破拆了一个手柄，然后将手柄改造成了自己的输入装置。

”目前基本上手柄能提供的按键功能，我们都能适配，“于维佳介绍道，“所以不管是攻击动作，还是游戏内打开背包、查看地图、跳跃等其他功能都可以通过手势来做。”

而演示视频中负责角色和视角移动的左手，看似握着的是手柄，但实际上开发团队在其中装入了手套芯片，通过芯片上的惯性单元去采集上下左右，以及视角转换的方向数据，所以“本质上也是手套”。

团队中既是开发人员，也是游戏爱好者的成员对此表示：因为人物移动时，通过手柄进行左右滑动才比较符合游戏玩家的直觉，所以就保留了手柄的外形。

而这套设备目前的延迟是500毫秒（0.5秒），对比人体感知的范围（0.8秒）以内，已经算是一个可以让玩家接受的数字。

然而，仅仅是让人类灵活多变的手部姿势进入游戏场景还不够，研究者们还希望玩家的声音，包括生育的内容，声调的高低，声音的响度（大小），甚至是音调的变化（旋律）也能得到虚拟世界的回应。

于是，最早在20世纪80年代，任天堂就推出过一款游戏《北野武的挑战状》，其中一个关卡要连唱3首歌，才能推进剧情；2014年的一部名为吟诵者（In Verbis Vertus）的游戏，则要求玩家必须使用麦克风吟诵咒语，才能在游戏里放出技能；而开头提到的用声音控制小人跳动的游戏，就是一款2017年来自日本的《八分音符酱》。

而原理就是语音识别，也就是让机器对语音数据和文本数据进行分析，然后建立模型，对一些标准型语音形成理解。

这样，在听到规定语音的时候，就能通过语音信号处理、语音特征处理等前端模块进行解码，将声音转化为机器能理解的命令。

图源：网络

研究还在继续深入，并渐渐开始从身体外表进入内里、思维和意识。

来自柏林工业大学的Marius Klug是一名神经科学博士生，导师的主要研究方向是用脑机接口检测大脑的工作负载和注意力，同时他自己又是一位狂热的游戏爱好者。

于是就在去年，他将脑机接口技术与他喜爱的《上古卷轴5》（我们上文提到过的那部开放世界游戏）相结合，给这款游戏的VR版新增了一套修改程序（也就是玩家常说的Mod）。

正如文章开头展示的那样，Mod会接管原版游戏中的魔法系统，使得玩家的魔法值现在根据脑电波数据决定，而脑袋波的数值由一款叫做Muse的脑电波检测头带获得，也就是Marius Klug他头上戴的那个：

最终的效果很不错，不管是上蹿下跑的剧烈运动，还是被什么奇异美景吸引了注意力而转头或分心，人物的魔法值就会下降，打出去的伤害值就会降低，有种真正当法师的感觉。

“制作者绝对是史诗级别的，这让我想到了神经游戏的未来。”

在视频的下方，有一位玩家这样评价道。

就这样，从四肢到视觉，从外表到思维，天才的制作者们将组成人类的“部件”一样一样搬入虚拟世界，而可以预见的是，随着技术的进步，未来还会有更多这样虚实相通的游戏出现。

在今年2月份，微软CEO Satya Nadella在接受采访时表示：

元宇宙本质上与游戏并无区别，都是能够将人物、地点、事物放入物理引擎中，然后相互关联。

他认为，就像大家一直在做的，坐在会议室的桌子上，戴着头盔或者使用全息图这些事情就是游戏，也就是元宇宙。

不过，由于当时正值Meta2021年在VR领域亏损102亿美元，以及微软收购游戏公司暴雪之际，也有不少人对他的这番话表示怀疑，认为Satya更多是在为自家公司未来的游戏计划打广告。

那么，我们也先抛掉花团锦簇的元宇宙的概念，来看看这些搭载了新技术的游戏还做了些什么：

体感游戏里最出名的《健身环大冒险》，在刚推出时因其独特的体感玩法，让一堆游戏宅叫苦连天，不过时间久了，每天跳跳跑跑地玩游戏竟然也搞出了减肥健身的效果。

比如微博上有位视频博主lolo的女朋友爱莉，每天玩2小时《健身环大冒险》，再搭配饮食控制，7周之后通关，体重从48kg减到了44kg。

而上文提到的用来玩游戏的手套，本职其实是翻译残障人士的手语。

如何翻译呢？手套会通过AI算法识别残障人士的手部动作，然后将其意思播报语音，这样就能完成于普通人之间的沟通。

而这项本职的技术难度，甚至比游戏中的应用要高几个层次。于维佳解释道，因为一个最简单的数量问题：我国通用手语共有8500个手势，要精确地识别这些手势，就对手套的识别算法要求极高，他们首先是采用知识驱动的算法完成了几千个词条的翻译和识别。

同时，手语中常常出现两只手配合动作表意的情况，虽然出于成本考虑，手套只有一只，但通过自然语言处理（NLP）等算法，手套能基于上下文语境，对长难句进行推测和识别。

于维佳告诉南都记者，目前这一手语手套已经量产，且已与广东的残联机构和多家特殊教育学校合作。

图源：广东“全国爱耳日”活动报道，听障人士嘉宾佩戴手套演讲

除此之外，那个看似只是游戏迷的一次自娱性质的“脑电波控制魔法伤害”，实际上也不至于此。

开发者的初衷确实是因为市面上现有的带神经反馈的游戏主要面向科研和医疗场景，普遍枯燥无趣，游戏玩家根本不会想要去玩。

但当评论区以为患有自闭症、躁郁症和多动症的玩家留言，表示这款游戏或许有益于自己的病症时，Klug欣然表示：

这就是我想要探索的方向！

市面上用于治疗的神经反馈游戏太无聊了，很多人玩一下就放弃了。也许像《上古卷轴》这样的优秀游戏能让更多人坚持下去。

可以说，这些新的游戏方式在让虚拟世界更加真实，也使得真实世界拥有了更多可能。

而随着技术的不断革新，游戏还在突破虚实边界的路上一路狂奔。

采写：南都见习记者杨博雯

编辑：蒋琳

编辑：蒋琳

对这篇文章有想法？跟我聊聊吧

杨博雯

蒋琳