微软公开VR触觉研究 现实版《头号玩家》来了

斯皮尔伯格的《头号玩家》上映，男主持人可以通过触觉手套和X1体感服与虚拟世界真正互动。除了电影之外，如何在虚拟现实中获得触觉以及如何更自然地互动是当前研究者最关心的问题。最近，微软研究团队发布了四个最新的虚拟现实研究成果:爪、触觉轮、触觉链接、触觉控制器，可以更好地帮助用户“触摸”虚拟场景中的物体，充分体验虚拟世界的奇妙。

尽管虚拟现实和现实技术在过去的30年里取得了巨大的进步——它们已经能够为用户提供奇妙的视觉和3D听觉世界，当我们触摸这些虚拟物体时，幻觉会瞬间破灭，用户触摸的唯一东西就是空气。

虚拟触摸难以实现的原因有很多。看过这部电影的人都知道，眼睛和耳朵会被每秒24帧的电影欺骗，但是触摸是非常不同的，它更复杂。实现虚拟触摸的部分挑战来自硬件。在实验室里，通常很难设计出适合个人用户的手持设备。目前，许多原型设备只能模拟特定的感觉，如纹理、温度或重量。这种设备通常没有吸引力。然而，更复杂的机械技术可能导致设备太贵、太大或太脆弱，无法在消费市场上出现。

微软研究团队一直在探索如何利用现有技术在手持虚拟现实控制器上模拟和产生各种触觉，让用户能够触摸和抓住虚拟物体，并感受到指尖在物体表面的滑动。他们的梦想是让用户能够以更加自然和元的方式与虚拟数字世界互动。

爪

爪是微软研究团队开发的第一款新型多功能触觉控制器。爪通过使用单个电机将虚拟现实控制器的概念扩展到多功能触觉反馈工具。爪有一个独特的机械臂，当用户握住手柄并转动手指时，它可以模拟力反馈(如下图所示)。

图1:(左)爪的配置和组件；(右)爪模拟用户抓取物体并触摸虚拟物体的表面

作为一个多功能控制器，爪包括普通虚拟现实控制器的所有功能(拇指按钮和操纵杆，6*度(*度)控制，食指触发)，以及最常见的手交互的各种触觉渲染:抓取物体，触摸虚拟表面，以及接收力反馈。

爪的独特之处还在于，它可以通过感知用户的抓握和虚拟环境之间的差异来调整触觉再现。当用户试图握住虚拟物体时(如下图所示)，设备将在食指和拇指之间产生阻力，模拟物体被握住的感觉。嵌入食指支撑的力传感器允许用户通过改变电机的反馈来“感觉”物体的不同材料。

如果用户握住手柄并做一个指向的手势(如下图所示)，爪将提供一种触摸的感觉。当指尖向虚拟物体表面移动时，爪会产生阻力，将手指向后推，防止手指穿透虚拟物体表面。此外，当食指沿着虚拟表面滑动时，安装在食指尖端下方的音圈产生微小振动，以模拟物体表面结构的触感。

感知用户施加的力也可以帮助用户与虚拟物体交互。例如，在虚拟绘画程序中，该程序可以通过感应用户手的力量来调整画笔的力量。

触觉轮

为了进一步模拟食指在虚拟物体的材料和表面摩擦上的触觉体验，微软还开发了另一种新的触觉控制器，即快乐轮。快乐轮使用的驱动轮通过上下移动模拟手指与虚拟物体表面之间的接触，并模拟用户通过旋转沿虚拟表面滑动时产生的剪应力和滑动感。

当用户触摸虚拟物体表面时，滚轮将上升并接触指尖，然后开始旋转以模拟指尖和虚拟物体表面之间的摩擦。

图2:(左)当用户将手指悬停在滚轮的蓝色区域表面上时，渲染引擎将适当的滚轮表面移动到手指下方；(中间)当用户接近虚拟环境中黑色区域的边缘时，渲染引擎会转动滚轮，使黑色边缘接近手指时的材质相同。(右)当手指悬停在较小的黑色表面上时，渲染引擎会调整滚轮的增益，以正确模拟手指触摸两个边缘的感觉。

该设备的旋转轮是可替换的，并且可以包含各种物理触觉元件，以便在探索虚拟环境时为用户提供不同的感觉。当用户探索虚拟环境时，渲染引擎将根据环境向手指传递适当的触觉。例如，在虚拟纸牌游戏中，当用户触摸纸牌、扑克筹码或桌子时，设备旋转轮盘以在指尖下呈现适当的质感。当用户沿表面滑动时，*将在手指下旋转，产生剪切力和滑动感。

图3:在不同的虚拟环境中，触觉轮用不同的触觉定制*

触觉链接

在触觉探索中，另一个难题是如何在虚拟现实或增强现实应用中模拟双手的使用。例如，双手拿着一个盒子，感受它的大小，或者用双手感受弓和箭的拉力。

图4:在虚拟环境中模拟用户手的工具

触觉链接由几种类型的连接器组成，可以在两个手持虚拟现实控制器之间提供不同的刚度感觉。触觉链接可以动态地改变用户双手之间的力，以支持双手使用的各种对象的渲染和与人的交互，使控制器的行为像双手使用的工具。它们可以限制控制器之间运动的特定*度或方向，也可以设置在一定的刚度范围内，以模拟不同的摩擦、粘度或张力。通过这些方式，“快乐链接”使得虚拟现实场景中的互动更加真实，给人一种身临其境的感觉。

微软已经制作了三个快乐链接的原型设备。每种设计都有自己的权衡和优势，使其最适合特定的应用。链条原型(图5)使用由球窝元件组成的高度铰接的链条。一根结实的缆绳穿过整个链条，并在每一端与线性致动器相连。通过推杆电机的运动来控制链条的松紧，进而控制使用者的操作空间。

图5:快乐链接的三种不同原型设备

层铰链(图5中左侧)使用球形关节来调节控制器和铰链的旋转，以控制它们之间的距离。它的优点是，当控制器移动时，它可以有选择地锁定*度。此外，还可以相对精确地控制各关节的摩擦力，使该装置能够模拟铰链和球窝关节在一定范围内的连续刚度值。

棘齿铰链(图5中的右侧)在控制器的底部使用了类似的球形接头，但是用双棘齿结构代替了铰链，双棘齿结构可以独立地制动向内或向外的运动。当两个棘轮啮合时，齿轮是固定的；当两个棘轮脱开时，齿轮可以*转动。当棘轮脱离时，齿轮可以在一个方向*移动，但不能在相反的方向。方向选择性函数可以实现独特的力反馈交互作用。

触觉链接可以提高需要两只手在虚拟环境中操作的对象的感知真实性，而不会对两个控制器的正常交互产生太大影响。

Canetroller

“传统的”虚拟现实体验本质上是强烈的视觉化，因此视觉障碍者通常不能使用它。微软研究院开发的拐杖原型希望视障人士也能在虚拟环境中使用拐杖来引导盲人。

Canetroller提供三种类型的反馈:(1)由可穿戴和可编程制动器产生的物理阻力——模拟虚拟手杖触摸虚拟物体；(2)振动触觉反馈-模拟当手杖撞击物体或跨越不同表面时产生的振动；(3)3D听觉反馈——模拟现实世界中手杖发出的声音。

图6:一个盲人正在使用拐杖

Canetroller使低视力和盲人能够在不同的虚拟空间进行模拟盲导训练，以降低他们在日常环境中的风险。微软希望这项工作将激励研究人员和设计人员设计更有效的工具，使虚拟现实更具包容性，考虑到世界各地的不同群体。

微软研究团队在虚拟触觉方面的这些创新，一方面希望激发其他研究人员的想象力，另一方面也希望给视障人士等特殊群体带来新的应用和希望，帮助他们提高生活质量。此外，研究人员希望这些创新能够鼓励更多的消费品使用触觉再现技术。我相信触觉产品将很快使虚拟现实和现实产品更加逼真和身临其境。