众所周知,元宇宙只是一个概念,它的实现需要很大的技术支撑,对于进入元宇宙的五大装备Meta已展示了元宇宙领域的一些概念和研究项目,其中一些还挺令人着迷。
1、Reality Labs 触觉手套
Reality Labs 触觉手套致力于人们能在虚拟世界中产生触觉交互。当我们带上手套,并协同运动时,会在虚拟世界中“感觉”到抓住物体、有纹理的表面、甚至是物体的重量和柔软度。
该手套中放置了新设计的软致动器,手套上到处都是软电机。软制动器与软电机一起移动,能为手套佩戴者带来很好的触觉体验。手套还具有微流体芯片,通过控制气流移动执行器。
从技术角度来说,当我们在虚拟世界中捡起羽毛或金属球时,会有不同的“感觉”。目前扎克伯格已体验过戴着触觉手套出现在虚拟现实(VR)中。
Reality Labs 触觉手套的一系列虚拟交互。其中包括操纵虚拟对象,如虚拟球投掷、接球;多人互动,如拇指大战、握手;多人游戏,如虚拟积木。
“在解决 AR 和 VR 中的交互问题方面,双手的价值是巨大的。”Reality Labs 研究总监 Sean Keller 说。
想象一下,与朋友的超逼真 3D 头像一起拼虚拟拼图。当你从桌上拿起一块虚拟拼图时,你可以感觉到它在你手中,手指会自动停止移动。当拿起纸板进行仔细检查时,你能感觉到纸板边缘的锐利度、表面的光滑度,然后你操作纸板时还会发出咔嗒声。
又或者在咖啡馆坐下来工作,有一个虚拟屏幕和键盘出现在你面前。虚拟键盘与手型和可用空间刚好吻合,并且可以个性化设置以满足你的各种喜好。你可以感受到每次击键的点击感,以及指尖上虚拟键的边缘,像在真实键盘上一样轻松打字。
Meta表示,该手套技术已开发七年多,但目前无法进行商业发布。
挑战才刚刚开始,想要构建一种可大规模生产、价格合理的消费设备、让人们可以在任何地方体验任何有形的界面,目前是做不到的。真正的新型触觉手套需要跨许多科学和工程学科的突破性发展。
2、一体式VR头显Project Cambria
VR头显(虚拟现实头盔)是进入元宇宙的关键设备之一。Meta发布了将于明年亮相的下一代一体式VR头显Project Cambria。
在10月底的Connect大会上,Meta表示,Project Cambria既不是Quest 2的替代品,也不是Quest 3,它是一款价格更高的高端设备,它将采用一系列的先进技术,包括优化社交临场感、彩色透视、Pancake光学元件等等。
这款设备将专注于混合现实运用(即增强现实(AR)和VR一起使用,通过操纵杆或手动进行控制),设备将包括实时面部追踪和眼球追踪功能,我们能在元宇宙中表达自己的情绪。
最值得庆幸的是,这款产品不用等待太久。
3、电子触觉皮肤ReSkin
现有的触觉手套方案难以规模化,依然受到成本、耐用性、使用门槛、体积和重量等等因素限制。为了解决这些问题,Meta的AI部门与卡内基梅隆大学的科学家合作,开发出一种名为ReSkin的触觉传感器(厚度仅2-3毫米),也可理解为一种柔性塑料“皮肤”。
ReSkin是一种柔性的触觉传感方案,其采用可变形的弹力材质,内置磁性颗粒,因此在产生变形时,其向周围发射的电磁信号也会改变。接着,可以用磁力计靠近ReSkin来测量电磁信号变化,并通过算法将数据转化为可用的信息,比如:接触的位置、力度等等。
利用葡萄和蓝莓等软水果,对比使用ReSkin(上)和使用自带力传感器(下)的区别,发现利用ReSkin磁信号能够检测来自1mm宽物体的低至0.1牛顿的力。可有效避免抓力过大造成物体变形。
将ReSkin的8个传感模组连一起,增加传感器可增加追踪区域,识别手指在传感器任意区域施加的压力。也就是说未来可以用ReSkin传感器覆盖整个手套,用于提升机器人或体感手套的触觉感知能力。
将ReSkin集成在手套上,追踪用手包包子的力量变化,细微触觉效果足够好
Meta表示,这个全新的材料有望支持元宇宙的开发。
ReSkin成本低、重量轻、体积小、与任意夹持器兼容、可以立即使用。据悉,制造一百件的成本为每件6美元以下,产量越高成本还将越低。它也足够耐用,支持5万次以上交互,而且采样率最高可达400Hz,误差仅1毫米,准确率90%。磨损达到一定程度后,像绷带一样可以轻松更换。
这使得ReSkin成为机器手、触觉手套、宠物鞋垫的理想材质。也就是说,配备ReSkin的这些设备,可以帮助科研人员手机触觉数据,用来培训AI模型。而在此之前,采集相关数据很难,甚至不可能。
4、腕带式AR传感器
每家科技公司都想拥有巨酷的AR眼镜。除了眼镜,你还需要一个传感器与AR中的物体进行交互。
今年三月,Meta推出了可检测手部运动的腕带式AR传感器。通过肌电图(EMG)该设备可检测手腕和手指运动产生的电信号,同时将其转换成命令,你可以用这些命令控制不同的设备。
该公司声称,即使手指移动一毫米也可以检测到信号。未来我们甚至可以感受到手指移动的意图。
(手指移动的意图不是读心术。可以这样想:当你拍了很多照片,然后选择只分享其中的一部分。或者是你有很多想法,你只对其中一些采取行动。当这类情况发生时,大脑会向你的手和手指发送信号,告诉手指移动到你选择的地方,以便执行打字或滑动等等的动作。)
最初,这项技术只能检测诸如捏手指和释放手指之类的手势,后续还会添加了丰富的控制功能,让我们在AR中将能够触摸和移动虚拟对象(UI),这有点像超能力。
除此之外,研究团队还在进一步探索,力图开发在桌子或膝上高速打字的功能,虚拟键盘不仅可以随时使用,而且能够随着时间推移,学习和适应每个人不同的打字风格,并产生适应性的变化,甚至实现更快的打字速度。
FRL团队在个性化模型方面取得了重要进展,使适应个人风格的键盘模型的训练时间得以减少。
FRL团队近期正致力于,探索适应特定环境的自适应界面,实现“智能点击”。无需用户移动视线、浏览菜单,系统通过在不同环境中预测用户意图,主动提供自适应界面,而用户只需轻量级的反馈,就可以进行控制。
我们只需利用一些微手势,无需停止正在做的事,无需分心就能够节省时间。
虚拟弓箭。在手腕传感器的作用下,你能够感到拉弓弦的感觉,让你确信自己正在射箭并判断是否做对了动作。
你还可以根据个性化设置,收到紧急邮件时,手环能发出比收到普通邮件更为强烈的震动;当有电话呼入时,通过不同的触觉反馈,你就能得知对方的身份。甚至,研究人员还补充说:“触觉还能够传达不同的情感,这可能是改善社交沟通的一种新的方式。”
实现这些功能,需要应用机器学习、人机交互、用户界面设计等等技术,目前仍存在许多技术挑战。虽利用超低摩擦的输入方式,能够实现与自适应界面的交互,但是要想对虚拟物体有所感知,还需继续开发触觉技术。
目前,Facebook团队正在构建研究原型,包括拥有8个气动波纹管的Bellowband,以及使用了6个震动触动器和新颖的手腕挤压机制的Tasbi,以进一步探索的触觉反馈的类型。
5、Project Aria AR眼镜
Meta欲争夺AR霸主地位,但它首个概念项目还是相当“温顺”。去年,它推出了代号为Project Aria的增强现实(AR)眼镜。今年,我们更多地了解了这个产品主要归功于其8月曝光的产品报告。
在传感器方面,它有摄像头和三个按钮,用于电源,捕捉和静音。Project Aria设备在日常生活中并不显眼,类似于普通眼镜,但它们具有平台和传感器来捕获用户的视频,音频,位置和眼动追踪。但目前来看只是一款Snap Spectacles的竞争产品。
总之,Facebook在产品手册中再次强调这款AR眼镜目前不是商用产品,最初会先被科研人员用来测试和数据采集,帮助Facebook探索未来穿戴式AR眼镜可能需要配备的传感器等设计。
下一步动向
以上的Project Cambria耳机可能会在明年上市,但像触觉手套的这类的东西可能需要多年时间才能上市。另,Facebook今年早些时候投入了100亿美元资金来开发元宇宙硬件和软件。因此,如果我们很快就看到了令人惊喜的产品,请不要感到惊讶。