Meta的新手腕意识到了思想的“控制控制”,并使
栏目:企业动态 发布时间:2025-07-29 08:51
资料来源:DeepTech认为您不必触摸任何设备,一个小手腕的运动,有些脱离空气,您可以...
图 | 论文标题(来源:Meta 论文)资料来源:DeepTech认为您不需要触摸任何设备,小手腕的运动以及某些空气中的行为,您可以无缝地联系您的计算机,手机和周围的智能眼镜。梅塔(Meta)的现实实验室在自然界发表的最新论文中带来了一个新的结果:一种通用的非侵入性神经运动界面,与手腕结合使用时可以使其“控制”成为现实。很长一段时间以来,人们一直没有停止更轻松地追逐 - 理解计算机输入方法。但是,如果它是键盘,鼠标或触摸屏,则用户不可避免地需要直接与物理设备联系,这在移动情况下通常看起来笨拙且令人不快。依靠相机或惯性传感器的动作系统是疯狂的,受环境因素(例如遮挡或光线不足)的影响。为了打破这些局限流行研究领域。元小组将注意力转向了侵入性神经运动界面:基于表面肌电图的技术。简而言之,这是通过阅读肌肉产生的电信号来理解人体的运动指示。照片| SEMG腕带系统图(来源:元)元数已经多年前开始研究这项技术。 2021年,该公司与本文的作者之一托马斯·雷登(Thomas Reardon)组建了一支团队,他在2019年加入了现实实验室,担任神经运动界面的负责人,这首先开发了基于手势的肌电图设备的原型。这些肌电信号实际上是电机单元(MUAP,电动机的潜在动作)的潜在作用的总和。它们就像中枢神经系统释放的微电流命令,它可以通过皮肤并向我们展示大脑如何控制肌肉。与脑电图相比,SEMG信号具有较高的信噪比,这是指S肌肉活动变得更清晰,从而实现实时解码。同时,SEMG信号不会因遮挡,照明不足或较小的运动而受到干扰,并且自然适合人类接触应用。照片| SEMG系统不需要单独的校准才能准确地将信号转换为基于此的命令(原点:元),元研究团队将成立并部署了一个入侵性硬件,这是一种类似腕带的SEMG研究设备(SEMG-RD),用于在脉冲上记录SEMG信号。脉搏被选择为磨损位置,因为人们主要通过手与世界接触,并且脉搏可以覆盖手,腕部和前臂肌肉的塞子。该脉冲是无线的,并且可以调整为各种解剖结构和环境,并且可以在短短几秒钟内佩戴或去除。它通过蓝牙发送数据,并具有大约4个小时的电池寿命。除硬件设备外,研究团队还创建了一个测量的,大型数据收集基础架构。他们已经从成千上万的参与者那里收集了大量数据数据,帮助他们开发了一个学期在个人之间的解码通用模型。照片|三个实验活动(来源:元)实验设计包括三个基本的计算机接触任务:一维连续导航(例如激光笔控制),离散手势检测(脚趾,拇指滑动)和手写转录。参与者戴着SEMG手腕并根据计算机屏幕上的信号执行相应的操作。为了将SEMG信号转换为计算机说明,研究人员是基于深神经网络的结构化和分配的解码模型。对于不同的任务,该模型采用了各种处理技术和网络体系结构:脉冲的工作采用了Tmultivariate频率(MPF,多变量频率)和延长内存(LSTM,长期记忆)层,离散手势ACTivities采用了一维式构造层。此外,研究团队开发了一种时间对齐时间的算法,以解决直接标签和实际手势之间的可能偏差,从而提高了模型培训的准确性。照片| SEMG腕带(原始:Meta)Meta团队回顾了在离线和在线(闭环)上学期的建模模型的性能。离线审核数据显示,对于未参加手写和手势培训的测试参与者,SEMG-RD平台的分类精度超过90%。在脉冲角度解码速度的活动中,误差小于13°S-1。该研究教导说,单个参与者模型在整个课程和整个用户中都面临着总体挑战,并且在不同课程之间的同一参与者模型的性能改善了增加的培训数据。但是概括参与者的能力仍然有限,甚至我NCREAS培训数据只能导致最小的改进。它突出了需要训练大尺寸,不同数据集的一般模型的需求。该模型的性能显示了与训练数据和模型大小的数量的幂律关系,这与大语言模型和视觉变压器的研究结果一致。随着训练中的参与者数量的增加,所有任务的错误错误率都显示出下降趋势。 TheOnline审核数据(闭环)反映了该模型作为计算机接口的实际可行性。该对象对象是首次使用SEMG解码器,没有以前的经验。照片|连续脉冲控制工作中的三个闭环活动(原点:元)的示意图,用户达到了闭合的中位性能每秒获得0.66个目标。在手势的离散活动中,显示了中位性能系统每秒实现0.88个动作检测。按照手写,用户的中位数性能为每分钟20.9个单词(WPM,每分钟单词)。与传统的交互式设备相比,MacBook触摸板的平均时间为0.68秒,完成Nintendo Joy-Con Game Game Game Game Game Co Co的手势中位数为每秒1.45次,而没有字母的笔速度为25.1 WPM,并且SEMG解码器的全部性能远远无法落后。但是,该接口的优点是它不依赖手持设备或外部仪器,这些设备或外部仪器在特定的使用情况下几乎是不可替代的价值。研究小组还指出,参与者将继续改善培训,适当的指导和技能可以帮助用户适应手腕并提高任务的性能。对模型个性化的进一步探索表明,即使整体模型执行正常,该模型在短时间内进行了适当的调整(例如,20分钟)可以提高性能。以字母的字母为例,即使对6400 mparticipant的数据进行了培训,也可以通过仅添加20分钟的个性化数据来提高中位数性能。个性化为参与者带来了更多的相对好处,即通用模型的性能相对较差,从而有效地解决了用户性能的长期影响。为了深入了解离散手势解码器神经网络的内部工作机制,研究人员回顾了这一表示。网络架构由一维卷积层和三个环状LSTM层组成。研究发现,就时空特性而言,第一卷积层的过滤器与穆斯肌肉相似。这表明该模型已经在更具抵抗力的水平上学习了与肌肉电生理活性相关的潜在模式。照片|系统拱门itecture, schematic diagram and anatomical interface comparison diagram of Semg Research Equipment (Source: Meta) Further analysis of LSTM layer representation is found that as the network's depth increases, gesture category information becomes more separate from the representation space, while representations related to "interrupting variables" as part of the part Identification, the position of the wrist, and the gesture-active semgg strength will not change.这意味着,通过研究,网络以更不变的“可变干扰”形式逐渐塑造了SEMG信号的表示,从而增强了作用识别的稳定性。元研究小组指出,这项技术将为未来的人类计算机接触开放许多可能性。首先,SEMG解码器直接看到动作的力量,该功能将无法实现现有的摄像头或操纵杆控件。将来,用户可以通过“思维”来控制设备的强度H作为通过部分肌肉合同来调整体积,而通过更强大的合同却更快地愚蠢。其次,尽管本研究主要显示了尺寸连续控制,但绝对有可能通过添加更多的仿生型映射来实现多度自由的关节控制,例如使用尺骨/径向工资偏差来控制顶点。对运动单元活动的神经反馈,从而探索了小说的“人道象征”,甚至支持人们找出新的运动技能。最后,在临床领域,这种需要最少的肌肉活动而不是特定运动的接触设计将为运动能力有限,肌肉无力或脚部损失的人提供可行的接触计划,并促进有效的闭环神经疗法的发展。长期以来面临SEMG系统的问题和校准的过程,仍有限制和改进空间。未知培训的结果是否对于活动能力有限的人来说通常是普遍的。它可能会限制其在临床,可访问区域中的使用。为了更好地建立SEMG研究,研究小组披露了300名参与者和相关代码的1,060个SEMG笔记。研究人员说,他们未来的工作将着重于提高用户技能,模型优化(包括个性化),后处理技术以及改善硬件感应性能。参考文献:Kaifosh,P.,Reardon,T.R。现实实验室中的CTRL-LAB。通常用于人类计算机接触的非侵入性神经运动界面。大自然(2025)。 https://dii.org/10.1038/s41586-025-09255-whttps://newatlas.com/wearables/met-muse-sear