AI智能戒指可翻译手语,准确率近90%
最近有一项研究挺有意思的——通过无线连接AI系统的电子戒指,能把多种手语翻译成文字。

韩国延世大学的Yu Ki Jun教授说了一句很实在的话:"这算是让手语翻译系统变得更加实用、轻便、适合真实环境的重要一步。"
全球目前使用的手语超过300种,许多研究团队都在琢磨怎么搞翻译设备,帮不懂手语的人跟听障人士沟通。可惜,这事没那么好办。
有的项目想用摄像头加计算机视觉算法来识别手势,但这玩意儿基本只能在固定摄像头的受控环境里用,对光线变化和干扰特别敏感。
还有的走的是可穿戴传感器路线,靠检测手部动作或肌肉电信号来识别。这里面比较常见的是智能手套,但问题也明显:戴着容易热、容易出汗,时间长了不舒服。而且手套上的固定传感器没法适应每个人不一样的手掌大小、手指长度和关节位置,识别准确率自然就往下掉。很多可穿戴传感器还得拿根线连着电脑,做动作的时候感觉很受限。就算有些设备终于实现了无线,传感器之间还是靠有线汇聚到同一个发射器上。
现在,延世大学的研究团队搞了一套电子戒指系统,每枚戒指都能把动作数据无线传输到处理设备。跟手套比,戒指可以让传感器灵活定位,更好适应不同用户的手部特征,而且无线连接也让手部动作不再受限制。
Yu Ki Jun教授解释说:"蓝牙低功耗片上系统已经发展到能把完整的无线通信协议栈、电源管理电路和传感模块集成在一块柔性基板上的水平,小到能做成戒指戴在手上。"
这次研究有意思的地方在于,他们分析了每根手指在手语动作中的贡献程度,发现有七根手指起了关键作用。所以,系统只用了七枚戒指,减少了硬件数量。
每枚戒指都配了加速度计作惯性传感器,既能检测静态姿势,也能检测动态手部运动,这样一来就能捕捉到手语里静态和动态成分之间复杂的过渡变化。另外,他们特意不用生物电信号,因为那玩意儿因人而异,需要给每个用户做大量校准,太麻烦了。
在研发过程中,机械可靠性是个大问题。他们最开始用直线型铜互连结构,但反复弯折后几乎断裂。最后还是改用了蛇形图案的互连结构,才扛住了反复的弯曲形变。
研究团队还开发了一套深度学习系统来从手部动作里识别手语。这套系统不仅能识别训练阶段两名参与者的手语,还能识别五名没参与训练的人的手语,说明它有一定的通用性,不需要给每个用户做繁琐的适配。
在对五名没参与训练的受试者测试时,系统对100个常用美国手语词汇和100个常用国际手语词汇的识别准确率,分别是88.3%和88.5%。要知道,之前大多数手语翻译系统的词汇量还不到50个。
延世大学的Dosik Hwang教授对此态度比较谨慎:"200个词汇跟以前那些无线系统比确实是一大进步,但跟包含几千个手势的完整手语词汇库比,还是很小一部分。我不想夸大这套系统在开放词汇、真实对话场景里的实际能力。"
更厉害的是,这套系统不仅能识别单个孤立词汇,还能从连续手语动作里翻译完整句子。研究人员觉得,这有望支持实时翻译应用。
从长远看,Yu Ki Jun教授说:"我们的目标是让系统能跟智能手机这样的日常设备配合使用,不需要专用外部设备。戒指可以把手语信号无线传到移动终端,由设备自动翻译并实时显示,这样技术就更便携、更普及,真正融入日常沟通。"
不过,Hwang教授也指出了现阶段最大的局限性:"我们的系统把手部动作转成文字,但还没有涵盖面部语法、口型、身体姿态和空间语法,这些东西在手语里都有很重要的语法意义。" Yu Ki Jun教授补充说,怎么把这些要素"融入一个无缝衔接、低功耗的架构,同时保持现有设计的轻便性",是未来要面对的重要挑战。
下一步,研究团队打算扩大训练数据规模,纳入更多参与者、更大词汇量,以及更多样的手语风格和地区方言。Yu Ki Jun教授提到:"鉴于我们的机构背景,韩国手语是顺理成章的下一步研究方向。"
他们还希望通过进一步的小型化和功耗优化,把戒指的连续使用时长从目前近12小时延长到全天佩戴。Yu Ki Jun教授说:"一个关键优先事项是把处理流程从外部硬件(比如笔记本电脑)迁移到设备端边缘计算(比如手机)。这个转变不仅是实现真正移动性的必要条件,也有助于保护用户隐私、降低自然对话里的延迟。"
Hwang教授团队计划跟听障社区组织合作,一起推进设备研发。他说:"我们相信,通过纳入真正的使用者,这项技术在功能表现和社会融合两个层面都会得到显著提升。"
除了手语翻译,Hwang教授表示这种新型戒指还有广泛的应用潜力:"我们看到这项技术在手部康复监测、神经系统疾病的精细运动评估,甚至沉浸式虚拟现实和增强现实交互界面等领域都有直接的应用前景。通过在手语这个复杂领域里验证它的有效性,其实我们已经对系统做了全面的压力测试,为未来很多生物医学和交互应用打下了基础。"
这项研究成果已经在5月1日发表在学术期刊《Science Advances》上。
Q&A
Q1:这款AI手语翻译戒指的识别准确率有多高?
A:在对五名没参与系统训练的受试者测试时,系统对100个常用美国手语词汇的识别准确率达到88.3%,对100个常用国际手语词汇的识别准确率达到88.5%。相比之下,之前大多数手语翻译系统支持的词汇量还不到50个,而它已经能识别200个词汇,算是一个显著的进步。
Q2:这套手语翻译戒指为什么选用7枚而不是10枚?
A:研究人员通过分析发现,在手语动作中起关键作用的手指一共有七根,并不是所有十根手指都对手势识别有重大贡献。所以,系统只用了七枚戒指,在保证识别效果的同时,减少了硬件数量,整体方案更轻便实用。
Q3:手语翻译戒指目前有哪些局限性?未来会怎么改进?
A:目前这套系统只能把手部动作转成文字,还不能识别面部语法、口型、身体姿态和空间语法这些在手语里同样有语法意义的要素。另外,系统目前还得靠外部硬件处理数据,连续使用时长大概12小时。未来研究团队计划扩大词汇量、引入更多手语风格,并把数据处理转移到手机等移动设备上,实现全天佩戴和实时翻译。