AI 新闻·2026年11月15日·来源: Dev Community

    Unmute:为无法发声的重症监护室患者读取无声唇语(离线、笔记本电脑适用)

    一个在 HackUMass 开发的项目,名为 Unmute,为因气管切开术等情况而无法说话的重症监护室(ICU)患者提供一套系统。该系统使用标准笔记本电脑摄像头读取无声的唇部动作,并将其转换为口语句子。开发人员表示 Unmute 可离线操作,无需特殊硬件,并能从个体患者的唇部模式中学习。

    Unmute 解决了重症监护室患者清醒但无法发声的沟通挑战。护士经常需要猜测患者的需求,这可能导致疲劳。该系统旨在通过向患者展示 20 个床边短语中三个最有可能的句子来缓解此问题,患者可以通过触摸、点头或眨眼等动作确认。

    该系统的核心功能依赖于两种技术的结合。它整合了 Auto-AVSR,这是一个开源唇语阅读器,拥有 2.5 亿个参数,并经过 3,000 多小时的视频训练。Unmute 并非尝试自由文本转录,而是使用此模型来评估固定句子的可能性。这与动态时间扭曲(DTW)匹配器结合使用,该匹配器将新的唇语录音与现有模板进行比较,并根据说话速度的变化进行调整。

    Unmute 的一个关键方面是其自适应学习机制。每次患者确认一个句子时,该特定唇部动作的录音都会保存为新模板。这个过程使系统能够根据个人情况进行个性化理解,适应肿胀或不对称嘴唇等独特的生理挑战,从而随着时间的推移提高准确性。紧急消息,例如“我无法呼吸”,会触发即时警报以提醒护理人员。

    分享这篇文章

    原文报道: Dev Community我们不转载全文, 阅读原文 →

    相关文章

    6 则