AI 新聞·2026年11月15日·來源: Dev Community

    Unmute:為無法發聲的深切治療部病人讀取無聲唇語(離線、手提電腦適用)

    一個在 HackUMass 開發的項目,名為 Unmute,為因氣管造口術等情況而無法說話的深切治療部(ICU)病人提供一套系統。該系統使用標準手提電腦鏡頭讀取無聲的唇部動作,並將其轉換為口語句子。開發人員表示 Unmute 可離線操作,無需特殊硬件,並能從個別病人的唇部模式中學習。

    Unmute 解決了深切治療部病人清醒但無法發聲的溝通挑戰。護士經常需要猜測病人的需求,這可能導致疲勞。該系統旨在透過向病人展示 20 個床邊短語中三個最有可能的句子來緩解此問題,病人可以透過觸摸、點頭或眨眼等動作確認。

    該系統的核心功能依賴於兩種技術的結合。它整合了 Auto-AVSR,這是一個開源唇語閱讀器,擁有 2.5 億個參數,並經過 3,000 多小時的影片訓練。Unmute 並非嘗試自由文本轉錄,而是使用此模型來評估固定句子的可能性。這與動態時間扭曲(DTW)匹配器結合使用,該匹配器將新的唇語錄音與現有模板進行比較,並根據說話速度的變化進行調整。

    Unmute 的一個關鍵方面是其自適應學習機制。每次病人確認一個句子時,該特定唇部動作的錄音都會保存為新模板。這個過程使系統能夠根據個人情況進行個性化理解,適應腫脹或不對稱嘴唇等獨特的生理挑戰,從而隨著時間的推移提高準確性。緊急訊息,例如「我無法呼吸」,會觸發即時警報以提醒護理人員。

    分享這篇文章

    原文報道: Dev Community我們不轉載全文, 閱讀原文 →

    相關文章

    6 則