根據(jù)全國(guó)第二次殘疾人抽樣調(diào)查數(shù)據(jù)，我國(guó)約有聽(tīng)障人士2780萬(wàn)人。對(duì)他們來(lái)說(shuō)，激烈的賽事往往“只見(jiàn)其貌，不聽(tīng)其聲”，但他們同樣渴望像普通人一樣，感受體育比賽的激情。
今年的北京冬奧會(huì)上，不少聽(tīng)障人士發(fā)現(xiàn)，賽事新聞中出現(xiàn)了一名面容清秀、氣質(zhì)優(yōu)雅的冬奧新聞AI主播。其精準(zhǔn)的手語(yǔ)手勢(shì)，配合著妙語(yǔ)連珠的解說(shuō)，讓聽(tīng)障人士能與健聽(tīng)人（聽(tīng)力健全人的簡(jiǎn)稱(chēng)）一樣，同步感受冰雪運(yùn)動(dòng)的魅力。
“我們用技術(shù)跨越聲音的障礙，幫助聽(tīng)障人士‘聽(tīng)見(jiàn)’冬奧?！碧旖蚶砉ご髮W(xué)聾人工學(xué)院副院長(zhǎng)、冬奧新聞AI主播的手語(yǔ)數(shù)據(jù)庫(kù)支持團(tuán)隊(duì)負(fù)責(zé)人袁甜甜接受本刊記者采訪(fǎng)時(shí)說(shuō)。
教AI主播打手語(yǔ)
2021年11月，距離北京冬奧會(huì)開(kāi)幕僅剩兩個(gè)多月的時(shí)間，袁甜甜團(tuán)隊(duì)接到一個(gè)緊急任務(wù)——教冬奧新聞AI主播打手語(yǔ)。
雖然有20多萬(wàn)條手語(yǔ)語(yǔ)料庫(kù)作基礎(chǔ)，但團(tuán)隊(duì)依舊感覺(jué)一個(gè)字：“難”。
第一時(shí)間參與其中的教師閔笛對(duì)這一過(guò)程深有體會(huì)。首個(gè)難關(guān)是“冷門(mén)”詞匯。團(tuán)隊(duì)成員們把整理出的新詞形成一定的手語(yǔ)打法，再讓手語(yǔ)專(zhuān)家一一判定聽(tīng)障人士能否看懂。遇到難以用手語(yǔ)表示的詞匯時(shí)，還需多番討論。
“每個(gè)詞至少要經(jīng)歷這樣兩個(gè)來(lái)回，就這樣我們共新增了1000多個(gè)專(zhuān)業(yè)詞匯的手語(yǔ)打法?！遍h笛說(shuō)。
“詞匯關(guān)”克服后，“語(yǔ)法關(guān)”又?jǐn)[在了面前。
“手語(yǔ)具有獨(dú)立的語(yǔ)法體系，而且手語(yǔ)和語(yǔ)言文字并非一一對(duì)應(yīng)，而是多對(duì)多的關(guān)系。這樣復(fù)雜的‘翻譯環(huán)境’，意味著AI主播除了要將語(yǔ)言文字解析成對(duì)應(yīng)的手語(yǔ)詞匯，還得將其調(diào)整順序，轉(zhuǎn)化為聽(tīng)障人士習(xí)慣的手語(yǔ)語(yǔ)序?！遍h笛說(shuō)，團(tuán)隊(duì)只能不斷對(duì)AI主播進(jìn)行“認(rèn)知訓(xùn)練”。
“人工智能深度學(xué)習(xí)的過(guò)程，就像教小孩子學(xué)說(shuō)話(huà)，每一個(gè)詞、每一個(gè)手語(yǔ)動(dòng)作、每一句語(yǔ)序都需要反復(fù)‘學(xué)習(xí)’，人工智能才能建立認(rèn)知，結(jié)果才能實(shí)現(xiàn)精準(zhǔn)無(wú)誤?！痹鹛鹫f(shuō)。
經(jīng)過(guò)大量數(shù)據(jù)采集、語(yǔ)料提取、數(shù)據(jù)處理等步驟后，專(zhuān)屬于北京冬奧會(huì)的AI主播初步打造了出來(lái)。
不過(guò)，“第一次進(jìn)行模擬賽事新聞播報(bào)時(shí)，AI主播的手勢(shì)動(dòng)作非?？?，有點(diǎn)‘鬼畜’?！遍h笛說(shuō)，“對(duì)于激烈的賽事講解，解說(shuō)的語(yǔ)速本就很快，而手語(yǔ)如果和這一語(yǔ)速保持一致的話(huà)，聽(tīng)障人士很難看懂?！?/p>
對(duì)此，團(tuán)隊(duì)又多番對(duì)翻譯思路進(jìn)行調(diào)整。
六年磨一劍
功夫不負(fù)有心人，冬奧新聞AI主播終于如期亮相。其準(zhǔn)確的翻譯、親切自然的形象很快獲得了聽(tīng)障人士的喜愛(ài)。
今年22歲的王曉陽(yáng)，是聾人工學(xué)院大三的學(xué)生。作為一名聽(tīng)障學(xué)生，他既參與了冬奧新聞AI主播“學(xué)習(xí)”手語(yǔ)的全過(guò)程，也是冬奧賽事的忠實(shí)“聽(tīng)眾”，每天準(zhǔn)時(shí)上線(xiàn)，“盯著”AI主播的手語(yǔ)播報(bào)。
“就怕‘她’沒(méi)學(xué)好，怕‘她’出錯(cuò)！”王曉陽(yáng)用手語(yǔ)解釋。但令他欣慰的是，聽(tīng)障朋友們紛紛發(fā)來(lái)信息，告訴他AI主播的手語(yǔ)“看得清楚、清晰”?！笆终Z(yǔ)打得很漂亮，我們?yōu)樽约候湴??！币慌缘耐瑢W(xué)魏翔羽用手語(yǔ)補(bǔ)充。
“能以服務(wù)聽(tīng)障朋友的方式參與北京冬奧會(huì)，我們感到無(wú)比自豪?！痹鹛饘?duì)本刊記者說(shuō)，“團(tuán)隊(duì)收到很多反饋意見(jiàn)，這些寶貴的意見(jiàn)將推動(dòng)我們不斷迭代升級(jí)?！?/p>
其實(shí)，通過(guò)技術(shù)手段讓聽(tīng)障人士“聽(tīng)見(jiàn)”健聽(tīng)人的想法，袁甜甜從6年前就開(kāi)始醞釀。
“我2016年來(lái)到學(xué)院當(dāng)老師，與聽(tīng)障學(xué)生接觸的過(guò)程中，發(fā)現(xiàn)他們最渴望也最懼怕的就是與健聽(tīng)人交流。因?yàn)橛杏?jì)算機(jī)專(zhuān)業(yè)背景，所以我想到通過(guò)技術(shù)改變這種現(xiàn)狀?！痹鹛鹫f(shuō)，六年來(lái)，從她一人摸索，到僅有一名聽(tīng)障學(xué)生加入，再到成立無(wú)障礙智能科技研發(fā)團(tuán)隊(duì)，如今團(tuán)隊(duì)的核心成員已達(dá)50多人，其中不少是“00后”聽(tīng)障學(xué)生。
隨著團(tuán)隊(duì)發(fā)展壯大，技術(shù)難關(guān)層層攻破，AI主播亮相冬奧成為該團(tuán)隊(duì)實(shí)現(xiàn)技術(shù)落地應(yīng)用的“第一步”。
把手語(yǔ)變成文字
“不僅要讓聽(tīng)障人士‘聽(tīng)見(jiàn)’，還要讓他們被‘聽(tīng)懂’?！痹鹛鸨硎?，冬奧賽事之外，團(tuán)隊(duì)一直在不懈探索。
“會(huì)手語(yǔ)的健聽(tīng)人實(shí)在太少了。有人說(shuō)，聽(tīng)障人士可以通過(guò)寫(xiě)字、打字的方式進(jìn)行交流，但那樣溝通的有效性差很多。聽(tīng)障人士自然的表達(dá)方式是手語(yǔ)，為什么不直接識(shí)別手語(yǔ)呢？”袁甜甜團(tuán)隊(duì)研發(fā)出了“復(fù)雜場(chǎng)景下中國(guó)手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)”，可將輸入的手語(yǔ)動(dòng)作和表情經(jīng)由計(jì)算機(jī)視覺(jué)技術(shù)識(shí)別后翻譯成文字或語(yǔ)音。
“這類(lèi)似于手語(yǔ)版的‘語(yǔ)音輸入法’?！痹鹛鹫f(shuō)。但語(yǔ)音識(shí)別只需收集“聲音”，手語(yǔ)的表達(dá)方式則意味著團(tuán)隊(duì)要把手勢(shì)、表情、大肢體動(dòng)作等從視頻轉(zhuǎn)化為數(shù)據(jù)，再“教”給計(jì)算機(jī)，經(jīng)過(guò)反復(fù)訓(xùn)練，才能“教出”一個(gè)隨叫隨到、及時(shí)準(zhǔn)確的“手語(yǔ)翻譯”。
“目前，我們實(shí)現(xiàn)了在光線(xiàn)充足且穩(wěn)定的室內(nèi)，系統(tǒng)對(duì)手語(yǔ)的識(shí)別率最高達(dá)95%，部分場(chǎng)景下可以實(shí)現(xiàn)‘同步翻譯’?！痹鹛鹱院赖卣f(shuō)，只要在攝像頭前打出手語(yǔ)，顯示屏上就會(huì)出現(xiàn)語(yǔ)意連貫的文字翻譯。
“信息技術(shù)對(duì)我們的幫助很大?！蓖鯐躁?yáng)用手語(yǔ)說(shuō)，以前與健聽(tīng)人交流，他總覺(jué)得不安，有了這些技術(shù)手段，讓他更有勇氣融入社會(huì)。據(jù)介紹，該系統(tǒng)可用于教育、法律咨詢(xún)、餐飲、交通多個(gè)場(chǎng)景。
2021年5月，袁甜甜在第五屆世界智能大會(huì)的現(xiàn)場(chǎng)展示了這一翻譯系統(tǒng)，吸引了不少人駐足。演示人員在攝像頭前打出手語(yǔ)，身后的顯示屏上就會(huì)出現(xiàn)語(yǔ)意連貫的文字翻譯。
“一些銀行從業(yè)人員、超市經(jīng)理對(duì)我說(shuō)，如果這一系統(tǒng)實(shí)現(xiàn)產(chǎn)業(yè)化落地，能夠幫助他們解決很多實(shí)際問(wèn)題。那一刻，我深切地感受到，不僅僅是聽(tīng)障人士，社會(huì)對(duì)手語(yǔ)翻譯系統(tǒng)也有很強(qiáng)烈的需求?！痹鹛鹫f(shuō)。
值得一提的還有，依托“復(fù)雜場(chǎng)景下中國(guó)手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)”，袁甜甜指導(dǎo)學(xué)生創(chuàng)業(yè)團(tuán)隊(duì)開(kāi)發(fā)出“鯨可語(yǔ)”項(xiàng)目，代表天津理工大學(xué)拿下了第七屆中國(guó)國(guó)際“互聯(lián)網(wǎng)+”大學(xué)生創(chuàng)新創(chuàng)業(yè)大賽總決賽高教主賽道的金獎(jiǎng)。
談及“鯨可語(yǔ)”，袁甜甜講訴了“52赫茲鯨”的故事——海洋中，發(fā)出15-25赫茲之間的鯨魚(yú)可以正常交流，而叫聲頻率為52赫茲的鯨魚(yú)在其他鯨魚(yú)眼中就像“聾啞魚(yú)”。
“我們希望用技術(shù)把‘52赫茲鯨’與其他鯨魚(yú)連起來(lái)，讓它們不再孤單?！痹鹛鹫f(shuō)。
