電視畫(huà)面中，主持人侃侃而談，一旁的“AI手語(yǔ)主播”同步出鏡，將包含大量冬季體育運(yùn)動(dòng)專(zhuān)業(yè)詞匯的語(yǔ)言一一翻譯……這一幕，發(fā)生在北京冬奧會(huì)期間。在央視新聞冬奧直播特別節(jié)目中，“AI手語(yǔ)主播”的出現(xiàn)讓人眼前一亮，受到不少聽(tīng)障人士的歡迎。
“能將科研成果帶到舉世矚目的冬奧會(huì)上，服務(wù)于電視機(jī)前的聽(tīng)障觀(guān)眾，我們感到十分自豪?！碧旖蚶砉ご髮W(xué)聾人工學(xué)院副院長(zhǎng)袁甜甜告訴記者，“AI手語(yǔ)主播”的背后，隱藏著一個(gè)龐大的手語(yǔ)視頻資料庫(kù)，過(guò)去5年，她帶領(lǐng)學(xué)校鯨言創(chuàng)益無(wú)障礙智能科技研發(fā)團(tuán)隊(duì)克服重重困難，構(gòu)建起30余萬(wàn)條的視頻語(yǔ)料庫(kù)。如今，他們打造的“復(fù)雜場(chǎng)景下中國(guó)手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)”已受到科創(chuàng)領(lǐng)域的不少關(guān)注，在未來(lái)各種應(yīng)用場(chǎng)景下，更多聽(tīng)障人士被“聽(tīng)”見(jiàn)，正在走向可能。
“為什么一定要把手語(yǔ)翻譯成文字或語(yǔ)言呢？現(xiàn)在語(yǔ)音識(shí)別軟件這么多，聽(tīng)障人不會(huì)說(shuō)，打字給健聽(tīng)人看不就行了嗎？” 項(xiàng)目啟動(dòng)之初，不少人曾對(duì)這項(xiàng)研究的必要性提出懷疑?！斑@些語(yǔ)音識(shí)別軟件，邏輯出發(fā)點(diǎn)永遠(yuǎn)繞不開(kāi)健聽(tīng)人，對(duì)聽(tīng)障人來(lái)說(shuō)，他們更渴望的是自己的‘語(yǔ)言’可以被社會(huì)聽(tīng)見(jiàn)、聽(tīng)懂?！痹鹛鹫f(shuō)。
不久前，天津市急救中心工作人員聞?dòng)嵳业皆鹛穑骸澳銈兊捻?xiàng)目能否考慮在急救領(lǐng)域落地，我們太需要了！”在急救工作中，遇到聽(tīng)障人士是常有的事，生死垂危之際，很少有患者還有意識(shí)在手機(jī)上打字，而要求醫(yī)生和急救人員會(huì)手語(yǔ)更不現(xiàn)實(shí)。
“要想讓這套系統(tǒng)應(yīng)用于更多場(chǎng)景，就需要讓語(yǔ)料庫(kù)變得更加豐富?！眻F(tuán)隊(duì)成員、聾人工學(xué)院網(wǎng)絡(luò)工程專(zhuān)業(yè)2018級(jí)學(xué)生王建源的主要工作就是搭建語(yǔ)料庫(kù)，“招募會(huì)手語(yǔ)的志愿者來(lái)錄視頻，反反復(fù)復(fù)地錄?！蓖踅ㄔ唇榻B。兩年時(shí)間里，王建源和伙伴們幾乎每天都會(huì)出現(xiàn)在學(xué)院三樓實(shí)驗(yàn)室，有時(shí)忙到很晚，干脆席地而睡。他們已經(jīng)收集到30余萬(wàn)條語(yǔ)料，“經(jīng)過(guò)測(cè)算對(duì)比，距離中國(guó)漢語(yǔ)水平考試的4級(jí)水平僅差100多個(gè)詞了?！蓖踅ㄔ础罢f(shuō)”完，一旁的顯示屏上準(zhǔn)確顯示出上述文字。
手語(yǔ)是一門(mén)視覺(jué)語(yǔ)言，有它特定的語(yǔ)法、語(yǔ)序。手勢(shì)、表情、肢體動(dòng)作自由排列組合，表達(dá)的是不同的意思?！氨热缯f(shuō)‘陽(yáng)光總在風(fēng)雨后’這句話(huà)，手語(yǔ)的語(yǔ)序是‘風(fēng)/雨/結(jié)束/陽(yáng)光’，讓健聽(tīng)人看得懂，就要用到計(jì)算機(jī)算法?！庇?jì)算機(jī)學(xué)院研一學(xué)生孫悅說(shuō)，在算法模型搭建中，他們漸漸總結(jié)出規(guī)律，能夠?qū)⒁欢问终Z(yǔ)中的手勢(shì)、表情、肢體動(dòng)作全部識(shí)別到位，“通俗地講，就是我們給計(jì)算機(jī)編了一套‘教材’?！痹趯O悅看來(lái)，這套“教材”正是他們找尋的聽(tīng)障人溝通外界的那座“橋”。
“這套系統(tǒng)已經(jīng)涵蓋教育、法律、餐飲、交通等應(yīng)用場(chǎng)景，在光線(xiàn)充足的環(huán)境下，識(shí)別率可達(dá)95%。”袁甜甜說(shuō)，系統(tǒng)還在飛速升級(jí)，“我們目標(biāo)是100萬(wàn)條語(yǔ)料，基本覆蓋社會(huì)生活的常用場(chǎng)景?！?/p>
“溝通永遠(yuǎn)是雙向的，我身邊的這些孩子們不是殘障，他們只是‘不一樣’。我們要做的就是，用科技的力量讓他們被‘聽(tīng)到’、被‘聽(tīng)懂’。”袁甜甜說(shuō)。
