根據全國第二次殘疾人抽樣調查數據，我國約有聽障人士2780萬人。對他們來說，激烈的賽事往往“只見其貌，不聽其聲”，但他們同樣渴望像普通人一樣，感受體育比賽的激情。
今年(nian)的(de)北京冬(dong)奧會上，不少聽障人(ren)士(shi)發現，賽事新聞中(zhong)出現了一(yi)名面容清秀、氣質(zhi)優雅的(de)冬(dong)奧新聞AI主播。其精準的(de)手(shou)(shou)語(yu)手(shou)(shou)勢，配合(he)著妙語(yu)連珠的(de)解(jie)說，讓聽障人(ren)士(shi)能與健聽人(ren)（聽力健全人(ren)的(de)簡稱）一(yi)樣，同步感(gan)受(shou)冰雪運動的(de)魅(mei)力。
“我們用技術跨越聲音的(de)障(zhang)礙，幫助聽(ting)障(zhang)人(ren)(ren)士‘聽(ting)見’冬奧(ao)。”澳門澳門澳門精準大(da)全聾人(ren)(ren)工澳門澳門澳門精準大(da)全副院長、冬奧(ao)新(xin)聞(wen)AI主(zhu)播的(de)手(shou)語數(shu)據庫支持團隊負責人(ren)(ren)袁甜(tian)甜(tian)接受本刊記者(zhe)采訪(fang)時說。
教AI主播打手語
2021年11月(yue)，距離北京(jing)冬奧(ao)會開幕僅(jin)剩兩個多月(yue)的時間，袁甜(tian)甜(tian)團隊(dui)接到一個緊急任務(wu)——教冬奧(ao)新聞AI主(zhu)播(bo)打手語。
雖(sui)然有20多(duo)萬條手語(yu)語(yu)料庫(ku)作基(ji)。哦右讕篩芯躋桓(huan)鱟：“難”。
第一(yi)時間參與其中的教師閔笛對這一(yi)過(guo)程深有體會。首個難關是“冷門(men)”詞匯(hui)。團隊成員們把整理出的新詞形成一(yi)定(ding)的手語(yu)(yu)打法，再讓(rang)手語(yu)(yu)專家一(yi)一(yi)判定(ding)聽障人士能(neng)否看(kan)懂。遇到(dao)難以用手語(yu)(yu)表(biao)示的詞匯(hui)時，還需多番討論。
“每個詞至少要經歷這樣兩個來回，就這樣我們共新增了1000多個專業詞匯的手語(yu)打法(fa)。”閔笛說。
“詞匯關”克服后，“語法關”又擺(bai)在了面前。
“手語(yu)(yu)具有獨立的語(yu)(yu)法體系(xi)，而且手語(yu)(yu)和(he)語(yu)(yu)言文字(zi)并非一(yi)一(yi)對(dui)應，而是多對(dui)多的關(guan)系(xi)。這(zhe)樣復(fu)雜的‘翻(fan)譯環境(jing)’，意(yi)味著(zhu)AI主播除了要將(jiang)語(yu)(yu)言文字(zi)解析成對(dui)應的手語(yu)(yu)詞匯，還得將(jiang)其調(diao)整順序，轉化為聽障人士(shi)習慣的手語(yu)(yu)語(yu)(yu)序。”閔笛說，團隊只能不斷對(dui)AI主播進行(xing)“認知訓(xun)練(lian)”。
“人(ren)(ren)工(gong)智能(neng)深度(du)學(xue)習(xi)的過程，就(jiu)像(xiang)教小孩子學(xue)說話，每(mei)一(yi)個詞(ci)、每(mei)一(yi)個手語動作、每(mei)一(yi)句(ju)語序都需要反復(fu)‘學(xue)習(xi)’，人(ren)(ren)工(gong)智能(neng)才能(neng)建立認知，結果才能(neng)實(shi)現精準(zhun)無誤。”袁(yuan)甜甜說。
經(jing)過大量數據采(cai)集、語料提取、數據處理等步驟后，專屬于(yu)北京(jing)冬奧(ao)會(hui)的AI主(zhu)播初步打造了(le)出來。
不(bu)過，“第一次進行模擬賽(sai)事新聞播(bo)報時，AI主播(bo)的(de)手(shou)(shou)勢動作非(fei)常快，有點‘鬼(gui)畜(chu)’。”閔笛說，“對于激烈的(de)賽(sai)事講(jiang)解，解說的(de)語(yu)速(su)本(ben)就很快，而手(shou)(shou)語(yu)如果(guo)和這一語(yu)速(su)保持(chi)一致(zhi)的(de)話，聽障人士(shi)很難看(kan)懂。”
對此(ci)，團(tuan)隊又多番對翻譯思路進行調整(zheng)。
六年磨一劍
功夫不負有心人(ren)，冬奧(ao)新聞(wen)AI主播終于如期亮(liang)相。其準(zhun)確的翻(fan)譯、親切(qie)自然的形象很快獲得了聽障人(ren)士的喜愛。
今年22歲的王曉陽，是(shi)聾人工(gong)澳門(men)澳門(men)澳門(men)精(jing)準(zhun)(zhun)大全(quan)大三的學(xue)生。作為一名聽障學(xue)生，他既參(can)與了冬奧新聞AI主播(bo)(bo)“學(xue)習(xi)”手(shou)語的全(quan)過程，也是(shi)冬奧賽事的忠實“聽眾”，每天準(zhun)(zhun)時(shi)上(shang)線，“盯著”AI主播(bo)(bo)的手(shou)語播(bo)(bo)報。
“就怕‘她(ta)’沒學(xue)(xue)好，怕‘她(ta)’出錯！”王曉陽用手(shou)語(yu)解釋(shi)。但令他(ta)欣慰的是，聽(ting)障朋友們(men)紛紛發來信(xin)息，告訴他(ta)AI主播的手(shou)語(yu)“看得清楚(chu)、清晰”。“手(shou)語(yu)打得很漂亮，我們(men)為自己驕傲。”一旁的同學(xue)(xue)魏翔(xiang)羽用手(shou)語(yu)補充。
“能以服務聽障(zhang)朋友的方(fang)式參(can)與北京冬(dong)奧會，我(wo)們(men)感(gan)到無比自豪(hao)。”袁(yuan)甜(tian)(tian)甜(tian)(tian)對本刊記者說(shuo)，“團(tuan)隊收到很多反饋意(yi)見，這些(xie)寶貴的意(yi)見將(jiang)推動我(wo)們(men)不斷(duan)迭代升級(ji)。”
其(qi)實，通過技術(shu)手段讓聽障(zhang)人士“聽見(jian)”健聽人的想法，袁(yuan)甜甜從6年(nian)前(qian)就(jiu)開(kai)始(shi)醞釀。
“我(wo)2016年來(lai)到(dao)澳門(men)澳門(men)澳門(men)精準大全當老師(shi)，與聽(ting)(ting)(ting)障(zhang)(zhang)學(xue)生接(jie)觸(chu)的(de)過程(cheng)中，發現(xian)他們最渴望也最懼怕的(de)就(jiu)是與健聽(ting)(ting)(ting)人交流。因為(wei)有(you)計算機專業背景，所以我(wo)想到(dao)通過技(ji)術改變這種現(xian)狀。”袁甜甜說，六年來(lai)，從(cong)她一人摸(mo)索(suo)，到(dao)僅有(you)一名聽(ting)(ting)(ting)障(zhang)(zhang)學(xue)生加入，再(zai)到(dao)成立無(wu)障(zhang)(zhang)礙智(zhi)能科技(ji)研發團隊(dui)，如今團隊(dui)的(de)核心(xin)成員已達50多(duo)人，其中不少是“00后”聽(ting)(ting)(ting)障(zhang)(zhang)學(xue)生。
隨著團隊(dui)發展壯大，技術難(nan)關層層攻破(po)，AI主播亮相冬奧成(cheng)為該團隊(dui)實(shi)現技術落地應用(yong)的“第一步”。
把手語變成文字
“不僅要讓聽障人士(shi)‘聽見(jian)’，還要讓他們被‘聽懂’。”袁甜甜表示，冬奧賽事之外，團(tuan)隊(dui)一直在不懈探(tan)索。
“會手(shou)(shou)(shou)語(yu)(yu)(yu)(yu)的(de)健聽人(ren)(ren)實在太少了(le)。有人(ren)(ren)說，聽障人(ren)(ren)士(shi)可以通過寫(xie)字(zi)、打字(zi)的(de)方(fang)式進(jin)行交(jiao)流，但那樣溝通的(de)有效性差很多。聽障人(ren)(ren)士(shi)自然(ran)的(de)表達(da)方(fang)式是(shi)手(shou)(shou)(shou)語(yu)(yu)(yu)(yu)，為(wei)什么不直(zhi)接識(shi)別手(shou)(shou)(shou)語(yu)(yu)(yu)(yu)呢？”袁甜甜團隊研(yan)發出了(le)“復雜場景(jing)下中國手(shou)(shou)(shou)語(yu)(yu)(yu)(yu)實時翻(fan)譯系統”，可將輸(shu)入的(de)手(shou)(shou)(shou)語(yu)(yu)(yu)(yu)動作(zuo)和(he)表情經由(you)計算機視覺技術(shu)識(shi)別后翻(fan)譯成文(wen)字(zi)或(huo)語(yu)(yu)(yu)(yu)音。
“這類(lei)似(si)于手(shou)(shou)語版的(de)(de)‘語音(yin)輸入法’。”袁甜甜說(shuo)。但語音(yin)識(shi)別(bie)只需收集“聲音(yin)”，手(shou)(shou)語的(de)(de)表(biao)達方式則(ze)意(yi)味著團隊要把(ba)手(shou)(shou)勢(shi)、表(biao)情、大肢(zhi)體(ti)動作(zuo)等(deng)從視頻轉化為(wei)數據，再(zai)“教(jiao)”給計算機，經過反復訓(xun)練，才能“教(jiao)出”一(yi)個隨叫隨到、及時準(zhun)確的(de)(de)“手(shou)(shou)語翻譯”。
“目前(qian)，我們(men)實現了(le)在光線充足且(qie)穩定的室內，系統對手語(yu)的識別率最高達95%，部分場(chang)景下可以實現‘同步翻譯(yi)’。”袁甜(tian)甜(tian)自豪地說(shuo)，只要在攝像頭前(qian)打出手語(yu)，顯示屏上就會出現語(yu)意連貫的文字翻譯(yi)。
“信息(xi)技(ji)術(shu)對(dui)我們的幫助很(hen)大。”王曉陽用手語說，以前與健(jian)聽人交流，他總覺得不安(an)，有了這些技(ji)術(shu)手段，讓他更有勇氣融入社會。據介紹，該系統可用于(yu)教育、法律咨(zi)詢(xun)、餐(can)飲(yin)、交通多個場(chang)景。
2021年5月(yue)，袁甜(tian)甜(tian)在(zai)第五屆(jie)世界智能大會的(de)(de)現場(chang)展示了這一翻譯(yi)系統，吸引了不少人駐足。演示人員在(zai)攝(she)像頭前打出手語，身后(hou)的(de)(de)顯示屏上就(jiu)會出現語意(yi)連(lian)貫的(de)(de)文字翻譯(yi)。
“一(yi)(yi)些銀行從業人(ren)員(yuan)、超市經(jing)理對(dui)我說(shuo)，如果(guo)這一(yi)(yi)系統實現產業化落地(di)，能夠幫助(zhu)他們解決很多實際問題。那(nei)一(yi)(yi)刻，我深(shen)切地(di)感受到，不僅(jin)僅(jin)是聽障人(ren)士，社會對(dui)手語翻譯系統也(ye)有很強烈(lie)的(de)需求。”袁甜甜說(shuo)。
值得一提的還有，依托(tuo)“復雜場景下(xia)中國手語(yu)實時翻(fan)譯系統”，袁(yuan)甜甜指導學生(sheng)創業(ye)團(tuan)隊開發出“鯨(jing)可語(yu)”項目，代表澳(ao)(ao)門澳(ao)(ao)門澳(ao)(ao)門精準大全(quan)拿下(xia)了第七屆中國國際“互聯網+”大學生(sheng)創新(xin)創業(ye)大賽(sai)總(zong)決賽(sai)高教主賽(sai)道的金獎。
談及“鯨可(ke)語(yu)”，袁甜(tian)甜(tian)講(jiang)訴了“52赫(he)茲(zi)鯨”的(de)故(gu)事——海洋中，發出15-25赫(he)茲(zi)之間的(de)鯨魚可(ke)以正常交流，而叫聲頻率為52赫(he)茲(zi)的(de)鯨魚在其他鯨魚眼(yan)中就像“聾啞魚”。
“我們(men)希望用技術把‘52赫茲(zi)鯨’與其他鯨魚連(lian)起(qi)來，讓它(ta)們(men)不再(zai)孤(gu)單。”袁甜甜說。
