今年5月，世(shi)界智能大會(hui)現(xian)(xian)。桓觥笆(ba)鐘锝(de)恰蔽瞬簧偃俗ぷ。只(zhi)要在(zai)攝像頭前打出(chu)手(shou)語(yu)，身(shen)后的顯示屏上就會(hui)出(chu)現(xian)(xian)語(yu)意連貫的文字翻譯(yi)。這套由澳門(men)澳門(men)澳門(men)精(jing)(jing)準(zhun)大全(quan)聾人工澳門(men)澳門(men)澳門(men)精(jing)(jing)準(zhun)大全(quan)和計算(suan)機澳門(men)澳門(men)澳門(men)精(jing)(jing)準(zhun)大全(quan)共同參與研(yan)發的“復雜場景下中國手(shou)語(yu)實(shi)(shi)(shi)時翻譯(yi)系統”（下簡(jian)稱“手(shou)語(yu)實(shi)(shi)(shi)時翻譯(yi)系統”），已(yi)經覆蓋了(le)教育、法律(lv)咨詢、餐飲、交(jiao)通(tong)幾大應用場景，在(zai)光線充足穩定(ding)的室(shi)內，識(shi)別率最高能達到95%，部分(fen)場景下可以實(shi)(shi)(shi)現(xian)(xian)“秒翻”。
王建源(yuan)是(shi)研發團隊的(de)(de)(de)成(cheng)員之一。他(ta)是(shi)聾(long)人(ren)家庭長(chang)大的(de)(de)(de)聾(long)兒，聽力損失嚴重，吐字發聲非(fei)常困難，手語是(shi)他(ta)和這個(ge)世界打(da)(da)交道最(zui)(zui)初(chu)也(ye)最(zui)(zui)有(you)效(xiao)的(de)(de)(de)方(fang)(fang)式。一路(lu)長(chang)到22歲(sui)，聾(long)人(ren)的(de)(de)(de)身份不曾讓(rang)他(ta)感(gan)到自卑；口不能言，也(ye)沒耽誤他(ta)長(chang)成(cheng)一個(ge)妥(tuo)妥(tuo)的(de)(de)(de)“學霸”；但如果你問他(ta)，因為(wei)聽力障礙，從小到大遇到過(guo)哪些方(fang)(fang)面的(de)(de)(de)不便(bian)，他(ta)會平靜地在手機上打(da)(da)出(chu)四(si)個(ge)字：方(fang)(fang)方(fang)(fang)面面——因為(wei)認識手語的(de)(de)(de)人(ren)太少了(le)。
一個最典型的(de)(de)(de)例(li)子是看。綣揮惺鐘(zhong)鋟肱闋，即便(bian)只是頭(tou)疼腦熱，像王建源這樣(yang)的(de)(de)(de)“手語族”也很難(nan)獨自(zi)就醫——絕(jue)大多數醫生不會手語，你不能要求一個病人在急診室里，用手寫或打字的(de)(de)(de)方式，條(tiao)分縷析地快速描(miao)述(shu)自(zi)己的(de)(de)(de)癥狀(zhuang)。
袁(yuan)甜甜是王(wang)建(jian)源的(de)老師，也是“手(shou)語實時翻譯(yi)系統(tong)”項(xiang)目團隊的(de)負(fu)責人(ren)。2006年研(yan)究(jiu)生(sheng)一(yi)畢業，她(ta)就在聾人(ren)工(gong)澳(ao)(ao)(ao)(ao)門(men)(men)澳(ao)(ao)(ao)(ao)門(men)(men)澳(ao)(ao)(ao)(ao)門(men)(men)精(jing)準(zhun)大全計(ji)算(suan)機系工(gong)作。15年來，袁(yuan)甜甜記不清有(you)多少次，凌晨一(yi)兩點鐘(zhong)接到澳(ao)(ao)(ao)(ao)門(men)(men)澳(ao)(ao)(ao)(ao)門(men)(men)澳(ao)(ao)(ao)(ao)門(men)(men)精(jing)準(zhun)大全的(de)電話，讓她(ta)陪學生(sheng)去看。錈ψ鍪鐘(zhong)鋟(qin)。如(ru)今，她(ta)已(yi)經是澳(ao)(ao)(ao)(ao)門(men)(men)澳(ao)(ao)(ao)(ao)門(men)(men)澳(ao)(ao)(ao)(ao)門(men)(men)精(jing)準(zhun)大全的(de)副院長，帶聽障生(sheng)上醫(yi)院依然(ran)是她(ta)和澳(ao)(ao)(ao)(ao)門(men)(men)澳(ao)(ao)(ao)(ao)門(men)(men)澳(ao)(ao)(ao)(ao)門(men)(men)精(jing)準(zhun)大全所有(you)老師的(de)職(zhi)責。
她不怕(pa)辛苦，就怕(pa)自(zi)己的(de)手語(yu)水平耽(dan)誤事。袁(yuan)甜甜是健(jian)聽人(ren)（聽力健(jian)全人(ren)的(de)簡稱），手語(yu)是走上教(jiao)職之后自(zi)學的(de)，她常常自(zi)嘲說，在語(yu)言方面天賦有限，“我是個(ge)‘半顫子’（天津(jin)方言，指半吊子、不熟練）手語(yu)翻譯。學生描述的(de)情(qing)況一(yi)復(fu)雜(za)，或(huo)者(zhe)打手語(yu)的(de)速度太快，我就只能看懂一(yi)部分了(le)。”
聽(ting)障(zhang)大學(xue)生自立(li)自強、想方設(she)法(fa)克(ke)服身體上的(de)不(bu)便，特(te)教老師盡職盡責、苦練(lian)手語(yu)為(wei)殘疾人(ren)事業無私奉獻——如果要講一(yi)個勵志故(gu)事，這(zhe)樣的(de)情(qing)節就足夠了。但(dan)袁甜甜和(he)王建(jian)源們顯(xian)然更想講一(yi)個“科幻故(gu)事”：他(ta)們想教計算機學(xue)手語(yu)，讓機器代替人(ren)，成為(wei)隨叫(jiao)隨到、及(ji)時準確的(de)“手語(yu)翻譯”。
袁甜甜學計算(suan)機(ji)出身，王建源的專業是網絡工(gong)程(cheng)，他們篤(du)信，依靠科技的力量可(ke)以(yi)幫(bang)助中國2780萬聾人(ren)(ren)，乃至更多有需要(yao)的人(ren)(ren)，克服生活(huo)上(shang)的種種不便。他們想讓手語(yu)實時翻譯系統化作一(yi)道橋梁，無(wu)論是聽障者(zhe)還是健聽人(ren)(ren)，都可(ke)以(yi)通過它無(wu)障礙地交流。
這個目標聽起來(lai)宏大，想(xiang)實現也(ye)很難(nan)，但他們還是決定動手(shou)試(shi)試(shi)看。
新的橋梁
幫(bang)助聾(long)人與健聽人交流(liu)，前一座已經建(jian)成的“技術之橋(qiao)”，是語音識別。
2007年，曾任(ren)中聾(long)人(ren)(ren)協(xie)會副主席的富志偉，發(fa)表了一(yi)篇題為《我看“聾(long)人(ren)(ren)信息(xi)無障礙(ai)”》的學術文章。他在文中寫道：“我期(qi)望將(jiang)來(lai)能研制出一(yi)種機(ji)器，它可(ke)以和現在的微(wei)型攝像機(ji)一(yi)樣大(da)。歡聳淙肟謨(mo)，另一(yi)端小屏幕上即顯(xian)示文字……等(deng)到這(zhe)種機(ji)器問世，聾(long)人(ren)(ren)信息(xi)無障礙(ai)環(huan)境將(jiang)大(da)大(da)改觀。”
十幾(ji)(ji)年后回看(kan)這段話，會發現富志偉(wei)期待中的機器(qi)，和(he)如今智(zhi)能手(shou)機上常見(jian)的語(yu)(yu)音識(shi)別應用，幾(ji)(ji)乎一模一樣。語(yu)(yu)音識(shi)別技術的受益者，也(ye)已不限于聽障群體(ti)——看(kan)看(kan)身邊(bian)有(you)多少人在(zai)用語(yu)(yu)音輸(shu)入法就知道了。
袁甜(tian)甜(tian)帶領團隊研(yan)發的(de)“手語(yu)(yu)實時(shi)翻(fan)譯系統”，就類似于手語(yu)(yu)版(ban)的(de)“語(yu)(yu)音輸入法”。只不過后者是(shi)輸入語(yu)(yu)音、機器識(shi)別(bie)、轉成文字，而(er)前者是(shi)輸入手語(yu)(yu)動作和表情(qing)、機器識(shi)別(bie)，再翻(fan)譯成文字——“老橋”與“新(xin)橋”，相似又不同。
袁甜甜沒想(xiang)到，“老(lao)橋”的存在竟然會(hui)成(cheng)為(wei)項目團隊建設“新橋”的“阻力”。
“為什(shen)么(me)一定要搞(gao)手(shou)(shou)語(yu)翻譯(yi)呢？聾人聽不到(dao)，現在(zai)有(you)語(yu)音識別。∮械牧瞬換崴禱(dao)，拿手(shou)(shou)機打字不就行了(le)(le)(le)嗎(ma)？”曾(ceng)經有(you)一些企業向(xiang)袁甜甜了(le)(le)(le)解過正在(zai)開發(fa)中的手(shou)(shou)語(yu)實時翻譯(yi)系統，想(xiang)談(tan)(tan)投資。但談(tan)(tan)來談(tan)(tan)去，他(ta)們卻對項目的必(bi)要性產生(sheng)了(le)(le)(le)質(zhi)疑，覺得(de)(de)手(shou)(shou)語(yu)翻譯(yi)除了(le)(le)(le)“做善事(shi)”沒有(you)其他(ta)意義。類似的話聽得(de)(de)太(tai)多，快人快語(yu)的袁甜甜有(you)點兒急(ji)了(le)(le)(le)，“那(nei)要這么(me)說，當(dang)初(chu)搞(gao)什(shen)么(me)微信呢？就用短信不一樣嗎(ma)？搞(gao)什(shen)么(me)語(yu)音識別呢，就直(zhi)接打字唄(bai)？很多創新(xin)都有(you)傳統形式上的替代(dai)品，那(nei)科技就別進步(bu)了(le)(le)(le)唄(bai)？”
袁甜(tian)(tian)甜(tian)(tian)說，直到(dao)今天，手(shou)(shou)語(yu)仍然是(shi)許多(duo)聽障(zhang)(zhang)人(ren)士(shi)最自然、高效(xiao)的表達方式(shi)，“比(bi)寫字、打字都快。”但為了(le)促進(jin)無障(zhang)(zhang)礙交流，要(yao)(yao)求健聽人(ren)都去學(xue)手(shou)(shou)語(yu)，顯然不現(xian)實。人(ren)類(lei)要(yao)(yao)掌握(wo)一門語(yu)言，總會(hui)受到(dao)認知水平(ping)、記憶力等各方面的限制，“我們的手(shou)(shou)語(yu)實時翻(fan)(fan)譯系統，就(jiu)是(shi)要(yao)(yao)解決這個問題。”袁甜(tian)(tian)甜(tian)(tian)有著(zhu)典型的工科思維，遇到(dao)難題，第一反應就(jiu)是(shi)思考(kao)能(neng)不能(neng)從技術層面突破(po)。“我感覺如果技術到(dao)了(le)那兒，機器(qi)的記憶力和它的學(xue)習能(neng)力，要(yao)(yao)比(bi)人(ren)強很多(duo)。所以要(yao)(yao)是(shi)能(neng)讓機器(qi)學(xue)會(hui)手(shou)(shou)語(yu)，它肯定比(bi)我這種‘半顫子’手(shou)(shou)語(yu)翻(fan)(fan)譯管用多(duo)了(le)。”
目前，手語實(shi)時(shi)翻譯系統還(huan)處于(yu)試用階段。理想(xiang)狀態下，等(deng)到(dao)研究成果真正(zheng)落地(di)，健聽人只要(yao)打(da)開手語翻譯程序，就能和“手語族”直(zhi)接交流了。
但對(dui)袁甜甜和(he)年輕的(de)(de)研發團隊來說，想達到這個(ge)“理想狀(zhuang)態”并不容易(yi)。作(zuo)為深度參與項目的(de)(de)聽障生，王建源和(he)聾(long)人工澳(ao)門(men)澳(ao)門(men)澳(ao)門(men)精(jing)準大全(quan)計算機專業(ye)的(de)(de)烏力杰在(zai)手語識別、翻譯技(ji)術上投入的(de)(de)精(jing)力越來越多。他倆開過一個(ge)向全(quan)社(she)會推廣、普(pu)及手語的(de)(de)微信公眾(zhong)號，如(ru)今已(yi)經一年半沒顧上更新了。當初辦(ban)公眾(zhong)號的(de)(de)時候，他們的(de)(de)想法是，要打開一扇窗，讓聾(long)人被“看見”。而現在(zai)，他們忙著造橋(qiao)，想讓聽障者被“聽懂”。
手語之美
除了聽(ting)障生，“手(shou)語(yu)(yu)實時(shi)翻譯系(xi)統”項目團隊中也(ye)有健聽(ting)人(ren)。無論是(shi)不是(shi)手(shou)語(yu)(yu)的日常使用者，他們之(zhi)間有個(ge)共識：手(shou)語(yu)(yu)是(shi)一門(men)很美的語(yu)(yu)言。
袁甜(tian)(tian)甜(tian)(tian)對手(shou)語之美的(de)(de)直觀感受，都來自(zi)她的(de)(de)學生。袁甜(tian)(tian)甜(tian)(tian)的(de)(de)母校是(shi)天津師范大學，當老師是(shi)她唯一(yi)的(de)(de)職(zhi)業(ye)目(mu)標(biao)，但(dan)她沒有特教(jiao)專業(ye)背景，平時打的(de)(de)手(shou)語，一(yi)部分是(shi)自(zi)己照著書(shu)學的(de)(de)，另一(yi)部分是(shi)在和聽障生的(de)(de)日常交流中(zhong)逐漸掌握的(de)(de)。剛入職(zhi)的(de)(de)時候，澳門澳門澳門精準(zhun)大全的(de)(de)老教(jiao)師還夸(kua)她，“挺厲害。簧(huang)轄蔡ň透腋然(ran)
袁甜甜有(you)著典型的老(lao)天津(jin)人性格，心腸熱、說話直(zhi)，她坦言(yan)當初苦練手語(yu)(yu)，心里也沒存(cun)著“為殘疾人教育事業貢獻力量”這樣的遠(yuan)大理想。只(zhi)是覺得，既然(ran)要當老(lao)師，教的又是聽(ting)障(zhang)生，手語(yu)(yu)就(jiu)是上課必備的工具，“你(ni)不敢‘比(bi)畫’就(jiu)永遠(yuan)學不會，永遠(yuan)沒法跟(gen)孩子們無障(zhang)礙溝通，對吧？”
就(jiu)這樣一(yi)(yi)(yi)邊用一(yi)(yi)(yi)邊學(xue)，她發現聾人日常使(shi)用的(de)(de)(de)自(zi)然手語(yu)(yu)，遠(yuan)不(bu)止“照(zhao)著書比畫”這么簡(jian)單。它(ta)有(you)自(zi)己的(de)(de)(de)語(yu)(yu)序和語(yu)(yu)法，口語(yu)(yu)里說(shuo)“滅火”，滅在火之(zhi)前(qian)，而(er)學(xue)生們打(da)手語(yu)(yu)時，會先比出(chu)“火”——起了“火”，再去“滅”；它(ta)有(you)獨特(te)的(de)(de)(de)空間(jian)感，同樣一(yi)(yi)(yi)個掌心向下，五(wu)指(zhi)由聚(ju)到散(san)，模擬光源的(de)(de)(de)手勢(shi)，在室內打(da)意(yi)思(si)是(shi)燈，在室外打(da)就(jiu)可以指(zhi)代太陽；同樣一(yi)(yi)(yi)句(ju)話，來(lai)自(zi)五(wu)湖四海的(de)(de)(de)學(xue)生，可能打(da)出(chu)好幾種不(bu)同的(de)(de)(de)“方(fang)言”版(ban)本；手語(yu)(yu)的(de)(de)(de)表達方(fang)式更是(shi)豐富，要(yao)(yao)打(da)出(chu)一(yi)(yi)(yi)個意(yi)思(si)完整的(de)(de)(de)句(ju)子，不(bu)光靠(kao)手勢(shi)，也要(yao)(yao)配合相應的(de)(de)(de)表情，還需要(yao)(yao)加上肢體動作……
“真的(de)是一(yi)門(men)很美的(de)語(yu)言(yan)！”袁甜(tian)甜(tian)說(shuo)，直(zhi)到今天，她和學生用(yong)手(shou)(shou)語(yu)交談(tan)，有(you)時候(hou)還(huan)會愣神，覺得他們“身上有(you)光”。而親眼看(kan)過王建源、烏力(li)杰打手(shou)(shou)語(yu)的(de)人，就會承(cheng)認(ren)袁甜(tian)甜(tian)的(de)感受并不夸張。
王建(jian)源生在(zai)青島一(yi)個聾(long)人(ren)(ren)家庭，父母(mu)都是聽障人(ren)(ren)士。2018年考進聾(long)人(ren)(ren)工(gong)澳(ao)(ao)門(men)澳(ao)(ao)門(men)澳(ao)(ao)門(men)精準大全網絡工(gong)程專業之前，他(ta)一(yi)路都在(zai)聾(long)校接受教(jiao)育。
小時候，父親就(jiu)像其他(ta)家長教(jiao)孩子說(shuo)話(hua)一(yi)樣(yang)(yang)(yang)，帶著王建源(yuan)認認真真地(di)練習手(shou)(shou)語(yu)。父親并不(bu)(bu)認為那是(shi)一(yi)門“特殊(shu)”的(de)語(yu)言，“他(ta)覺得普通話(hua)能字正(zheng)腔圓(yuan)、抑揚頓挫，手(shou)(shou)語(yu)同樣(yang)(yang)(yang)能夠大(da)開大(da)合、詼諧幽默。”父母對手(shou)(shou)語(yu)的(de)坦然(ran)態度，影響了王建源(yuan)。他(ta)從(cong)不(bu)(bu)避諱在公開場合使用手(shou)(shou)語(yu)，也從(cong)不(bu)(bu)隱藏(zang)自己的(de)聾人(ren)身份。在他(ta)看來，手(shou)(shou)語(yu)就(jiu)是(shi)手(shou)(shou)語(yu)，不(bu)(bu)是(shi)某種“殘疾的(de)外顯”。聾人(ren)可(ke)以用它表達內心的(de)想(xiang)法，而健聽人(ren)，只(zhi)要掌握了這門語(yu)言，同樣(yang)(yang)(yang)可(ke)以用它來交(jiao)流(liu)——手(shou)(shou)語(yu)和其他(ta)任何語(yu)言一(yi)樣(yang)(yang)(yang)，是(shi)破除障(zhang)礙(ai)(ai)、溝通彼此(ci)的(de)工具，它可(ke)以是(shi)橋梁(liang)、是(shi)紐帶，唯獨不(bu)(bu)該(gai)是(shi)障(zhang)礙(ai)(ai)本身。
烏力杰(jie)是來自(zi)青海的蒙古(gu)族小(xiao)伙，“家在茶(cha)卡(ka)鹽湖邊上”——除了(le)精通手語(yu)，他(ta)也(ye)可(ke)以用口語(yu)交流，只是聲音有些沙(sha)啞低沉。
比(bi)起同年入(ru)學的(de)(de)王建源，烏力杰(jie)的(de)(de)求學經(jing)歷(li)要更復雜些。小學階段(duan)，他靠助(zhu)聽(ting)器(qi)和讀唇的(de)(de)本領(ling)，與健聽(ting)孩(hai)子(zi)一道讀過(guo)三年普校(xiao)，“三年都是全(quan)班第一”。那段(duan)經(jing)歷(li)鍛煉了他的(de)(de)適應性和口語(yu)表達(da)能(neng)力。后(hou)來，他離開青海，在武漢第二聾(long)(long)(long)校(xiao)完成(cheng)高(gao)中(zhong)學業(ye)，通過(guo)單考單招來到(dao)澳(ao)門澳(ao)門澳(ao)門精準大全(quan)。這樣的(de)(de)成(cheng)績(ji)在家族同輩的(de)(de)孩(hai)子(zi)中(zhong)“笑傲(ao)群雄”，更讓他堅(jian)信“聾(long)(long)(long)人也不比(bi)誰差(cha)”。他一度直接把“Deaf-無(wu)音”用(yong)作(zuo)自己的(de)(de)微信昵稱——在英文中(zhong)，Deaf就有(you)聾(long)(long)(long)人的(de)(de)意思。
無論是學(xue)專(zhuan)業課(ke)、推廣手語還是做科研(yan)，這(zhe)個古銅色皮膚的(de)蒙古族青年有股“一馬(ma)當先(xian)”的(de)闖勁兒(er)，“海倫·凱勒能做到的(de)事情，我們為什么(me)做不到？”
技術之難
王建源(yuan)(yuan)和烏(wu)力杰是(shi)受袁(yuan)甜(tian)甜(tian)邀請加入項目團隊(dui)的(de)。2019年，他(ta)倆才(cai)上大(da)二，就(jiu)被(bei)委以(yi)重任，負(fu)責收集手(shou)語(yu)語(yu)料，撰(zhuan)(zhuan)寫(xie)(xie)符合自然(ran)手(shou)語(yu)語(yu)法、語(yu)序的(de)句子。手(shou)語(yu)是(shi)一門視(shi)覺性語(yu)言(yan)，基于這一特點，“撰(zhuan)(zhuan)寫(xie)(xie)”的(de)過(guo)程不(bu)是(shi)通過(guo)手(shou)寫(xie)(xie)或打(da)字輸(shu)入，而是(shi)以(yi)錄制視(shi)頻(pin)的(de)方式完成的(de)——王建源(yuan)(yuan)、烏(wu)力杰以(yi)及團隊(dui)中其他(ta)聽(ting)障生的(de)重要工(gong)作之一，就(jiu)是(shi)對(dui)著攝(she)像頭反復(fu)打(da)手(shou)語(yu)。
為什么是他們？
因為手(shou)(shou)語實時(shi)翻譯技術之難，恰恰源于手(shou)(shou)語之美(mei)：
獨立的(de)(de)(de)語(yu)(yu)法體系，意(yi)味(wei)著團隊研發出的(de)(de)(de)系統(tong)，除了要(yao)(yao)將(jiang)單個手(shou)(shou)(shou)語(yu)(yu)詞匯的(de)(de)(de)意(yi)思識(shi)別(bie)出來，還得把手(shou)(shou)(shou)語(yu)(yu)語(yu)(yu)序轉(zhuan)(zhuan)化(hua)為健(jian)聽(ting)人(ren)習(xi)慣(guan)的(de)(de)(de)漢語(yu)(yu)語(yu)(yu)序，把手(shou)(shou)(shou)語(yu)(yu)的(de)(de)(de)“火滅(mie)”調整成“滅(mie)火”，才(cai)算完(wan)成翻譯(yi)；獨特的(de)(de)(de)空間感，意(yi)味(wei)著高度相(xiang)似的(de)(de)(de)手(shou)(shou)(shou)語(yu)(yu)動作(zuo)(zuo)，在不同的(de)(de)(de)環(huan)境中(zhong)，可(ke)能有不同的(de)(de)(de)譯(yi)法，計算機(ji)要(yao)(yao)學(xue)著區分“屋外的(de)(de)(de)太陽，屋里的(de)(de)(de)燈”；豐富的(de)(de)(de)表(biao)達方式，意(yi)味(wei)著手(shou)(shou)(shou)語(yu)(yu)識(shi)別(bie)不像語(yu)(yu)音識(shi)別(bie)那樣，只需收集“聲音”這一(yi)種“學(xue)習(xi)資料”，要(yao)(yao)把人(ren)工智能訓練成一(yi)個合格的(de)(de)(de)手(shou)(shou)(shou)語(yu)(yu)翻譯(yi)，得把手(shou)(shou)(shou)勢、表(biao)情(qing)、大肢(zhi)體動作(zuo)(zuo)，通(tong)通(tong)從視頻轉(zhuan)(zhuan)化(hua)為數據，再“教”給計算機(ji)。所以，能充分理解、展示手(shou)(shou)(shou)語(yu)(yu)之美的(de)(de)(de)聽(ting)障生(sheng)，是最適(shi)合給人(ren)工智能當“老(lao)師”的(de)(de)(de)人(ren)。
王(wang)建源(yuan)和烏力杰“教(jiao)機器”學手語的本事，來自“教(jiao)人”。
盡管年紀(ji)輕，他(ta)們的手語(yu)教學經驗卻可謂豐富。剛上大一(yi)，他(ta)們就(jiu)(jiu)發現，對(dui)手語(yu)心存偏見的人(ren)不在(zai)少數。不止健聽人(ren)，即(ji)使在(zai)聽障生內部，也有很多同學，因為從(cong)小就(jiu)(jiu)受“打手語(yu)就(jiu)(jiu)是(shi)承認自己有殘(can)疾”“要像‘正常人(ren)’一(yi)樣講話”等觀點影響，對(dui)手語(yu)懷有抵觸(chu)情緒。
因此，入(ru)學沒多久，王(wang)建源和烏(wu)力(li)杰就開(kai)始通過(guo)澳門澳門澳門精(jing)準(zhun)大全(quan)的手(shou)語(yu)社團、通過(guo)他們的微信(xin)公號、通過(guo)短視頻平臺，通過(guo)線(xian)(xian)下、線(xian)(xian)上各種渠道(dao)開(kai)班授課。像所有(you)教(jiao)語(yu)言的老師那樣，講(jiang)語(yu)法、單詞、句型……兩(liang)個人(ren)甚至開(kai)始研究起更“超綱”的手(shou)語(yu)語(yu)言學知識：在王(wang)建源的書包里，一本《手(shou)語(yu)動詞研究》和專業課教(jiao)材揣在一起，有(you)時間他就掏出來看兩(liang)眼。烏(wu)力(li)杰干(gan)脆跑去參加了(le)中國殘聯主(zhu)辦(ban)的國家(jia)通用手(shou)語(yu)骨干(gan)教(jiao)師培訓(xun)班，畢業考核的時候，還拿了(le)個總成績第一。
一開始，他們做這一切，只(zhi)是想給(gei)這門語(yu)(yu)言(yan)“正(zheng)名(ming)”，想告(gao)訴(su)大家：手(shou)語(yu)(yu)有它(ta)的特性，但(dan)絕不“特殊”，手(shou)語(yu)(yu)和(he)它(ta)的使(shi)用者一樣(yang)，都是普通的、正(zheng)常(chang)的。他們并(bing)沒有預料到，那(nei)些(xie)為了教人學手(shou)語(yu)(yu)做的“額外功課”，會和(he)他們各自的專業(ye)知識相結合，成為教“AI”學手(shou)語(yu)(yu)的利器。
“我們(men)的聽(ting)障生知道手語(yu)(yu)的語(yu)(yu)法(fa)結構，還有它的一(yi)些基本要素(su)，比如說臉上的表情(qing)到什(shen)么(me)程度算是(shi)表達到位(wei)了，什(shen)么(me)時候該用上肢(zhi)體(ti)語(yu)(yu)言了，他們(men)都明白。所以他們(men)做數(shu)據(ju)收集(ji)、處理方面的工作，有天然優勢(shi)。”袁(yuan)甜(tian)(tian)甜(tian)(tian)很看重聾人(ren)在項目團隊中發(fa)揮的作用，“咱要是(shi)叫沒用過手語(yu)(yu)的健(jian)聽(ting)人(ren)來(lai)收集(ji)數(shu)據(ju)、建(jian)語(yu)(yu)料(liao)庫的話，那可真是(shi)費勁了！”
因為缺少聾人的(de)參與，在手(shou)(shou)(shou)語(yu)識(shi)別(bie)和翻譯技(ji)(ji)術領域，各國學界都走(zou)過彎(wan)路：比(bi)如嘗試通過數據手(shou)(shou)(shou)套建立(li)手(shou)(shou)(shou)語(yu)語(yu)料庫(ku)。作(zuo)為一種(zhong)常(chang)見的(de)傳(chuan)感器，數據手(shou)(shou)(shou)套在手(shou)(shou)(shou)勢(shi)識(shi)別(bie)技(ji)(ji)術上的(de)應用已經相對成(cheng)熟——盡管成(cheng)本高昂，但用手(shou)(shou)(shou)套來(lai)收(shou)集“手(shou)(shou)(shou)勢(shi)”，看起(qi)來(lai)理所當然，準確率也該有保(bao)證(zheng)。只可惜手(shou)(shou)(shou)語(yu)不是簡單的(de)手(shou)(shou)(shou)勢(shi)：拋開表(biao)情和大動作(zuo)不談，即便是同(tong)樣(yang)的(de)手(shou)(shou)(shou)勢(shi)，指向稍有不同(tong)，也可能意(yi)思迥(jiong)異(yi)，這樣(yang)微妙(miao)的(de)差異(yi)，手(shou)(shou)(shou)套是識(shi)別(bie)不出來(lai)的(de)。
意識到這一點，近年來(lai)各國推進的(de)手語(yu)識別、翻(fan)譯項目，大(da)多采用(yong)計算(suan)機(ji)視覺的(de)方法(fa)，利用(yong)攝像(xiang)頭收集(ji)數據、建立語(yu)料庫，袁(yuan)甜甜和(he)她的(de)團隊也是(shi)如(ru)此(ci)。現階段更常見(jian)的(de)問題，一是(shi)收集(ji)的(de)樣本(ben)太(tai)少(shao)，數據集(ji)不夠大(da)。二是(shi)數據集(ji)建起來(lai)了(le)，但沒能對語(yu)料進行高質量(liang)篩選(xuan)和(he)標注。說白了(le)，就(jiu)是(shi)語(yu)料“不好(hao)使”。
袁甜甜說，人工(gong)智能深度學習(xi)的過程(cheng)，有(you)點像教小孩(hai)學說話，一(yi)個(ge)單(dan)詞先得全(quan)家(jia)上陣，翻來覆去地(di)重(zhong)復，次(ci)數夠了，孩(hai)子才能建立印象(xiang)，“哦，這(zhe)個(ge)單(dan)詞叫媽(ma)媽(ma)，不管是(shi)從(cong)爸爸嘴(zui)里說出來，姥姥嘴(zui)里說出來，還是(shi)舅(jiu)舅(jiu)、阿姨說出來，都叫媽(ma)媽(ma)。”同樣的，要讓機器識別一(yi)個(ge)手(shou)語句子，也(ye)要有(you)足夠多(duo)的人面(mian)對攝(she)像頭，以(yi)不同的風格重(zhong)復打同一(yi)套動作，計算機才能“記住”。
很(hen)多(duo)國外團隊建立(li)的手(shou)語(yu)數據集(ji)無(wu)法支(zhi)持復(fu)雜場景下的手(shou)語(yu)翻譯，一個直接的原因(yin)，就是(shi)無(wu)法找到(dao)足夠(gou)多(duo)的人(ren)在自然狀態(tai)下采集(ji)手(shou)語(yu)。“而我們的團隊背靠聾人(ren)工澳門澳門澳門精準大全，很(hen)多(duo)成員本身(shen)就是(shi)手(shou)語(yu)使用者，在自然手(shou)語(yu)的采集(ji)上(shang)有優勢(shi)。”袁甜甜說。
“但(dan)是(shi)(shi)跟您實(shi)話實(shi)說，我們也(ye)建過‘不(bu)好使’的(de)(de)數(shu)據集。”袁甜(tian)甜(tian)直(zhi)接給團隊(dui)2018年建立的(de)(de)手(shou)(shou)勢漢(han)語(yu)(yu)數(shu)據集下(xia)了定義，“花了錢、費了功夫，最(zui)后挺失敗(bai)的(de)(de)”——失敗(bai)之(zhi)處在于，那一(yi)次(ci)他們收集的(de)(de)語(yu)(yu)料是(shi)(shi)手(shou)(shou)勢漢(han)語(yu)(yu)而不(bu)是(shi)(shi)自(zi)然(ran)手(shou)(shou)語(yu)(yu)。手(shou)(shou)勢漢(han)語(yu)(yu)是(shi)(shi)按照健聽人習慣(guan)的(de)(de)漢(han)語(yu)(yu)語(yu)(yu)序(xu)，而不(bu)是(shi)(shi)手(shou)(shou)語(yu)(yu)語(yu)(yu)序(xu)連詞成(cheng)句(ju)的(de)(de)。
“比如說，‘愛(ai)(ai)是(shi)我們共同(tong)的(de)語言’。這個句子(zi)用(yong)手(shou)(shou)(shou)勢漢語來打(da)的(de)話，就是(shi)按順序一個字一個字地比畫，‘的(de)’也有(you)對應的(de)手(shou)(shou)(shou)勢，也要打(da)出(chu)來。但聾(long)人日常使用(yong)手(shou)(shou)(shou)語的(de)時(shi)候，慣(guan)用(yong)的(de)語序是(shi)：愛(ai)(ai)、我們、共同(tong)、語言、是(shi)，‘的(de)’不用(yong)打(da)。我這個‘半(ban)顫子(zi)’手(shou)(shou)(shou)語，講(jiang)課的(de)時(shi)候也不會把‘的(de)’‘了’都打(da)出(chu)來，那不符合(he)自(zi)然手(shou)(shou)(shou)語的(de)表達習慣(guan)。”袁甜甜解釋。
“你(ni)把手(shou)勢漢語翻(fan)譯得再精準也沒(mei)用，聾人平時打的(de)不(bu)是這(zhe)個。 奔橙(cheng)×私萄，這(zhe)一次再建(jian)手(shou)語數(shu)據集，袁甜甜說，他們(men)不(bu)求速成，只求每條語料都是原汁(zhi)原味(wei)的(de)自然手(shou)語。先按手(shou)語語序識(shi)別、再按口語習慣翻(fan)譯，雖然多了(le)一個技(ji)術(shu)環(huan)節，團隊(dui)研發的(de)難度也就長了(le)一截，袁甜甜們(men)卻(que)堅持要選(xuan)擇那(nei)條“難走但正確”的(de)路徑(jing)。
“咱(zan)做這個研究，不想(xiang)跟(gen)人吹我(wo)們(men)的數據集有多(duo)大(da)，也不想(xiang)說我(wo)們(men)發了多(duo)么高大(da)上的論文(wen)，我(wo)們(men)就一個目的：能用(yong)。”袁甜甜斬釘截鐵，“這個系統(tong)出來(lai)了，聾(long)人必須真的能用(yong)。”
收獲之年
對(dui)于袁甜甜和她的團隊來說(shuo)，2019年和2021年是(shi)兩個關鍵的時(shi)間節點。2019年，是(shi)他們的初(chu)創(chuang)之年，“手語(yu)實(shi)時(shi)翻譯系(xi)統”入選國家(jia)工(gong)信部新(xin)一(yi)代人工(gong)智能產業創(chuang)新(xin)揭榜項目，獲得(de)了(le)2000萬的資金支持。袁甜甜很高興，一(yi)方面(mian)是(shi)因為國家(jia)對(dui)無障礙(ai)建設的重視讓她欣慰，另一(yi)方面(mian)，數據采集、技術研發、成果落地也(ye)確實(shi)是(shi)處處都要花(hua)錢(qian)。
2021年，則可(ke)以說是團隊的收獲之(zhi)年。
閆思(si)伊(yi)到現在還記得，今年年初她第一(yi)(yi)(yi)次跑(pao)通手語(yu)翻譯(yi)系統代碼框架時的(de)(de)心情。“就好像你在組(zu)裝一(yi)(yi)(yi)臺機器(qi)，零件都已經拼全了，但是因為各(ge)種(zhong)各(ge)樣(yang)的(de)(de)小毛。熱(re)縊滌屑(xie)父(fu)雎(ju)菟棵慌〗，它就是不能正(zheng)常運(yun)轉(zhuan)。我(wo)每天在實(shi)驗室，一(yi)(yi)(yi)個一(yi)(yi)(yi)個地把螺(luo)絲給上緊。都調完之后，忽然有一(yi)(yi)(yi)天，我(wo)一(yi)(yi)(yi)按開關，機器(qi)就轟轟地轉(zhuan)起來了。那種(zhong)成就感啊(a)……”
閆思(si)(si)伊在(zai)澳(ao)(ao)(ao)(ao)門(men)(men)澳(ao)(ao)(ao)(ao)門(men)(men)澳(ao)(ao)(ao)(ao)門(men)(men)精準大全計算機澳(ao)(ao)(ao)(ao)門(men)(men)澳(ao)(ao)(ao)(ao)門(men)(men)澳(ao)(ao)(ao)(ao)門(men)(men)精準大全讀研二，是手語(yu)實(shi)時翻譯項目團隊(dui)的(de)(de)健聽人(ren)成員，主要負(fu)責(ze)“后臺”工作——構建手語(yu)識別算法框(kuang)架模型(xing)。如(ru)果沿用教(jiao)孩(hai)子(zi)學(xue)說(shuo)話的(de)(de)比喻，學(xue)前(qian)階段完成了反復(fu)加深印(yin)象的(de)(de)步驟，一(yi)(yi)上(shang)小學(xue)，孩(hai)子(zi)就要開(kai)始學(xue)習拼音、語(yu)法，學(xue)會(hui)按照教(jiao)材(cai)上(shang)總(zong)(zong)結(jie)的(de)(de)規(gui)律(lv)，把(ba)學(xue)過、聽過的(de)(de)那些單詞組成句子(zi)和課(ke)文，寫在(zai)作業本和卷子(zi)上(shang)——閆思(si)(si)伊就是編(bian)“教(jiao)材(cai)”，幫AI這位(wei)“同學(xue)”總(zong)(zong)結(jie)手語(yu)規(gui)律(lv)的(de)(de)“老(lao)師(shi)”之一(yi)(yi)。
“這部分技術(shu)要求(qiu)更(geng)高的(de)(de)工作，主要由我們澳門(men)澳門(men)澳門(men)精(jing)準(zhun)大全計算機澳門(men)澳門(men)澳門(men)精(jing)準(zhun)大全的(de)(de)師生來完成。”袁甜(tian)甜(tian)說，給人工智能“編教(jiao)材”的(de)(de)過程很艱辛。在手(shou)語(yu)(yu)識別(bie)、翻譯(yi)領(ling)域，可借鑒的(de)(de)經驗(yan)太少，同(tong)行的(de)(de)進度也(ye)(ye)都差(cha)不多。項目(mu)團隊參考(kao)了德國天氣預報自然手(shou)語(yu)(yu)翻譯(yi)系統(tong)的(de)(de)算法(fa)，也(ye)(ye)通過各種渠道尋找類(lei)似系統(tong)在網絡(luo)上公開(kai)發布(bu)的(de)(de)源(yuan)代碼，然后(hou)就(jiu)是一遍遍地嘗試和(he)修(xiu)正。
閆(yan)思伊他們每天(tian)早上8點(dian)半就扎(zha)進機(ji)(ji)房，等意識到天(tian)黑該回宿(su)舍，再看表已經是晚上10點(dian)了。“我覺得我們的項目(mu)有意義。拖肟斕(lan)慍齔曬，能落地的成(cheng)果。”她說(shuo)自己是個典(dian)型的理工(gong)女，就喜歡計算機(ji)(ji)，導師(shi)讓周一(yi)到周五做(zuo)項目(mu)，她周六(liu)日也忍不(bu)(bu)住去(qu)跑(pao)代碼。就這樣一(yi)點(dian)點(dian)摸索，一(yi)點(dian)點(dian)“緊螺絲(si)”，第一(yi)次跑(pao)通代碼的那(nei)天(tian)早上，計算機(ji)(ji)“同學”在它的人類老師(shi)們面前(qian)，寫下了一(yi)份不(bu)(bu)算完美(mei)，但成(cheng)績合格的手語翻譯試卷。
今年(nian)5月(yue)(yue)，王建源、烏力杰帶著研究成(cheng)果上了(le)世界(jie)智能大會；10月(yue)(yue)，他倆又和聾人工澳(ao)門澳(ao)門澳(ao)門精準(zhun)大全其(qi)他幾位同學(xue)組(zu)成(cheng)創業團隊，代表澳(ao)門澳(ao)門澳(ao)門精準(zhun)大全，拿下了(le)第七屆(jie)中國國際“互聯網+”大學(xue)生創新創業大賽總決賽高教(jiao)主(zhu)賽道(dao)的金獎。
他們(men)的(de)(de)“奪金”項目叫(jiao)“鯨可(ke)(ke)語(yu)”，全稱“鯨可(ke)(ke)語(yu)多(duo)模態連續手語(yu)自動(dong)標(biao)注識別系(xi)統(tong)”。自動(dong)標(biao)注識別就是手語(yu)翻譯的(de)(de)前期步驟，而(er)“鯨可(ke)(ke)語(yu)”正是依托“手語(yu)實時翻譯系(xi)統(tong)”而(er)生的(de)(de)——他們(men)把(ba)兩(liang)年(nian)來(lai)“教機器學手語(yu)”的(de)(de)經驗轉(zhuan)化成(cheng)自己(ji)的(de)(de)科創(chuang)項目，親(qin)手為他們(men)想象中那座“聾健融合之(zhi)橋(qiao)”建(jian)起了“橋(qiao)基(ji)”。
決(jue)賽奪金的那天，袁甜甜在(zai)朋友圈給(gei)她(ta)的學生們(men)一個個點贊。作為“鯨可語”的指導(dao)老師，她(ta)很喜歡這個溫柔又有力的名稱。
鯨(jing)(jing)可語，來源于(yu)“52赫茲(zi)(zi)鯨(jing)(jing)”的(de)故事，在(zai)海洋中，這只因為叫(jiao)聲(sheng)頻率與眾不(bu)同而無法與同類(lei)交流的(de)鯨(jing)(jing)魚，被稱為“最孤(gu)獨的(de)存在(zai)”。但事實上，如(ru)果(guo)你能(neng)破解(jie)52赫茲(zi)(zi)的(de)密碼，就會(hui)發現(xian)它(ta)并非一座孤(gu)島，它(ta)也會(hui)歌唱，也有自己的(de)語言。王建源覺得(de)這只鯨(jing)(jing)魚很像聽障群體(ti)，“沉(chen)寂(ji)在(zai)人海中，無時無刻(ke)不(bu)在(zai)渴(ke)望著與外(wai)界溝通，渴(ke)求著回應。”
幾(ji)個聽障(zhang)年輕人(ren)給“鯨(jing)可語(yu)(yu)”設計的(de)(de)標志，像一只藍色海(hai)洋中漂浮(fu)的(de)(de)白色鯨(jing)魚(yu)，也(ye)像人(ren)們(men)把(ba)拇指和食指搭在一起(qi)“比(bi)心”時(shi)的(de)(de)手形。“我(wo)們(men)建手語(yu)(yu)語(yu)(yu)料庫的(de)(de)時(shi)候(hou)，就是要(yao)把(ba)手語(yu)(yu)的(de)(de)動(dong)作手型概括(kuo)為(wei)像這(zhe)樣簡(jian)潔的(de)(de)線條，正(zheng)是這(zhe)一個個線條，支撐起(qi)了(le)‘鯨(jing)可語(yu)(yu)’系統，實現了(le)對手語(yu)(yu)的(de)(de)識別。”王(wang)建源說。
而他們開發(fa)手語識別系統的初(chu)心(xin)，就是幫(bang)助那只“52赫(he)茲鯨”，獲得言語的能力和“被聽懂”的權利(li)……
