這個寒假，有一批失聰?shù)拇髮W生成了冬奧會的遠程志愿者，他們來自天津理工大學聾人工學院。這些志愿者把電視新聞欄目的內(nèi)容轉(zhuǎn)換成手語順序的文本，為冬奧會轉(zhuǎn)播中需要的AI（人工智能）手語數(shù)字人提供大規(guī)模的語料支持。
袁甜甜，天津理工大學聾人工學院副院長，是這些聽障大學生的老師，也是無障礙智能科技研發(fā)中心的成員。她介紹：“無障礙智能科技研發(fā)中心將為冬奧會的實況轉(zhuǎn)播提供AI手語數(shù)字人的手語語料支持，我和學生們已經(jīng)為此忙了兩個多月。能夠為冬奧會服務(wù)，我們充滿了榮譽感。”
教AI認知手語
2021年，創(chuàng)辦中國聾人高等工科特殊教育30年紀念大會上，一個“手語角”吸引了不少人駐足。只要在攝像頭前打出手語，身后的顯示屏上就會出現(xiàn)語意連貫的文字翻譯。袁甜甜展示著這個被稱為“復雜場景下中國手語實時翻譯系統(tǒng)”的《“鯨可語”——多模態(tài)連續(xù)手語自動標注識別系統(tǒng)》項目（下稱“鯨可語”）。據(jù)介紹，在光線充足且穩(wěn)定的室內(nèi)，系統(tǒng)對手語的識別率最高能達到95%，部分場景下可以實現(xiàn)“同步翻譯”。研發(fā)這套系統(tǒng)的目的，是讓每個健聽人都能輕松地看懂手語。其自動標注識別系統(tǒng)“鯨可語”還獲得了去年第七屆中國國際“互聯(lián)網(wǎng)+”大學生創(chuàng)新創(chuàng)業(yè)大賽主賽道的金獎。
王建源是研發(fā)團隊的成員之一。他是聾人家庭長大的聾兒，聽力損失嚴重，吐字發(fā)聲非常困難，手語是他和這個世界打交道最初也最有效的方式。22年來，聾人的身份沒有讓他感到自卑；口不能言，也沒耽誤他成為一個妥妥的“學霸”；但如果你問他，因為聽力障礙，從小到大遇到過哪些方面的不便，他會平靜地在手機上打出四個字：方方面面——因為認識手語的人太少了。
一個最典型的例子是看病，如果沒有手語翻譯陪著，即便只是頭疼腦熱，像王建源這樣的“手語族”也很難獨自就醫(yī)——絕大多數(shù)醫(yī)生不會手語。
從1991年9月11日首批6名聾生入學到今天，天津理工大學聾人學院的老師們積累了很多與聾人溝通的經(jīng)驗。
袁甜甜學的是計算機專業(yè)，2006年研究生一畢業(yè)，她就在聾人工學院計算機科學與技術(shù)系工作。上班第一天，她面對的挑戰(zhàn)就是學手語。通過看文字、讀唇語，學生們能夠了解老師，可是老師不能很快地了解學生?？目慕O絆地學會了手語，袁甜甜記不清有多少次，凌晨一兩點鐘陪學生去看病，幫忙做手語翻譯。
我國有2780萬聾人，如何依靠科技的力量讓健康人走進他們的世界？袁甜甜、王建源等人開始了“鯨可語”手語實時翻譯系統(tǒng)的研發(fā)。
“鯨可語”手語實時翻譯類似于手語版的“語音輸入法”。只不過后者是輸入語音、機器識別、轉(zhuǎn)成文字，而前者是輸入手語動作和表情、機器識別。
要把人工智能訓練成一個合格的手語翻譯，得把手勢、表情、大肢體動作，通通從視頻轉(zhuǎn)化為數(shù)據(jù)，再“教”給計算機。所以，能充分理解、展示手語之美的聽障生，是最適合給人工智能當“老師”的人。
很多國外團隊建立的手語數(shù)據(jù)集無法支持復雜場景下的手語翻譯，一個直接的原因，就是無法找到足夠多的人在自然狀態(tài)下采集手語?！岸覀兊膱F隊背靠聾人工學院，很多成員本身就是手語使用者，在自然手語的采集上有優(yōu)勢?！痹鹛鹫f。
讓健聽人“讀懂”聽障人更重要
冬奧會中，袁甜甜團隊服務(wù)的AI手語數(shù)字人，能夠幫助聾人更好地理解健聽人的表達，“鯨可語”手語識別和翻譯則是借助科技的力量幫助健聽人更好地理解聾人的表達。這兩者之間有怎樣的區(qū)別？
做AI手語數(shù)字人，是讓聾人用熟悉的方式去理解健聽人的表達方式，核心研發(fā)點是手語生成，而“鯨可語”手語識別和翻譯的核心研發(fā)點是手語識別，“鯨可語”這項技術(shù)更難?！蚌L可語”需要計算機視覺和自然語言識別處理兩種技術(shù)：聾人的手語包括表情、手部動作，肢體動作，都需要計算機做融合識別，這是計算機識別技術(shù)；把計算機識別出來的信息用計算機程序再變成健聽人所熟悉的語言模式，這是自然語言識別處理技術(shù)。AI手語數(shù)字人，某種程度上只涉及自然語言識別處理技術(shù)過程。從技術(shù)轉(zhuǎn)化上看，AI手語數(shù)字人的產(chǎn)業(yè)落地時間會更短，數(shù)據(jù)上的投入相對較少，更容易將成果市場化。
“為什么一定要搞手語翻譯呢？聾人聽不到，現(xiàn)在有語音識別?。∮械拿@人不會說話，拿手機打字不就行了嗎？”曾經(jīng)有一些企業(yè)向袁甜甜了解過正在開發(fā)中的手語實時翻譯系統(tǒng)，想談投資。但談來談去，他們卻對項目的必要性產(chǎn)生了疑問，覺得手語翻譯除了“做善事”沒有其他意義。為什么還要傾心于“鯨可語”的研發(fā)和轉(zhuǎn)化呢？
“在與學生交流的過程中，我知道對殘障人士最好的關(guān)心就是平等。他們不是殘障，只是與我們不一樣?！痹鹛鹫f。
溝通永遠是雙向的。我們教聽障人寫字、認字，讀唇語，他們在努力融入健聽人的世界；我們健聽人也要為聽懂接納聽障人作出一點努力。
袁甜甜說，直到今天，手語仍然是許多聽障人士最自然、高效的表達方式，“比寫字、打字都快”。但為了促進無障礙交流，要求健聽人都去學手語，顯然不現(xiàn)實?！蚌L可語”手語實時翻譯系統(tǒng)就是利用高科技讓健聽人努力向聽障人靠攏。
（本報記者 劉 茜 陳建強）