蘇州2018年12月12日電 /美通社/ -- 聽(tīng)覺(jué)作為人類感知手段之一，幾十年來(lái)一直是不少研究人員的重點(diǎn)領(lǐng)域。西交利物浦大學(xué)計(jì)算機(jī)科學(xué)和軟件工程系的 Andrew Abel 博士和他的團(tuán)隊(duì)設(shè)計(jì)了一個(gè)新系統(tǒng)，他們?cè)谥?tīng)器中加入了捕捉人說(shuō)話時(shí)唇形特征的視覺(jué)信號(hào)，以提高助聽(tīng)器的使用效果。他們的最新研究成果也在2018年IEEE計(jì)算智能研討會(huì)（IEEE-SSCI 2018）上進(jìn)行發(fā)表。
Abel博士介紹說(shuō)，很多傳統(tǒng)的助聽(tīng)器都是通過(guò)放大患者接收不到的聲音頻率來(lái)達(dá)到助聽(tīng)效果；有些助聽(tīng)器內(nèi)安置了除噪音的算法，能夠降低對(duì)話之外的聲音音量；還有一些帶有定向麥克風(fēng)，能夠探測(cè)到來(lái)自某些特定方向的聲音。
“但是人們聊天的時(shí)候不僅僅是靠聲音來(lái)交流的。”Abel博士說(shuō)，“人們還會(huì)相互觀察面部表情、肢體語(yǔ)言，而且或多或少都會(huì)觀察對(duì)方的唇部動(dòng)作。”
比如，當(dāng)人們聽(tīng)到“ba”這個(gè)音節(jié)，但是看到的是“fa”這個(gè)音節(jié)的唇部動(dòng)作，人們就會(huì)誤以為自己聽(tīng)到的是“fa”甚至是“va”。
“這被稱為‘麥格克效應(yīng)’。” Abel博士解釋說(shuō)，“大腦在同時(shí)接收到一個(gè)視覺(jué)信息和一個(gè)聽(tīng)覺(jué)信息的時(shí)候，有可能視覺(jué)信息會(huì)覆蓋掉聽(tīng)覺(jué)信息并造成視聽(tīng)幻覺(jué)。”
這種現(xiàn)象充分展示了視覺(jué)信息在談話中的重要性。因此Abel博士和他的團(tuán)隊(duì)一直在思考：如何才能開(kāi)發(fā)出接收聲音以外信息的機(jī)器？如何讓這些機(jī)器像人類一樣去“聽(tīng)”？
Abel博士在就職于蘇格蘭斯特靈大學(xué)時(shí)和Amir Hussain教授一起研究過(guò)助聽(tīng)科技，他們嘗試把一個(gè)可穿戴的小型照相機(jī)連接到助聽(tīng)器上，讓系統(tǒng)同時(shí)處理接收到的聽(tīng)覺(jué)和視覺(jué)信息。在這些視覺(jué)信息中，會(huì)影響系統(tǒng)處理結(jié)果的是唇部動(dòng)作、嘴巴張開(kāi)或閉合、寬度及深度等唇形特征。
受到之前研究的啟發(fā)，Abel博士、西浦計(jì)算機(jī)系畢業(yè)生高成翔以及斯特靈大學(xué)研究人員聯(lián)合開(kāi)發(fā)了一個(gè)新系統(tǒng)，專門記錄唇形特征信息并建立唇部的3D模型。
“這個(gè)3D模型可以用來(lái)確定說(shuō)話時(shí)的音量和音調(diào)特征，這些特征有利于提高助聽(tīng)器的降噪功能，也能運(yùn)用于我們?cè)谘芯康拇秸Z(yǔ)讀取。” Abel博士補(bǔ)充說(shuō)。
他正在指導(dǎo)一項(xiàng)將唇讀科技運(yùn)用于對(duì)外漢語(yǔ)教學(xué)的畢業(yè)設(shè)計(jì)，只要系統(tǒng)接收到正確的視覺(jué)和聽(tīng)覺(jué)信號(hào)就可以區(qū)分不同的中文發(fā)音，這些信息會(huì)自動(dòng)反饋給學(xué)習(xí)漢語(yǔ)的人。
“中文是一種聲調(diào)語(yǔ)言，發(fā)音和其他語(yǔ)言不太一樣，學(xué)好正確發(fā)音是有一定難度的。”
Abel博士研究的另一個(gè)領(lǐng)域是利用圖像識(shí)別技術(shù)來(lái)改善助聽(tīng)器過(guò)濾噪音的效果。例如，攝像機(jī)可以識(shí)別出用戶所處的環(huán)境是安靜的辦公室還是喧鬧的酒吧，根據(jù)環(huán)境的不同可以采取不同的噪音過(guò)濾方法。
“在大腦處理聲音的時(shí)候，感知效應(yīng)是非常重要的一部分。”Abel博士說(shuō)。
比如人們會(huì)根據(jù)環(huán)境聲音的大小來(lái)調(diào)整自己的說(shuō)話聲音，這被稱為“倫巴效應(yīng)”。此外，聽(tīng)力正常的人在嘈雜的環(huán)境中也可以進(jìn)行高效溝通，這是因?yàn)榇竽X自動(dòng)忽略掉了其他人的說(shuō)話聲音以及無(wú)關(guān)的環(huán)境音，這被稱為“雞尾酒會(huì)效應(yīng)”。
“目前我們無(wú)法將所有視覺(jué)信息整合到助聽(tīng)器中，但是我們正在朝著‘感知型助聽(tīng)器’這個(gè)方向努力。”
Abel博士和他的同事希望能夠?qū)⒃~語(yǔ)識(shí)別和預(yù)判對(duì)話結(jié)合，同時(shí)整合環(huán)境識(shí)別及其他視覺(jué)信息處理手段，有一天能創(chuàng)造出能夠像人一樣“思考”的改進(jìn)型助聽(tīng)器。
“在我們理解并復(fù)制人耳處理聲音的過(guò)程時(shí)，我們不僅能改良助聽(tīng)器科技，還學(xué)到了很多關(guān)于人類自身及人腦思維運(yùn)作方式的知識(shí)。”他說(shuō)。
閱讀原文請(qǐng)?jiān)L問(wèn)：https://www.xjtlu.edu.cn/zh/news/2018/12/xipuxuezheyanjiuxinxingzhutingqi
