首頁(yè) > 從2003年起，中國(guó)科學(xué)院計(jì)算技術(shù)研究所連續(xù)三年承辦863計(jì)劃中文信息處理與智能人機(jī)接口技術(shù)評(píng)測(cè)，語(yǔ)音識(shí)別評(píng)測(cè)始終是其中的一個(gè)主要分項(xiàng)。三年間，863語(yǔ)音識(shí)別評(píng)測(cè)受到了國(guó)內(nèi)外語(yǔ)音識(shí)別研究者的關(guān)注，參加單位數(shù)逐年遞增，成為國(guó)內(nèi)語(yǔ)音識(shí)別領(lǐng)域最高級(jí)別的交流平臺(tái)，在國(guó)際上也具備了相當(dāng)?shù)挠绊懥Α?
2003年和2004年度語(yǔ)音識(shí)別評(píng)測(cè)采用現(xiàn)場(chǎng)評(píng)測(cè)方式，即各參評(píng)系統(tǒng)的運(yùn)行在評(píng)測(cè)現(xiàn)場(chǎng)同時(shí)進(jìn)行。這種組織形式比較嚴(yán)格，一旦參評(píng)系統(tǒng)運(yùn)行出現(xiàn)故障將無(wú)法繼續(xù)。而且，要求所有參評(píng)單位必須到場(chǎng)，其成本也較高。為了避免這些問題，2005年的863評(píng)測(cè)采用目前國(guó)際通用的網(wǎng)上評(píng)測(cè)的方法，即在網(wǎng)上發(fā)布數(shù)據(jù)，各參評(píng)單位在自己的運(yùn)行環(huán)境上運(yùn)行參評(píng)系統(tǒng)后將識(shí)別結(jié)果通過網(wǎng)絡(luò)提交給評(píng)測(cè)單位。
863語(yǔ)音識(shí)別評(píng)測(cè)最大的特色在于測(cè)試數(shù)據(jù)的選取。文本語(yǔ)料的選取采用從大規(guī)模原始語(yǔ)料庫(kù)中篩選的方法，充分考慮到了對(duì)各種韻律學(xué)特征（音節(jié)、二音子、三音子、音連關(guān)系等）、語(yǔ)法特征（句型和句法結(jié)構(gòu)等）和各種領(lǐng)域、各種文體（散文、小說(shuō)、實(shí)事新聞等）的覆蓋。錄音時(shí)不是采用實(shí)驗(yàn)室加噪聲，而是在完全真實(shí)的場(chǎng)景中錄制數(shù)據(jù)，并且充分考慮到了說(shuō)話人、信噪比等因素的覆蓋，在實(shí)驗(yàn)的基礎(chǔ)上提出了真實(shí)環(huán)境中信噪比的分布模型，并在此模型的指導(dǎo)下錄制數(shù)據(jù)。這種以實(shí)驗(yàn)和理論為依據(jù)、以算法為支撐，控制各種語(yǔ)音屬性，從而最大限度地?cái)M合真實(shí)應(yīng)用的數(shù)據(jù)采集方法，在國(guó)際上也是很有特色的。目前國(guó)際上的同類評(píng)測(cè)，錄音場(chǎng)景多為實(shí)驗(yàn)室，對(duì)各種影響因素一般只做寬泛的覆蓋，幾乎沒有按理論模型控制的方法。
863語(yǔ)音識(shí)別評(píng)測(cè)的另一個(gè)特點(diǎn)是對(duì)結(jié)果做了充分的統(tǒng)計(jì)分析。目前的國(guó)際評(píng)測(cè)一般除給出相應(yīng)的指標(biāo)外，還會(huì)做一些統(tǒng)計(jì)分析，而之前的國(guó)內(nèi)評(píng)測(cè)卻很少這么做。從2004年開始，863語(yǔ)音識(shí)別評(píng)測(cè)也開始對(duì)結(jié)果進(jìn)行統(tǒng)計(jì)分析，而在2005年的評(píng)測(cè)中，更是采用專業(yè)統(tǒng)計(jì)學(xué)方法，采用實(shí)驗(yàn)設(shè)計(jì)、假設(shè)檢驗(yàn)、回歸分析、方差分析、協(xié)方差分析等一系方法對(duì)結(jié)果及影響結(jié)果的因素進(jìn)行了深入分析，對(duì)各評(píng)測(cè)單位認(rèn)清自己系統(tǒng)的優(yōu)勢(shì)和缺點(diǎn)，進(jìn)一步改進(jìn)起到了很大作用。
另外，在電話連續(xù)語(yǔ)音關(guān)鍵詞識(shí)別評(píng)測(cè)中，在2004年嘗試了以語(yǔ)義槽為單位的基于語(yǔ)法關(guān)鍵詞識(shí)別任務(wù)和評(píng)測(cè)指標(biāo)，在2005年首次使用了兩個(gè)說(shuō)話人一起錄制的自然對(duì)話語(yǔ)音，更加符合真實(shí)應(yīng)用的特點(diǎn)，這在國(guó)際同類評(píng)測(cè)中都是沒有的。
從評(píng)測(cè)結(jié)果看語(yǔ)音識(shí)別技術(shù)現(xiàn)狀
863語(yǔ)音識(shí)別評(píng)測(cè)，包括PC、電話、嵌入式設(shè)備三個(gè)語(yǔ)音通道，涉及聽寫機(jī)、對(duì)話查詢、命令詞識(shí)別等多種任務(wù)，基本上涵蓋了當(dāng)前語(yǔ)音識(shí)別的主要研究和應(yīng)用方向。而參評(píng)的又大都是國(guó)內(nèi)長(zhǎng)期進(jìn)行該項(xiàng)研究、有較高水平的單位和系統(tǒng)，因此，無(wú)論是采用的方法還是識(shí)別的效果，本次評(píng)測(cè)都可以真實(shí)反映出國(guó)內(nèi)語(yǔ)音識(shí)別技術(shù)的現(xiàn)狀。這里結(jié)合2004年的評(píng)測(cè)，對(duì)評(píng)測(cè)結(jié)果進(jìn)行分析。之所以選擇2004年的評(píng)測(cè)結(jié)果，是因?yàn)樗脑u(píng)測(cè)分項(xiàng)最全，幾乎覆蓋了語(yǔ)音識(shí)別的各種應(yīng)用。
1. 識(shí)別結(jié)果的評(píng)價(jià)
評(píng)測(cè)的主要目標(biāo)就是通過對(duì)識(shí)別結(jié)果的評(píng)價(jià)、分析了解參評(píng)系統(tǒng)的性能的和語(yǔ)音技術(shù)的現(xiàn)狀。因此，制訂有效的、能夠真實(shí)反映出系統(tǒng)性能的評(píng)價(jià)指標(biāo)也是很重要的研究任務(wù)。
對(duì)于大詞匯量連續(xù)語(yǔ)音識(shí)別來(lái)說(shuō)，國(guó)際上通用的指標(biāo)是文字錯(cuò)誤率（對(duì)于英語(yǔ)，文字指單詞; 對(duì)于漢語(yǔ)，文字指字，下同）。其基本思想為采用動(dòng)態(tài)規(guī)劃算法將標(biāo)準(zhǔn)答案與識(shí)別結(jié)果對(duì)齊，以得到“正確文字?jǐn)?shù)”、“替換文字?jǐn)?shù)”、“插入文字?jǐn)?shù)”、“刪除文字?jǐn)?shù)”四項(xiàng)參數(shù)，然后計(jì)算文字錯(cuò)誤率。
錯(cuò)誤文字?jǐn)?shù) ＝ 替換 ＋ 插入 ＋ 刪除文字?jǐn)?shù)
文字錯(cuò)誤率 ＝ 錯(cuò)誤文字?jǐn)?shù) / 原文答案文字?jǐn)?shù)
下面給出一個(gè)例子:
LAB: 新 增 四 百 萬(wàn) 千 瓦 時(shí) 的 強(qiáng) 大 電 流 輸 入 云 南 的 電 網(wǎng)
REC: 新 增 四 百 花 錢 忙 時(shí) 的 槍 打 電 流 于 樹 綠 云 南 電 網(wǎng)
C C C C N N N C C N N C C I N N C C D C C
其中，LAB是標(biāo)準(zhǔn)答案，REC是識(shí)別結(jié)果，上面的格式是根據(jù)編輯距離最小對(duì)齊的結(jié)果，第三行標(biāo)記了各類文字，C表示正確文字，N表示替換文字，I表示插入文字，D表示刪除文字。
2004年863語(yǔ)音識(shí)別評(píng)測(cè)中的電話連續(xù)語(yǔ)音識(shí)別評(píng)測(cè)分項(xiàng)采用的主要指標(biāo)是語(yǔ)義槽識(shí)別正確率，即用語(yǔ)料文本解析得到的標(biāo)準(zhǔn)答案和識(shí)別結(jié)果相比較，完全匹配的槽認(rèn)為是識(shí)別正確的，定義槽識(shí)別正確率為:
槽識(shí)別正確率 ＝ 正確識(shí)別的槽的個(gè)數(shù) / 標(biāo)準(zhǔn)答案中槽的總數(shù)
對(duì)于嵌入式設(shè)備命令詞識(shí)別，由于是孤立詞識(shí)別，因此采用命令詞識(shí)別正確率即可:
命令詞識(shí)別正確率 ＝ 正確識(shí)別的命令詞數(shù) / 命令詞總數(shù)
2. 識(shí)別系統(tǒng)性能
對(duì)各系統(tǒng)給出的識(shí)別結(jié)果計(jì)算上述指標(biāo)，得到對(duì)各系統(tǒng)識(shí)別性能的評(píng)價(jià)。表1給出了每個(gè)分項(xiàng)中識(shí)別效果最好的系統(tǒng)的指標(biāo)，以及前三名系統(tǒng)的平均指標(biāo)。為了統(tǒng)一，將電話連續(xù)語(yǔ)音識(shí)別中的槽識(shí)別正確率和嵌入式設(shè)備命令詞識(shí)別中的命令詞識(shí)別正確率統(tǒng)稱為正確率。對(duì)桌面（這里指PC，以下同）連續(xù)語(yǔ)音識(shí)別，采用文字正確率，定義為（目前研究者對(duì)文字正確率定義稍有不同，本文中一律以下面的定義為準(zhǔn)）:
文字正確率 ＝ 1 － 文字錯(cuò)誤率
表中的最高正確率基本可以代表該分項(xiàng)的最高水平，前三名的正確率均值可以一定程度上反映該分項(xiàng)的平均水平，而前三名正確率的方差可以反映該分項(xiàng)中各系統(tǒng)的性能差異程度。
從表中可以看到，桌面連續(xù)語(yǔ)音識(shí)別分項(xiàng)中，漢語(yǔ)的識(shí)別效果遠(yuǎn)遠(yuǎn)好于英語(yǔ)（文字正確率最多相差20個(gè)百分點(diǎn)）。其原因顯然在于國(guó)內(nèi)對(duì)漢語(yǔ)語(yǔ)音識(shí)別的研究比英語(yǔ)多而且深入。另外，英語(yǔ)訓(xùn)練語(yǔ)料的相對(duì)缺乏，也是一個(gè)重要原因。
在采用了語(yǔ)法限制的語(yǔ)義槽識(shí)別任務(wù)和槽識(shí)別正確率作為評(píng)測(cè)指標(biāo)后，電話連續(xù)語(yǔ)音的槽識(shí)別正確率較低。事實(shí)上，由于電話語(yǔ)音的錄制環(huán)境為辦公室環(huán)境，其噪音比桌面語(yǔ)音要小得多，所以正確率較低的原因主要在于對(duì)語(yǔ)法的處理和槽識(shí)別正確率較低。
嵌入式設(shè)備命令詞識(shí)別的正確率與桌面語(yǔ)音字正確率大致相當(dāng)。一方面，連續(xù)語(yǔ)音識(shí)別要比孤立詞識(shí)別困難，另一方面，嵌入式設(shè)備的語(yǔ)音通道和計(jì)算資源都比PC差得多，從結(jié)果可以看出，這兩方面的因素基本抵消。
從各分項(xiàng)前三名的正確率方差可以看出，漢語(yǔ)桌面連續(xù)語(yǔ)音識(shí)別和嵌入式設(shè)備命令詞分項(xiàng)中各系統(tǒng)的性能差異較小，而英語(yǔ)桌面連續(xù)語(yǔ)音識(shí)別，特別是一倍實(shí)時(shí)任務(wù)中各系統(tǒng)性能差異較大。這是因?yàn)楫?dāng)前語(yǔ)音識(shí)別的研究重點(diǎn)在于前者，研究者較多，研究也比較深入，而英語(yǔ)的識(shí)別相對(duì)來(lái)說(shuō)研究者較少。
3. 影響系統(tǒng)識(shí)別性能的因素
從上面的識(shí)別結(jié)果評(píng)價(jià)可以看出，對(duì)真實(shí)噪音環(huán)境下錄制的語(yǔ)音數(shù)據(jù)，當(dāng)前的語(yǔ)音識(shí)別系統(tǒng)識(shí)別正確率偏低，還很難達(dá)到實(shí)用。
從語(yǔ)音識(shí)別產(chǎn)生以來(lái)，噪音一直是影響識(shí)別效果的主要因素。為了分析噪音對(duì)識(shí)別的影響，將評(píng)測(cè)數(shù)據(jù)按信噪比（SNR）分段，從參評(píng)系統(tǒng)選取三個(gè)，分別計(jì)算其在各段內(nèi)的識(shí)別正確率，可以看出，識(shí)別正確率基本上隨著SNR的增大而提高，SNR在20dB以上的數(shù)據(jù)正確率比SNR在5～10dB的數(shù)據(jù)高近30個(gè)百分點(diǎn)。對(duì)桌面連續(xù)語(yǔ)音識(shí)別的其他分項(xiàng)和嵌入式命令詞識(shí)別的結(jié)果分析也得到類似的結(jié)果。
對(duì)于電話連續(xù)語(yǔ)音識(shí)別來(lái)說(shuō)，由于錄制環(huán)境是辦公室真實(shí)環(huán)境，因此噪音并不是影響性能的主要因素。電話連續(xù)語(yǔ)音識(shí)別分為5個(gè)子領(lǐng)域，每個(gè)子領(lǐng)域各有一套語(yǔ)法。評(píng)測(cè)句子由語(yǔ)法生成的有效成分在前后加上任意長(zhǎng)的填充詞（filler）構(gòu)成，如語(yǔ)法生成的句子為“從天安門到中關(guān)村怎么坐公交車”，而實(shí)際錄制的句子是“你好，請(qǐng)問從天安門到中關(guān)村怎么坐公交車，可以查到嗎？”，其中的“你好，請(qǐng)問”和“可以查到嗎”就是filler。由分析可以發(fā)現(xiàn)，不同領(lǐng)域內(nèi)的槽識(shí)別正確率相差很大。這主要有兩個(gè)原因，一是不同領(lǐng)域的語(yǔ)法復(fù)雜度不同，二是不同領(lǐng)域內(nèi)有filler的句子所占比例不同。為了進(jìn)一步衡量filler對(duì)識(shí)別的影響，選取三個(gè)識(shí)別系統(tǒng)，將有filler的句子和沒有filler的句子分別計(jì)算識(shí)別率，統(tǒng)計(jì)結(jié)果如圖2所示。從圖中可以看出，filler對(duì)識(shí)別的影響是相當(dāng)大的，無(wú)filler的句子比有filler的句子識(shí)別正確率可以高幾十個(gè)百分點(diǎn)。
從上面的介紹可以看到，國(guó)內(nèi)語(yǔ)音識(shí)別研究發(fā)展迅速，識(shí)別性能日益提高，
但在對(duì)真實(shí)環(huán)境下錄制的數(shù)據(jù)，特別是信噪比較低的情況下，識(shí)別性能還無(wú)法達(dá)到實(shí)用要求。對(duì)于桌面連續(xù)語(yǔ)音和嵌入式設(shè)備上的孤立詞識(shí)別，對(duì)噪音的魯棒性不高是系統(tǒng)面臨的主要問題。對(duì)于電話查詢系統(tǒng)來(lái)說(shuō)，對(duì)語(yǔ)義的解析和無(wú)關(guān)語(yǔ)句的處理還存在一定困難。另外，對(duì)非朗讀的自然語(yǔ)音，如對(duì)話、會(huì)議內(nèi)容的識(shí)別，對(duì)電視廣播節(jié)目?jī)?nèi)容的識(shí)別或檢索近年來(lái)吸引了越來(lái)越多研究者的注意，國(guó)外的一些評(píng)測(cè)機(jī)構(gòu)也組織了這方面的評(píng)測(cè)，863語(yǔ)音識(shí)別評(píng)測(cè)也在考慮增加相應(yīng)的項(xiàng)目�？傊�863語(yǔ)音識(shí)別評(píng)測(cè)將繼續(xù)針對(duì)這些任務(wù)，針對(duì)噪音、方言、自然語(yǔ)音等關(guān)鍵問題構(gòu)建評(píng)測(cè)語(yǔ)料庫(kù)，開展評(píng)測(cè)，提供結(jié)果分析，組織討論交流，以促進(jìn)語(yǔ)音識(shí)別技術(shù)的發(fā)展。
