在NeurIPS大會上發(fā)布的兩個數(shù)據(jù)集可助編目數(shù)十種語言
在近日舉行的NeurIPS大會上,,發(fā)布了兩冊英特爾提供支持的關于口語數(shù)據(jù)集的白皮書,其中,,《人的語言》主要涉及到“自動語音識別”任務,,另一冊——《多語種口語語料庫》則涵蓋“關鍵詞識別”,。這兩個項目的數(shù)據(jù)集都貢獻了大量豐富的音頻數(shù)據(jù),且每個數(shù)據(jù)集在同類中都擁有最大的可用體量,。
《多語種口語語料庫》由英特爾軟件與先進技術事業(yè)部(SATG)的機器學習工程師Keith Achorn參與撰寫,。Keith在英特爾社區(qū)網(wǎng)站的博客中講述了自己參與該項目的經歷。
在ML Commons 的支持下,,“人的語言”和“多語種口語語料庫”于2018年開始啟動,,該項目旨在識別世界上最常用的 50 種語言并統(tǒng)一到單一的數(shù)據(jù)集中,從而使這些數(shù)據(jù)得到有效利用,。該項目小組成員來自英特爾,、哈佛大學、阿里巴巴,、甲骨文,、Landing AI、密歇根大學,、谷歌,、百度等。
在當今多元化,、國際化,、多語言的工作環(huán)境中,準確轉錄和翻譯的能力愈發(fā)重要,。通過使用以上數(shù)據(jù)集,,計算機可以“聽到”口語單詞,并自動生成文本或譯文,。
這兩個項目都運用了“多樣化語音”,,這意味著它們可以更好地展現(xiàn)自然環(huán)境音,如背景噪音,、非正式語言模式,、錄音設備混音以及其他聲學環(huán)境等。這與諸如有聲讀物之類的高度受控的內容不同,,后者產生的聲音更加“純凈”,。然而,在實際應用中,,多樣化語音訓練有助于提高識別的準確性,。
“人的語言”項目內含數(shù)萬小時的對話音頻。如今,,它是世界上最大的,、可免費下載的、用于學術和商用的英語語音識別數(shù)據(jù)集之一,。
“多語種口語語料庫”是一個音頻語音數(shù)據(jù)集,,不僅擁有超過30萬個關鍵字的數(shù)十種語言,,能夠通過智能設備訪問,還涵蓋了50多億用戶的日常對話,,有助于推動全球范圍內受眾語音應用的研發(fā),。
這兩個數(shù)據(jù)集都將提供給廣泛的用戶進行應用,它們包括商用在內的授權許可條款都相對較為寬松,。
關于英特爾
英特爾(NASDAQ: INTC)作為行業(yè)引領者,,創(chuàng)造改變世界的技術,推動全球進步并讓生活豐富多彩,。在摩爾定律的啟迪下,,我們不斷致力于推進半導體設計與制造,幫助我們的客戶應對最重大的挑戰(zhàn),。通過將智能融入云,、網(wǎng)絡、邊緣和各種計算設備,,我們釋放數(shù)據(jù)潛能,,助力商業(yè)和社會變得更美好。