雖然有很多種描述方法可以描述一段多媒體內(nèi)容,，但是描述格式的定義通常是規(guī)范的，所以具備了可用性,、統(tǒng)一性和互操作性,。鑒于是標(biāo)準(zhǔn)描述化，所以MPEG-7標(biāo)準(zhǔn)只是指定描述的格式（語法和語義）,。
雖然提出多媒體內(nèi)容描述接口的初衷是為了解決人們?cè)诿鎸?duì)多到泛濫的網(wǎng)絡(luò)多媒體信息面前的無所適從,，但是MPEG-7的應(yīng)用絕不僅限于搜尋，它也有很多其他類型的應(yīng)用,，例如實(shí)時(shí)監(jiān)控,、廣播過濾，半自動(dòng)編輯,，自動(dòng)播放列表的產(chǎn)生,。
在本篇論文中，我們將討論MPEG-7的基本理論,，并且側(cè)重于音頻方面,。
一. MPEG-7基本
1.定義
MPEG-7的基本描述實(shí)體叫做描述符（descriptor），它通過定義語法和語義來表示特定內(nèi)容的性質(zhì),、特征和屬性,。在音頻領(lǐng)域中，描述符可以描述音頻信號(hào)的頻譜包絡(luò),。
描述方案（description schemes）的作用是聯(lián)合和構(gòu)造描述組件,，以滿足應(yīng)用的要求。描述方案包含了一系列的描述符和同一個(gè)體系中的其它的描述方案,。
描述符和描述方案在語義上都是由所謂的描述定義語言（description definition Language,，DDL）定義的，它可以進(jìn)行擴(kuò)展,。MPEG-7 DDL是以XML語言為基礎(chǔ),，因?yàn)樗梢詫?shí)現(xiàn)內(nèi)容描述的文本表示，并且允許描述工具的擴(kuò)展,。
2.描述定義語言- DDL
描述定義語言是基于XML（文本格式）的描述性語言,。之所以采用XML語言一部分是因?yàn)樗荢GML語言的延伸，而且它的普及型確保了描述工具的擴(kuò)展性,。此外，MPEG-7采用XML還因?yàn)樗谂c多媒體內(nèi)容描述相關(guān)的數(shù)據(jù)結(jié)構(gòu)的創(chuàng)建中發(fā)揮著巨大的作用,。
但是MPEG-7 DDL不是對(duì)XML語言規(guī)范的完全復(fù)制,，它有少許的改變,，比如它對(duì)一些特定的數(shù)據(jù)類型提供擴(kuò)展支持，并且它剔除了多余的特征等,。特別是,，DDL引入了定義數(shù)組和矩陣的新型結(jié)構(gòu)，擴(kuò)展了XML語言架構(gòu)的功能,。
3.多媒體描述方案(MDS)
創(chuàng)建多媒體描述方案不只是為了滿足不能單獨(dú)適用于視頻或者音頻工具的需要,，而且能夠滿足多媒體內(nèi)容的需要。所以,，MPEG-7標(biāo)準(zhǔn)中的MDS提供了與MPEG-7音頻標(biāo)準(zhǔn)相關(guān)的一系列的兩個(gè)層次的工具,。首先，有一系列低層次的工具,，它包含了擴(kuò)展的數(shù)據(jù)類型,，例如音視頻數(shù)據(jù)的段的基本定義類型，還有一系列高層次的工具,，它超出了音視頻描述的范圍,，允許音視頻相關(guān)，例如高層次內(nèi)容的語義描述,。為了避免MPEG-7標(biāo)準(zhǔn)會(huì)存在冗余功能,，它的音頻部分是由MDS提供音頻文件所需要的工具集。
二. MPEG-7音頻
MPEG-7音頻標(biāo)準(zhǔn)的結(jié)構(gòu)可分為兩個(gè)類別,，就是通用音頻描述框架和特定應(yīng)用工具,。音頻描述框架即基本兼容層（工具箱），也就是通用描述和特定應(yīng)用構(gòu)建的基礎(chǔ),，而且它還包含了可擴(kuò)展系列方案,、低層描述符（LLDs）、靜音段（silence segment）,。另一方面,，聲音識(shí)別工具、樂器音色描述工具,、說話內(nèi)容描述工具,、旋律描述工具、魯棒性音頻匹配工具分別專注了它們各自的應(yīng)用領(lǐng)域,，所以它們的描述能力都比較強(qiáng),。
1.描述結(jié)構(gòu)
MPEG-7音頻依賴于兩個(gè)基本結(jié)構(gòu)，段和可擴(kuò)展序列,。
段數(shù)據(jù)類型實(shí)際上由MPEG標(biāo)準(zhǔn)的MDS繼承而來的,，而且在一開始就被MPEG-7音頻描述所采用。音頻段和段分解共同作用可以連續(xù)的分解音頻流,。將音頻分為“段”,，它的依據(jù)是每段至少得有一個(gè)特征,，無論是概念上的還是數(shù)學(xué)上的。你可以把音頻流分割成任何你想要的分辨率,，以及任何層次的深度,。只要子段的時(shí)域范圍完全在母段上，母段本身的特性就會(huì)限制子段的特性,，而且子段可能會(huì)存在缺口,、重疊、兩者都有或者兩者都無,。特定的一段時(shí)間的音頻流可以被任意數(shù)量的段所描述,。
可擴(kuò)展序列的核心是一系列對(duì)應(yīng)于描述符的采樣值。最普遍的設(shè)想是它作為一個(gè)時(shí)間序列的同時(shí),，同樣適應(yīng)于頻域的采樣,。可擴(kuò)展序列還能夠存儲(chǔ)各種各樣的匯總值,，如描述符值的最大值,、最小值和方差。
2.低層音頻描述符
一般來說,，涉及到大部分的音頻信號(hào)的低層描述符,，能夠分成以下幾個(gè)組別，同時(shí)下面給出了描述符的描述范圍
基本：瞬時(shí)波形和功率值,。
基本譜：對(duì)數(shù)頻率功率譜和頻譜特性,，包括譜心，頻譜延展性,，頻譜平坦度,。
信號(hào)參數(shù)：準(zhǔn)周期信號(hào)的基頻和信號(hào)諧波。
音色時(shí)域：對(duì)數(shù)表示的開始時(shí)間（log attack time）,，時(shí)域分割的單聲道音頻的時(shí)域中心,。
音色譜：在線性空間內(nèi)的頻譜特性。例如單聲道音頻的譜心,，還包括信號(hào)的諧波部分的頻譜特性,，也就是諧波譜心，頻譜偏差,，頻譜延展性,，譜變化。
頻譜的基本表示：主要用于聲音識(shí)別的特性,，一般用于在低維空間的識(shí)別,。
2003年MPEG又發(fā)布了MPEG-7 Audio Version 2，增加了一些低層描述符,包括音頻信號(hào)質(zhì)量描述符和音樂節(jié)拍（BPM）描述符。音頻信號(hào)質(zhì)量描述符描述的范圍包括背景噪聲,、音頻通道互相關(guān),、相對(duì)延遲、平衡,、DC偏移、帶寬和傳輸技術(shù),，以及錄音錯(cuò)誤,。并且對(duì)原先的MPEG-7 Audio進(jìn)行了擴(kuò)展，增加了對(duì)立體聲/環(huán)繞聲的描述和說話內(nèi)容的描述,。
3.面向應(yīng)用的音頻工具
(1)聲音識(shí)別工具
聲音識(shí)別描述符和描述方案是索引和分類全部聲音效果的一組工具,。它們支持自動(dòng)化聲音效果識(shí)別和索引，而且包含了詳細(xì)說明聲音分類的 工具和聲音識(shí)別的工具,。此識(shí)別器可用來自動(dòng)索引和音軌分段,。
(2)說話內(nèi)容描述工具
基于目前的語音系統(tǒng)并不完美，從而產(chǎn)生了說話內(nèi)容描述工具,。它不是一個(gè)簡(jiǎn)單的說話文本（雖然它也能適應(yīng)這種情況）,，這個(gè)描述方案包含了合并詞和音位格，它能為音頻流中的每一個(gè)說話者服務(wù),。通過結(jié)合音位格的方式,，很大程度上解決了在出現(xiàn)詞匯表之外的詞匯所帶來的問題。即使原始解碼出錯(cuò),，或者單詞超出了識(shí)別引擎的詞匯表的范圍,，檢索信息依然能夠能夠進(jìn)行。它能夠用于兩大類別的檢索方案：音頻流的索引和檢索以及語音多媒體對(duì)象的索引,。
(3)樂器音色描述工具
音色描述針對(duì)的是對(duì)樂器聲的感知特性的描述,。音色作為感知特性被定義在庫中。當(dāng)兩個(gè)聲音擁有相同的基音音高和響度時(shí),，但是聽起來卻不一樣,，這是因?yàn)檫@兩個(gè)聲音音色的不同。音色描述工具利用簡(jiǎn)化的一組描述符描述這些感知特性,。描述符涉及到一些概念,，例如聲音的起始時(shí)間、明亮度或者豐滿度,。
總共存在有四類樂器聲：諧和,、持續(xù)、連貫的聲音,；沖擊性非持續(xù)的聲音,；非諧和、持續(xù)、連貫的聲音,；非連貫,、持續(xù)的聲音。在這4大類中,，MPEG-7標(biāo)準(zhǔn)已經(jīng)詳細(xì)說明了前兩類,，而且一直在不斷更新中。另兩類被視作低優(yōu)先級(jí),，因?yàn)樗鼈兿鄬?duì)比較少見,，但是標(biāo)準(zhǔn)仍對(duì)它們進(jìn)行了說明。音色描述工具廣泛使用了前面討論過的音色時(shí)域和頻域的低層描述符,。
(4)旋律描述工具
有兩種方法來描述旋律特性,，采用哪一種取決于你所需要的簡(jiǎn)潔度和精確度。旋律輪廓（melody contour）描述方案是一種簡(jiǎn)潔描述旋律信息的方法,，它允許有效,、穩(wěn)健地旋律相似性匹配，例如,，通過嗡聲查詢,。旋律輪廓（melody contour）描述方案使用5步輪廓法（表示相鄰音符的音程長(zhǎng)度的不同），并且音程被量化,。旋律輪廓描述方案還可以通過存儲(chǔ)每個(gè)音符最鄰近的拍數(shù)來表示節(jié)奏信息,，而且這還能顯著的提升從資料庫提取信息匹配的準(zhǔn)確度。
對(duì)于應(yīng)用來說,，需要更加優(yōu)良的描述準(zhǔn)確度和給定旋律的重建能力,，所以旋律描述方案支持描述符集合的擴(kuò)展和高精度音程編碼。音符跟音符之間有著精確的音高區(qū)間（精度到分或者更高）,，而不是只量化到5個(gè)級(jí)別,。通過對(duì)類似音高區(qū)間的音符起始時(shí)間的差異的對(duì)數(shù)比進(jìn)行編碼，才有了精確的節(jié)奏信息,。這些核心描述符是一系列的可選支持描述符,，例如歌詞、音調(diào),、韻律和起始音符,，以滿足應(yīng)用的需要。
(5)魯棒匹配工具
魯棒音頻匹配工具能夠穩(wěn)健和有效的完成音頻信號(hào)的身份匹配,，也就是說,，即使在信號(hào)有了線性或者非線性失真之后，也能夠去區(qū)分兩個(gè)音頻信號(hào)在本質(zhì)上是否相同,。未知音頻信號(hào)和相關(guān)的資料數(shù)據(jù)庫條目能夠進(jìn)行穩(wěn)健和有效的匹配,，這使得它具備了音頻材料的自動(dòng)識(shí)別功能,，以及能夠仿真出跟人類能力一樣基于記憶的聲音的識(shí)別能力。更重要的是,，在MPEG-7標(biāo)準(zhǔn)中,，建立了為現(xiàn)有的傳統(tǒng)音頻格式的給定音頻內(nèi)容塊來查找內(nèi)容描述數(shù)據(jù)（例如，歌名或者歌手名字）的方法,。例如CD不提供任何鏈接到相應(yīng)的描述數(shù)據(jù)庫條目,。 雖然魯棒音頻匹配在原則上可以通過若干特征而實(shí)現(xiàn)，但是使用MPEG7中的頻譜平坦度描述符就可以完美的實(shí)現(xiàn)了,。
三. MPEG-7音頻的應(yīng)用
1.說話內(nèi)容搜尋
語音是人類相互交流溝通的最重要的手段,，與我們的生活息息相關(guān)。所以能夠?qū)崿F(xiàn)對(duì)于說話內(nèi)容的搜尋功能顯得非常的重要?，F(xiàn)今的自動(dòng)語音識(shí)別器都是基于單詞/音位格的。
前面已經(jīng)簡(jiǎn)單講過MPEG-7對(duì)于說話內(nèi)容的描述的方法,。它先存儲(chǔ)音位格作為描述數(shù)據(jù)（而不是用純文本的形式）,，然后采取查詢/匹配的方法，并且它允許模糊處理和未知單詞的檢索,。這個(gè)應(yīng)用可以使你能夠檢索某一段的說話內(nèi)容,，還能夠使用語音對(duì)某段內(nèi)容加上注解。
2.一般聲音識(shí)別和索引
當(dāng)你面對(duì)各種各樣的聲音,，甚至是復(fù)雜的混合聲時(shí),，該怎么樣去識(shí)別其中的一個(gè)呢？當(dāng)你面對(duì)兩個(gè)相似的聲音時(shí),，怎樣去解決這個(gè)問題呢,？對(duì)它們進(jìn)行頻譜獨(dú)立分量分析和利用隱馬爾科夫模型就可以很好的區(qū)分出來。
3.存檔和恢復(fù)
這個(gè)應(yīng)用很好的解決了文化遺產(chǎn)（音頻部分）的保護(hù)問題,，我們可以對(duì)它們進(jìn)行存檔以給日后使用,。我們經(jīng)常想要保存原始的錄音，這樣在日后我們可以對(duì)它進(jìn)行后期處理或者恢復(fù),。對(duì)于存檔和恢復(fù)音頻文件,，MPEG-7是通過音質(zhì)描述編碼實(shí)現(xiàn)的，這其中包括對(duì)它們的一般音質(zhì),、技術(shù)錄音參數(shù),、缺陷的位置和類型進(jìn)行記錄編碼。
4.樂器音色搜尋
人類對(duì)于聲音的感覺不只包括音調(diào),、響度和持續(xù)時(shí)間,，還包括音色的感知。MPEG-7通過使用感知相關(guān)特性去描述單聲道樂器聲以對(duì)聲音進(jìn)行比較,，而且它還考慮了持續(xù)諧波聲和沖擊樂器聲,。
5.旋律搜尋
對(duì)于如何搜尋旋律的問題,，它要求搜尋工具不僅能夠高效工作而且能夠容許音調(diào)和時(shí)間稍微不準(zhǔn)確。MPEG-7的方法是采用旋律描述編碼,，它對(duì)音調(diào),、節(jié)奏、時(shí)間信息等進(jìn)行編碼,，以進(jìn)行搜尋,。
6.音頻識(shí)別/指紋
關(guān)于怎么識(shí)別一段錄音的問題，MPEG-7所用到的方法是存儲(chǔ)數(shù)據(jù)庫的原始文件的MPEG-7的簽名/指紋來實(shí)現(xiàn),，再通過和數(shù)據(jù)庫簽名進(jìn)行匹配來識(shí)別未知的音頻材料,。這種通過從音頻信號(hào)中抽取獨(dú)特簽名來自動(dòng)識(shí)別音頻內(nèi)容的音頻指紋方法獲得了廣泛的興趣。不僅如此,，MPEG-7還可以應(yīng)用于說話人的識(shí)別,。
四. 結(jié)論
在發(fā)布了幾代的音視頻壓縮標(biāo)準(zhǔn)之后，MPEG標(biāo)準(zhǔn)小組把工作范圍延伸到了多媒體內(nèi)容的描述上,。因?yàn)閷?duì)音視頻內(nèi)容的高效搜索和檢索的需求在不斷增長(zhǎng),，MPEG-7標(biāo)準(zhǔn)試圖為音視頻提供標(biāo)準(zhǔn)的內(nèi)容描述方法。尤其是標(biāo)準(zhǔn)中的很多描述工具被用來有效地表示內(nèi)容的內(nèi)部結(jié)構(gòu)和特性,，而不是像其它的元數(shù)據(jù)標(biāo)準(zhǔn)一樣以純注解形式來描述,。MPEG-7音頻提供了通用概念以及它有著面向應(yīng)用的特點(diǎn)，同時(shí)它具備很多功能,，例如音樂的哼唱檢索應(yīng)用,、聲音效果識(shí)別、樂器音色描述,、說話內(nèi)容的注釋,、音頻信號(hào)的穩(wěn)健匹配等。