摘  要： 將Android手機操作系統(tǒng)用于嵌入式平臺,，提出一種基于Android平臺的可視對講系統(tǒng)設計方案,。闡述了音視頻編解碼技術(shù)，并結(jié)合JNI,、NDK技術(shù),、嵌入式軟硬件平臺對可視對講方案進行實現(xiàn)。該系統(tǒng)可以用于樓宇對講系統(tǒng),。
關(guān)鍵詞： 可視對講,；JNI；NDK,；音視頻編解碼

　Android是Google公司推出的基于Linux的開源手機操作系統(tǒng),，由于代碼開源，受到很多手機廠家的青睞,?？梢晫χv系統(tǒng)在Android操作系統(tǒng)未出現(xiàn)之前，軟件研發(fā)一般采用底層語言,，容易出現(xiàn)功能單一,、產(chǎn)品升級困難等情況，要在對講系統(tǒng)中開發(fā)出具有3D圖形效果的界面更是難上加難,。鑒于此,，本文利用Android平臺的可移植性、代碼開源等優(yōu)勢,，結(jié)合JNI,、NDK技術(shù)，提出了基于Android平臺的可視對講系統(tǒng)的設計方案并加以實現(xiàn),。
　JNI[1]（Java Native Interface）是Java本地調(diào)用接口,，它使得運行于Android平臺的Java程序可以使用C,、C++甚至匯編語言編寫的動態(tài)鏈接庫。在需要頻繁訪問內(nèi)存或復雜計算的情況下,，使用C動態(tài)鏈接庫比在Android平臺上使用Java語言實現(xiàn)相同功能更具有效率[2],。NDK[3]（Native Development Kit）提供了一系列的工具，可以生成ARM二進制碼的動態(tài)庫,，并且能自動地將生成的動態(tài)庫和Java應用程序一起打包成Android系統(tǒng)可以直接安裝的apk安裝包,，即NDK可以將包含JNI接口函數(shù)的C源程序文件編譯生成動態(tài)庫，供Android應用程序調(diào)用,，提高了對現(xiàn)有代碼的重用性,，而加快了開發(fā)進度。
　本文提出一種可視對講系統(tǒng)設計方案,，對講雙方為門口機和室內(nèi)機,，并將設計方案在i.MX51硬件平臺進行實現(xiàn)。門口機進行音視頻的采集,、編碼,、傳輸及音頻解碼、播放,；室內(nèi)機采用Android平臺,，但考慮用戶室內(nèi)信息的保密性，室內(nèi)機沒有視頻采集功能,，室內(nèi)機只進行音視頻的解碼,、播放以及音頻的采集、編碼,、傳輸,。
1 可視對講系統(tǒng)設計
1.1 通信流程設計
　數(shù)據(jù)包傳輸協(xié)議使用面向無連接、資源消耗小,、處理速度快的UDP協(xié)議。尋址完成建立UDP直連后,，門口機首先對視頻進行編碼傳輸,，直到被叫方按下接聽鍵后，門口機才對音頻數(shù)據(jù)進行傳輸,。為了保證通話一直在線,，室內(nèi)機每隔一定的時間向門口機發(fā)送通話在線詢問，如果收到在線確認應答則保持通話狀態(tài),，否則就結(jié)束通話,。可視對講系統(tǒng)通信流程如圖1所示,。

　表2中：包頭為對講數(shù)據(jù)包的標示符,，命令類型、操作類型說明詳見表3，時間戳主要是用于音視頻的同步,，數(shù)據(jù)類型分為音頻和視頻兩種,，幀序號為0~65 535。如果沒有進行數(shù)據(jù)包分段,，則總包數(shù)與當前包數(shù)均為1,。音視頻數(shù)據(jù)從第41位開始算起，音視頻數(shù)據(jù)長度由數(shù)據(jù)包格式中的數(shù)據(jù)長度所指定,。
　根據(jù)系統(tǒng)通信流程圖1,、結(jié)合數(shù)據(jù)包格式，本對講系統(tǒng)參數(shù)如表3所示,。其中命令類型,、操作類型分別與表2數(shù)據(jù)包格式相對應。

1.5 音視頻編解碼選擇
　系統(tǒng)音頻編碼選用G.711編碼[4],。G.711是一種由國際電信聯(lián)盟訂定的音頻編解碼方式,，擁有一倍的壓縮率，是語音通信中最常用的編解碼方式之一,。采樣和量化是音頻編程及聲音數(shù)字化的兩個關(guān)鍵步驟,，本系統(tǒng)使用的音頻采樣頻率為8 kHz、量化位數(shù)為16 bit,、單聲道,。
　FFmpeg是用于音頻和視頻開源方案，由于它的開源和免費以及跨平臺的特點,，受到開發(fā)商的青睞,。FFmpeg支持包括xvid等在內(nèi)的多達90種解碼器，由C語言實現(xiàn),，不僅可以應用于PC軟件平臺,，也可以用于嵌入式設備。本系統(tǒng)中視頻選用xvid編解碼器,，視頻格式為MPEG-4,。（xvid是一個開放源代碼的MPEG-4視頻編解碼器）視頻標準采用NTSC制，視頻尺寸為352×240,，幀頻為30 F/s,；使用NDK提供的交叉編譯工具將包含JNI接口函數(shù)的音視頻編解碼源文件統(tǒng)一編譯成為動態(tài)鏈接庫，供Android平臺調(diào)用,。
2 系統(tǒng)實現(xiàn)
2.1 系統(tǒng)軟硬件平臺
　系統(tǒng)硬件平臺為i.MX51 EVK,。i.MX51 EVK是由Freescale公司自主研發(fā)的，中央處理器基于ARM Cortex A8核心的i.MX51處理器,；主頻可擴展到1 GHz,；處理器內(nèi)部集成了DDR/DDR2內(nèi)存控制器,、OpenGL/OpenVG圖形核心、ATA控制器,、以太網(wǎng)控制器等,，支持720 p高清視頻播放；指令緩存和數(shù)據(jù)緩存為32 KB,，二級緩存為256 KB,；其容量指標是之前ARM11產(chǎn)品的2倍，可大大提高CPU的處理能力,。同時處理器內(nèi)部還集成了矢量運算的浮點運算及信號處理加速器,，為多媒體信息娛樂終端提供了強大的處理核心支持[5]。
　系統(tǒng)軟件平臺采用Linux操作系統(tǒng),、eclipse集成開發(fā)環(huán)境,。Android SDK[6]版本為2.2，Android NDK版本為android-ndk-r6,。使用串口進行調(diào)試,。
2.2 Android平臺在i.MX51 EVK上的移植

　系統(tǒng)采用4 GB的SD卡存放引導程序、內(nèi)核,、根文件系統(tǒng)等鏡像,。引導程序采用U-Boot，Linux內(nèi)核版本為2.6.31,。移植流程：Android源碼可以從http：//source.android.com獲取到,，編譯好U-Boot、Linux內(nèi)核,、根文件系統(tǒng)以及Android系統(tǒng)鏡像[7]后,，設置i.MX51板上的S1 Boot Switch模式為1100000001，使用ATK工具進行鏡像的下載,。下載后系統(tǒng)鏡像在SD卡上分布圖如圖3所示,。

　圖3中，MBR主要存儲SD卡的分區(qū)信息表,，起始地址為0 KB,。引導程序、內(nèi)核,、根文件系統(tǒng)的起始地址分別為1 KB,、1 MB,、4 MB,。System和Recovery分別各占一個分區(qū)，System為Android操作系統(tǒng)的鏡像文件所占分區(qū),，Recovery分區(qū)主要是用來備份和還原系統(tǒng),。
2.3 音視頻編解碼實現(xiàn)
2.3.1 音頻編解碼實現(xiàn)
　音頻編碼與解碼的區(qū)別僅在于調(diào)用的C庫函數(shù)不一樣,，音頻編解碼調(diào)用的C庫函數(shù)分別為G711Encoder、G711Decoder（本文以解碼為例）,。音頻解碼具體流程如下：
?。?）音頻Java本地調(diào)用函數(shù)
在使用音頻解碼的類中編寫Java本地調(diào)用函數(shù)：
public native void G711Decoder（byte[]pcm，byte[]code,，int size,，int lawflag）；
?。?）生成頭文件
C庫與Java間需要一個后綴為“.h”的頭文件來銜接,，這個頭文件通過javah命令生成，javah工具包含在JDK中,。JDK是Java的核心,，包含Java運行環(huán)境、Java工具,、Java基礎(chǔ)類庫,。
　（3）JNI接口函數(shù)
　JNI接口函數(shù)編寫在C語言文件中,，與音視頻解碼源碼一起打包生成動態(tài)鏈接庫,。在接口函數(shù)中聲明4個無符號指針變量：decode指向待解碼的數(shù)據(jù)、depcm指向解碼后的數(shù)據(jù),、enpcm指向待編碼的數(shù)據(jù),、encode指向編碼后的數(shù)據(jù)。解碼代碼如下：
void  Java_com_qsa_play_G711Decoder
（JNIEnv*env,，jobject this,，jbyteArray pcm，jbyteArray code,，jint size,，jint lawflag）
{
    depcm=（unsigned char*）（*env）->
GetByteArrayElements（env，pcm,，0）,；
    decode=（unsigned char*）（*env）->
GetByteArrayElements（env，code,，0）,；
    G711Decoder（depcm，decode,，size,，lawflag）；
   （*env）->ReleaseByteArrayElements（env,， pcm,，
（jbyte）depcm,，0）；
   （*env）->ReleaseByteArrayElements（env,，code,，（jbyte）
decode，0）,；
}
其中,，depcm=（unsigned char*）（*env）->GetByteArrayElements（env，pcm,，0）用來獲取Java層傳遞的待解碼字節(jié)數(shù)組的首地址,，G711Decoder（）函數(shù)實現(xiàn)音頻解碼，（*env）->ReleaseByteArrayElements（env,，pcm,， （jbyte）depcm，0）釋放傳遞的數(shù)組成員,，進行資源回收,。
（4）使用NDK中ndk-build命令編譯生成動態(tài)鏈接庫
ndk-build命令是ndk命令工具集中的一個命令，與Linux下shell編程中的make命令相似,，它會查找文件夾中的后綴為“.mk”的Makefile文件,，根據(jù)該文件的依賴文件，將源文件編譯成動態(tài)鏈接庫,。
2.3.2 視頻編解碼實現(xiàn)
　視頻的編解碼流程與音頻編解碼流程基本相似,，視頻編解碼調(diào)用的C庫函數(shù)分別為avcodec_encode_video、avcodec_decode_video2,。限于篇幅,，在此重點介紹Android平臺視頻的解碼及顯示。
　在解碼視頻數(shù)據(jù)前,，要先做一系列的準備工作：
?。?）給出主要的數(shù)據(jù)結(jié)構(gòu)
static AVPacket avpkt；
static AVFrame*picture,；
static AVFrame*pFrameRGB,；
static AVCodec*codec；
static AVCodecContext*c= NULL,；
static struct SwsContext*img_convert_ctx,；
AndroidBitmapInfo info；
void*pixels,；
?。?）初始化流程
①注冊解碼器
avcodec_init（）；
av_register_all（）；
②初始化AVPacket,、AVCodecContext、AVFrame
av_init_packet（&avpkt）,；
c=avcodec_alloc_context（）,；
picture=avcodec_alloc_frame（）；
其中,，AVFrame是數(shù)據(jù)流在編解碼過程中用來保存數(shù)據(jù)緩存的對象,，從數(shù)據(jù)流中讀取到的數(shù)據(jù)首先保存到AVPacket中。一個AVPacket最多只包含一個AVFrame,，而一個AVFrame可以包含好幾個AVPacket,。AVCodecContext用于動態(tài)記錄一個解碼器的上下文信息。
③設置視頻解碼器
codec=avcodec_find_decoder（MPEG-4）,；
avcodec_open（c,，codec）；
④視頻解碼流程
　視頻解碼流程如圖4所示,。圖4中,，AndroidBitmap_getinfo用于獲取Android平臺Bitmap對象的大小，AndroidBitmap_ lockpixels函數(shù)是對Bitmap進行加鎖,、互斥使用資源,。如果AVPacket包中存在未解碼完的數(shù)據(jù)，則調(diào)用函數(shù)avcodec_decode_ video2進行解碼,；若解碼出一幀后需要調(diào)用函數(shù)sws_scale進行格式轉(zhuǎn)換,。視頻數(shù)據(jù)解碼完后顏色空間為YUV，需轉(zhuǎn)換成RGB顏色空間,。最后調(diào)用fill_bitmap函數(shù)進行數(shù)據(jù)填充及進行Bitmap的解鎖和資源的釋放,。

　視頻顯示采用Android平臺的ImageView控件進行顯示。解碼線程接收到視頻數(shù)據(jù)后,，通過JNI調(diào)用,，調(diào)用動態(tài)庫中的視頻解碼接口函數(shù)進行解碼，每解碼完一幀后通過消息通知主線程進行顯示圖像的更新,，這樣就達到了視頻數(shù)據(jù)動態(tài)顯示的效果,。
3 實現(xiàn)效果
　Android平臺在i.MX51 EVK平臺上移植成功后，串口中Android 操作系統(tǒng)啟動信息如圖5所示,。    從圖中的啟動信息可以看出,，Android平臺移植成功，啟動信息也包含有CPU信息,、內(nèi)核版本,、大小、加載地址,、Android文件系統(tǒng)版本等信息,。

　該軟件開發(fā)完成后,，在Android工程的bin下生成apk文件，并復制apk文件到SD卡中,，在Android系統(tǒng)中安裝該軟件,，使用門口機進行撥號，編碼后的音視頻數(shù)據(jù)通過網(wǎng)線進行傳輸,。
　本文將Android手機操作系統(tǒng)應用于i.MX51 EVK平臺,，并在該平臺上提出了可視對講的設計方案，分別進行了通信流程,、應用協(xié)議,、功能模塊等設計，最后實現(xiàn)了系統(tǒng)的設計方案,。但由于視頻是使用軟件解碼,，運行效率有待提高，且語音對講部分回聲消除存在問題,，有待進一步研究,。
參考文獻
[1] 任俊偉，林東岱.JNI技術(shù)實現(xiàn)跨平臺開發(fā)的研究[J].計算機應用研究,，2005,，22（7）：180-184.
[2] LEE S， JEON J W. Evaluating performance of Android platform using native C for embedded systems[C]. Proceeding. IEEE International Conference on Control Automation and Systems,，2010.
[3] 楊豐盛.Android應用開發(fā)揭秘[M].北京：機械工業(yè)出版社,，2010.
[4] Fu Wei， Zhang Jun. Study on G. 711 voice communication of IP video intercom system[C]. Proceedings of the IEEE International Conference on Digital Manufacturing and Automation,， 2010.
[5] Freescale 公司.i.MX 51 芯片說明書.2010.
[6] Android SDK|Android developers[EB/OL]. http：//developer.android.com/sdk/index.html.2010.
[7] 宋杰,，王書菊.基于ARM2440平臺的Android操作系統(tǒng)的移植[J].計算機技術(shù)與發(fā)展，2011,，21（1）：66-68.