0 引言

    情感計(jì)算的概念是由美國MIT媒體實(shí)驗(yàn)室的PICAR R提出的,，是指對(duì)與情緒有關(guān)的、由情緒引發(fā)的,、或是能夠影響情緒因素的計(jì)算,。情緒不僅有內(nèi)心體驗(yàn)和外部行為表現(xiàn)，同時(shí)伴隨著復(fù)雜的神經(jīng)過程和生理變化,。情緒可由表情,、語音、姿態(tài),、文本等非生理信號(hào)進(jìn)行感知,，但人體的生理信號(hào)不易偽裝，可獲得更加客觀有效的結(jié)果^[1],。針對(duì)基于生理信號(hào)的情緒識(shí)別,，國內(nèi)外科研工作者做了大量的研究，PICARD R等采集了不同情感狀態(tài)下皮膚電反應(yīng),、血容量波動(dòng),、肌電信號(hào)、呼吸作用的4種生理信號(hào),，得到針對(duì)8種情緒81%的識(shí)別準(zhǔn)確度^[2],。KIM K H等開發(fā)了一種基于多用戶生理信號(hào)的短時(shí)監(jiān)控情緒識(shí)別系統(tǒng)，使用支持向量機(jī)對(duì)悲傷,、壓抑,、驚奇和憤怒4種情感狀態(tài)進(jìn)行分類識(shí)別^[3]。劉光遠(yuǎn)等通過多導(dǎo)生理記錄儀MP150采集多種生理信號(hào),，利用Fisher,、k-NN等智能算法進(jìn)行特征提取和分析,，識(shí)別6種基本情感狀態(tài)，獲得60~90%的識(shí)別率^[4,，5],。

    現(xiàn)代科學(xué)技術(shù)提供了基于生理信號(hào)的情感識(shí)別方法，但是通常需要昂貴笨重的設(shè)備,，影響了用戶體驗(yàn)效果及市場應(yīng)用,。伴隨著無線通信技術(shù)、嵌入式及傳感器技術(shù)的快速發(fā)展,，可穿戴式智能設(shè)備在醫(yī)療,、健康等多個(gè)領(lǐng)域表現(xiàn)出重要的研究價(jià)值和應(yīng)用潛力^[6]。本文針對(duì)情感計(jì)算設(shè)計(jì)了一種基于生理信號(hào)的情緒識(shí)別腕帶設(shè)備,。

1 系統(tǒng)總體設(shè)計(jì)

    皮膚電反應(yīng)和心率變化是反映人體心理的放松和緊張程度,、情緒波動(dòng)、性格特征的重要依據(jù),。1890年,，Tarchanoff發(fā)現(xiàn)機(jī)體在視、聽,、痛等感覺刺激及情緒激動(dòng)時(shí)皮膚兩點(diǎn)之間電阻降低,，他將這種現(xiàn)象稱為皮膚電反射（Galvanic Skin Response，GSR）,。然而由于環(huán)境溫度或人體運(yùn)動(dòng)的影響,，皮膚溫度隨之發(fā)生變化，GSR信號(hào)會(huì)受到干擾,，同時(shí)人體運(yùn)動(dòng)時(shí)會(huì)造成心率偽像,，導(dǎo)致生理信號(hào)測量不準(zhǔn)，因此,，增加了對(duì)皮膚溫度及加速度的測量,。系統(tǒng)總體框架如圖1所示。

2 硬件設(shè)計(jì)

2.1 生理信號(hào)及動(dòng)力學(xué)信號(hào)采集單元

2.1.1 皮膚電及皮膚溫度測量

    人們情緒變化時(shí),交感神經(jīng)活動(dòng)度發(fā)生變化,汗腺分泌活動(dòng)改變,，由于汗液中存在大量的電解質(zhì),，從而導(dǎo)致皮膚的導(dǎo)電性發(fā)生變化。對(duì)于情緒這種難以檢測的心理活動(dòng),，利用皮膚電阻進(jìn)行測定成為了最有效的方法,。皮膚電阻阻值較大，一般在2 kΩ~50 kΩ之間,，而由情緒,、呼吸變化引起的皮膚電阻變化幅度很小，需對(duì)其進(jìn)行較大幅度的放大,。皮膚阻抗測量電路如圖2所示,。

    通過兩個(gè)接觸探針測量皮膚的阻抗,，經(jīng)過阻-壓轉(zhuǎn)換調(diào)理電路獲得微弱的變化信號(hào)，再由差分放大電路濾除干擾最終獲得皮膚阻抗相對(duì)變化情況,。

    由于外界環(huán)境溫度的變化會(huì)影響到汗腺分泌情況,，從而影響GSR信號(hào)，因此需增加一個(gè)溫度傳感器來研究溫度對(duì)GSR信號(hào)的影響,。本設(shè)備采用Maxim數(shù)字溫度傳感器DS18B20Z,，它提供9～12 bit攝氏度溫度測量數(shù)據(jù)，通過1-Wire總線通信,，可直接將溫度轉(zhuǎn)化成串行數(shù)字信號(hào)供MCU處理,。應(yīng)注意DS18B20主要通過GND引腳檢測溫度，腕帶設(shè)備通過底部金屬探針接觸皮膚,，作為GND引腳和被測熱源（皮膚）之間的良好導(dǎo)熱通道,。

2.1.2 心率測量

    心率測量基于光電容積脈搏波描記法^[7]（Photoplethysmography，PPG）,采用SON7015心率傳感器,，其集成高靈敏度光感IC，2個(gè)綠光LED以及低噪聲的前置放大器,。測量時(shí),，利用峰值波長為550 nm的綠光LED照射腕部皮膚表面，根據(jù)朗伯-比爾定律(Lamber-Beer′s Law),，通過測量動(dòng)脈血管的組織容積在心臟波動(dòng)時(shí)的微小變化造成的反射光強(qiáng)度變化,，獲得微弱的心率原始信號(hào)。該信號(hào)的幅值為10 μV～5 mV,，其典型值為1 mV,，在處理時(shí)若要求輸出達(dá)到1 V左右，則放大倍數(shù)要做到1 000倍左右,。采用具有較高的共模抑制比的OPA4313運(yùn)算放大器,，實(shí)現(xiàn)放大后的信號(hào)無失真、低噪聲等要求,。通過濾波和放大及比較電路得到較好的方波輸出,，如圖3所示。設(shè)T為輸出的方波中2個(gè)上升沿之間的時(shí)間差,，則每分鐘心跳數(shù)BPM為：

    在MCU中可經(jīng)過兩次捕捉事件得到時(shí)間間隔T,，利用式(1)計(jì)算得到BPM，實(shí)現(xiàn)動(dòng)態(tài)心率的測量,。然而在實(shí)際測量中面臨兩大問題：首先環(huán)境光的干擾使得測量信號(hào)中易出現(xiàn)較大的噪聲信號(hào),，可通過腕帶式的結(jié)構(gòu)設(shè)計(jì)來減小環(huán)境光影響；其次,，當(dāng)傳感器與腕部發(fā)生相對(duì)運(yùn)動(dòng)時(shí),，對(duì)信號(hào)波形的形狀亦會(huì)產(chǎn)生干擾,，通常稱為運(yùn)動(dòng)偽跡，強(qiáng)烈的運(yùn)動(dòng)偽跡遠(yuǎn)遠(yuǎn)大于心率信號(hào),，嚴(yán)重破壞輸出的心率信號(hào)波形,，從而影響到心率測量的準(zhǔn)確性。因此,，需通過加速度傳感器研究運(yùn)動(dòng)狀態(tài)對(duì)心率的影響,。

2.1.3 動(dòng)力學(xué)信號(hào)測量

    采用NXP半導(dǎo)體公司MMA8452Q三軸加速度傳感器，其可感受X,、Y,、Z 3個(gè)自由度的加速度信號(hào)，全方位感知人體運(yùn)動(dòng)信息,。采集的加速度數(shù)據(jù)可以通過傳感器內(nèi)部的高通濾波器實(shí)時(shí)輸出,，輸出信號(hào)已被轉(zhuǎn)換為12 bit數(shù)字量信號(hào)，通過I2C接口為MCU讀取,。在MCU中利用式(2)計(jì)算x,、y、z 3個(gè)方向加速度的矢量長度和,，獲得運(yùn)動(dòng)的幅度（magnitude）軌跡：

    人體最快的跑步頻率為5 Hz,，即相鄰兩步的時(shí)間間隔至少大于0.2 s，設(shè)置最小時(shí)間間隔,，從而在計(jì)步過程中過濾掉高頻噪聲,。同時(shí)，通過設(shè)定幅度閾值來判斷運(yùn)動(dòng)是否有效,，通過對(duì)峰值次數(shù)的累加,，可得到用戶的步數(shù)及用戶的運(yùn)動(dòng)狀態(tài)。步行狀態(tài)下加速度矢量和的變化如圖4所示,。

2.2 信號(hào)處理及無線通信單元

    基于ARM Cortex-M處理器的MCU是針對(duì)智能腕帶的最佳解決方案^[8],，本設(shè)備采用STM32L052作為腕帶設(shè)備的主控，片上集成了同類型MCU中功耗最低的12 bit模數(shù)轉(zhuǎn)換器(ADC),，在10 kb/s的采樣率下功耗僅為48 μA,。通信單元采用Dialog公司藍(lán)牙芯片DA14580，它集成無線收發(fā)器和基帶處理器,，發(fā)射電流低至3.4 mA,，接收電流低至3.7 mA，可在超低功耗下提供非常好的射頻性能及靈活的外圍配置,。在DSPS(Dialog Serial Port Service)的基礎(chǔ)上進(jìn)行串口透傳功能開發(fā),，實(shí)現(xiàn)數(shù)據(jù)的傳輸。

2.3 電源管理及無線充電

    腕帶設(shè)備如圖5所示，由鋰離子可再充電電池LIR2032經(jīng)XC6206 3.3 V/0.5 A穩(wěn)壓芯片后提供3.3 V電壓供整個(gè)系統(tǒng)使用,。MCU采集電池分壓電路后電壓值,，映射成電池剩余電量。選用IDT公司P9235B+P9025AC無線充電解決方案進(jìn)行穿戴設(shè)備的擴(kuò)展,，其中接收端P9025AC內(nèi)置集成同步全橋整流器和LDO輸出級(jí),，將輸入的無線電源信號(hào)轉(zhuǎn)換為5 V/0.4 A的穩(wěn)壓輸出，通過PJ4054單片鋰離子電池恒流/恒壓線性電源管理芯片給電池充電,。系統(tǒng)具有過溫過壓過流保護(hù),，充滿電可自動(dòng)關(guān)閉發(fā)送。

3 軟件設(shè)計(jì)

3.1 下位機(jī)

    軟件分為發(fā)送和接收兩部分,，接收部分主要涉及智能終端控制腕帶設(shè)備上的LED情緒指示燈,，用于消息提醒的振動(dòng)馬達(dá)和低功耗模式開啟等；發(fā)送部分主要包括MCU對(duì)各個(gè)生理信號(hào)的處理算法,，其中發(fā)送主程序流程如圖6所示,。通過判斷當(dāng)前運(yùn)動(dòng)狀態(tài)，將處于劇烈運(yùn)動(dòng)時(shí)采集到的心率及皮電數(shù)據(jù)不再發(fā)送,，從而確保上位機(jī)最終獲得穩(wěn)定可靠的生理信號(hào)數(shù)據(jù),。

3.2 上位機(jī)

    為了便于腕帶設(shè)備的校正及后期數(shù)據(jù)分析，搭建基于LabVIEW數(shù)據(jù)采集系統(tǒng),，主要包括串口交互,、數(shù)據(jù)處理及顯示2個(gè)程序塊。首先,，通過接入計(jì)算機(jī)USB端口的藍(lán)牙適配器進(jìn)行無線連接，利用VISA節(jié)點(diǎn)進(jìn)行串行通信編程,，數(shù)據(jù)接收部分主程序框架采用狀態(tài)機(jī)模型：條件結(jié)構(gòu)+While循環(huán)+事件結(jié)構(gòu),。在傳輸數(shù)據(jù)之前，下位機(jī)程序中已給生理信號(hào)及其他非生理信號(hào)(運(yùn)動(dòng)幅值,、電量,、步數(shù))等數(shù)據(jù)變量定義校驗(yàn)幀頭，用于甄別是否為有效數(shù)據(jù),，當(dāng)與預(yù)先定義的所有幀頭均一致時(shí),，上位機(jī)接收相應(yīng)數(shù)據(jù)。然后,，各幀依次執(zhí)行串口配置及控件的初始化,，采集下位機(jī)的數(shù)據(jù)并顯示在前面板的數(shù)值框和波形圖中，同時(shí)將數(shù)據(jù)寫入電子表格文件,。最后,，關(guān)閉串口通信及釋放程序。

3.3 移動(dòng)應(yīng)用

    在移動(dòng)客戶端,利用藍(lán)牙的API進(jìn)行藍(lán)牙設(shè)備的連接和數(shù)據(jù)的收發(fā),實(shí)現(xiàn)對(duì)腕帶設(shè)備的控制,并建立用戶表。在本地用SQLITE進(jìn)行用戶數(shù)據(jù)和生理信號(hào)中特征值的存儲(chǔ),。使用Android圖表引擎AChartEngine,，建立定時(shí)任務(wù)刷新圖表，顯示所需的波形曲線,。應(yīng)用界面如圖7所示,。

    客戶端借助第三方云服務(wù)，通過Apache HTTTP Client連接服務(wù)器后以Json形式傳輸數(shù)據(jù),。服務(wù)端基于MVC模型設(shè)計(jì)用戶登錄和注冊(cè)的Severlet以及用戶表,、用戶狀態(tài)表、各個(gè)設(shè)備信號(hào)檢測記錄表和文件存儲(chǔ),。

4 實(shí)驗(yàn)分析

    從離散和維度兩種視角來建構(gòu)和理解情緒空間,，將具有顯著特征的離散的情緒狀態(tài)以維度化的方式表達(dá)，如圖8所示,。

    研究情緒識(shí)別的可行性,，很大程度上依賴于情感的誘發(fā)方法，本文采用視頻刺激及情感情境誘發(fā)相結(jié)合獲取個(gè)體的不同情緒狀態(tài)^[9],。分別提取具有較強(qiáng)烈的情感狀態(tài)下的數(shù)據(jù),，包括興奮、緊張,、中性及溫?zé)嵝猿龊?，截取其? min內(nèi)的數(shù)據(jù)，如圖9所示,。

    通過用戶的主觀評(píng)價(jià)標(biāo)記訓(xùn)練樣本并使用有監(jiān)督的機(jī)器學(xué)習(xí)算法——BP神經(jīng)網(wǎng)絡(luò),。該網(wǎng)絡(luò)的主要特點(diǎn)是信號(hào)前向傳遞誤差反向傳播，包括輸入層,、隱含層及輸出層三層,。

    首先，使用式(3),，應(yīng)用最大最小法對(duì)生理信號(hào)進(jìn)行歸一化處理：

式中,，x_k是數(shù)據(jù)樣本；x_max和x_min分別是數(shù)據(jù)序列中的最大值和最小值,。

    其次,，根據(jù)生理特征信號(hào)特點(diǎn)確定BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為3-4-4，隨機(jī)初始化BP神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值,。

    最后,，用訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)分類生理信號(hào)測試數(shù)據(jù)。BP神經(jīng)網(wǎng)絡(luò)分類正確率如表1所示,。

    雖然生理信號(hào)可以客觀地反映人的情感狀態(tài),，但是對(duì)喚醒度較高的情感才有良好的識(shí)別效果。若要進(jìn)行多種情感的分類，如驚訝,、輕蔑,、惡心等，則需要將生理信號(hào)同表情,、語音,、身體姿態(tài)等其他方式進(jìn)行融合。如圖7中所示,，通過調(diào)用前置攝像頭獲取用戶面部表情,，結(jié)合微軟公司認(rèn)知服務(wù)中的人臉情緒識(shí)別API來實(shí)現(xiàn)更多樣更準(zhǔn)確的情感識(shí)別。

5 結(jié)論

    本文設(shè)計(jì)了一種基于STM32L052K8的低功耗生理信號(hào)采集腕帶設(shè)備,，通過低功耗藍(lán)牙將采集的生理信號(hào)發(fā)送至具有藍(lán)牙4.0接口的智能設(shè)備端,，利用BP神經(jīng)網(wǎng)絡(luò)對(duì)生理信號(hào)進(jìn)行分析處理，識(shí)別興奮,、緊張及中性3種情緒狀態(tài),，獲得了較高準(zhǔn)確性。

參考文獻(xiàn)

[1] 張迪,，萬柏坤,，明東.基于生理信號(hào)的情緒識(shí)別研究進(jìn)展[J].生物醫(yī)學(xué)工程學(xué)雜志，2015,，32(1)：229-234.

[2] PICARD R,，VYZAS E，HEALEY J.Toward machine emotional intelligence analysis of affective physiological state[J].IEEE Transactions Pattern Analysis and Machine Intelligence,，2001,，23(10)：1175-1191.

[3] KIM K H，BANG S W,，KIM S R.Emotion recognition system using short-term monitoring of physiological signals[J].Medical and Biological Engineering and Computing,，2004，42(3)：419-472.

[4] YANG Z F,，LIU G Y.Emotion recognition based on nonlinear features of skin conductance response[J].Journal of Information & Computational Science，2013,，10(12)：3877-3887.

[5] YAN F F,，LIU G Y，LAI X W.The research on material selection algorithm design with improved OWA in active regulation system based on human-computer interaction[J].Journal of Information and Computational Science,，2013,，14(9)：4477-4486.

[6] 謝凌欽，石萍,，蔡文杰.可穿戴式智能設(shè)備關(guān)鍵技術(shù)及發(fā)展趨勢[J].生物醫(yī)學(xué)工程與臨床,，2015，19(6)：635-640.

[7] 石萍，喻洪流.光電容積描記技術(shù)原理及其應(yīng)用[J].生物醫(yī)學(xué)工程學(xué)雜志,，2013,，30(4)：899-904.

[8] 吳灶全，劉夢星,，秦麗平,，等.基于ARM Cortex-M0+內(nèi)核的穿戴式醫(yī)療設(shè)備MCU選型分析[J].中國醫(yī)療器械雜志，2015,，39(3)：192-196.

[9] 趙國朕,，宋金晶，葛燕,，等.基于生理大數(shù)據(jù)的情緒識(shí)別研究進(jìn)展[J].計(jì)算機(jī)研究與發(fā)展,，2016，53(1)：80-92.

作者信息:

李英春1,，尤  磊1,，賀靖康1，周  柯2,，趙立強(qiáng)1,，李  燁1

（1.陜西科技大學(xué) 電氣與信息工程學(xué)院，陜西 西安710021,；2.西安滄海網(wǎng)絡(luò)科技有限公司,，陜西 西安710000）