摘要：隨著信息技術和計算機技術的飛速發(fā)展,，大量的語音,、數(shù)據(jù)、圖像,、圖形等信息需要計算平臺進行實時感知和處理,，用戶對高性能、高帶寬,、抗惡劣環(huán)境計算平臺也提出了越來越高的要求,。本文提出一種基于VPX總線設計的高級計算平臺，為高性能,、高帶寬,、適應惡劣環(huán)境計算平臺的實現(xiàn)提供了技術路線和方法。
關鍵詞：VPX總線高級計算平臺多CPU高速互聯(lián)智能平臺管理軟件
第一作者介紹：陳志列（1963年）,，男,，高級工程師，研究方向為特種計算機
AdvancedComputingPlatformBasedonVPXBus
Abstract:Alongwiththerapiddevelopmentoftheinformationtechnologyandthecomputertechnology,alargequantityofinformationsuchasvoice,data,imageandgraphics,etcrequiresreal-timeperceptionandprocessing;higherrequirementsareraisedforthehighperformance,highbandwidthandhushenvironmentresistantcomputingplatform.AnadvancedcomputingplatformbasedonVPXbusisdiscussedinthepaper,whichprovidesthetechnologyroutesandmethodstorealizethehigh-performance,highbandwidthandhushenvironmentresistantcomputingplatform.
Keywords:VPXbus;advancedcomputingplatform;versatileCPUhigh-speedinterconnection;intelligentplatformmanagementsoftware
引言
隨著信息技術和計算機技術的飛速發(fā)展,，未來社會將是一個高效的數(shù)字化社會,，大量的語音,、數(shù)據(jù),、圖像,、圖形等信息需要計算平臺進行實時感知和處理。而伴隨著計算機在各個領域的深入,，特別是在航空航天控制,、海底勘探考察、地震火山的災難檢測,、大規(guī)模導彈發(fā)射控制,、雷達監(jiān)測及電子對抗、以及地外星球科考等高端測控領域,，用戶對高性能,、抗惡劣環(huán)境計算平臺也提出了越來越高的要求，使得傳統(tǒng)的并行總線正在逐漸退出歷史舞臺,，出現(xiàn)了新一代的串行總線,。但在惡劣環(huán)境適應性方面，商用總線技術在堅固性方面不能長期適應惡劣工作環(huán)境的需求,，而在接口的模塊化,、動態(tài)重組等方面也難以滿足應用需要，其可靠性不高且維修極不方便,。并且近年來CPCI總線工控機和VME總線工控機處在一個共同競爭和發(fā)展的并存狀況[1],，由于先入為主的緣故，VME總線在高性能的實時工業(yè)應用領域一直處于主導地位,。但CPCI后來居上,，其開放性的架構體系和通用的操作系統(tǒng)等優(yōu)勢，使CPCI總線自誕生起在PC機,、工控機和軍用裝備等各個領域受到廣泛關注并被普遍采用,。遺憾的是，在這個以帶寬為生命的海量數(shù)據(jù)時代,，目前這兩種總線均顯得力不從心,。迫于生存和競爭，VITA于2006年首次推出VPX總線技術標準（VITA46）和REDI加固增強的機械設計規(guī)范（VITA48）,，不僅在帶寬上突破Gigabytes傳輸,，而且非常好的解決了加固，高速互聯(lián),，管理等各個方面的問題,，可以廣泛的應用在航空、航天,、雷達,、海底勘探,、通信等領域。
VPX總線的發(fā)展歷史
VPX（VersatileProtocolSwitch多協(xié)議交換）是由VITA（VMEbusInternationalTradeAssociation）組織制定的用以滿足惡劣環(huán)境下高可靠性,、高帶寬要求的下一代高級計算平臺標準,。由原先的VME（VersaModuleEurocard）總線升級而來，并且兼容了XMC,、FibreChannel,、PCI-Express、RapidIO,、Hypertransport等高速串行總線協(xié)議,。誕生于近30年前的VME總線是一種通用的計算機總線，結合了Motorola公司Versa總線的電氣規(guī)范和Eurocard機械封裝標準,，是一種開放式架構,，支持并獨立于多處理器計算機系統(tǒng)。1984年,，VITA成立,，致力于推動VME總線的市場和發(fā)展。1987年,，VME總線被IEEE正式接納為萬用背板總線（VersatileBackPlaneBus）標準,，標準號為ANSI/IEEE-1014，總線接口為兩個96芯的針孔連接器,，數(shù)據(jù)寬度為32位,，帶寬為40MB/s，市場名稱為VME32,。伴隨電子技術的發(fā)展,，VITA先后多次推出升級版本，如VME64,、VME64x,、VME320。其中,，VME64數(shù)據(jù)寬度從原先的32位擴展為64位,，把P1/J1和P2/J2連接器從三行96針改為5行160針，帶寬為80MB/s,，增加了總線鎖定周期和第一插槽探測功能,，并加入了對熱插拔的支持；VME64x相對于VME64,，在P1/J1和P2/J2之間加入了一個P0/J0連接器,，傳輸協(xié)議從四沿傳輸變?yōu)殡p沿信號傳輸，數(shù)據(jù)速率可達到160MB/s,；其后VME320在VME64x基礎上進一步采用雙沿源同步傳輸協(xié)議（2eSST）,，可將理論帶寬提高到320MB/s,，但用戶對VME的帶寬進展速度不滿意，此外,，設備性能的大幅提高也帶來了發(fā)熱量迅速增加和可靠性降低等派生問題,。近幾年，為了滿足更大帶寬和更強制冷能力的要求,，VITA先后推出VXS（VITA41）,、VPX（VITA46）和REDI（VITA48）等一系列新的模塊標準。其中,，VPX全部采用的MultiGigRT2連接器具有連接緊密、插入損耗小和誤碼率底等優(yōu)點,；通過結合REDI構成的VPX-REDI平臺可以滿足苛刻環(huán)境和大帶寬的需求,。
VPX定義了新型的高速連接器標準，每個模塊最多支持728個信號引腳,，所有連接器均支持高速差分信號,，能夠支持PCI-Express，10GEthernet,，SerialRapidIO等協(xié)議,；定義了風冷，傳導,，水冷等5種加固散熱結構,；定義了中央交換，分布式交換的背板結構,；定義了模擬信號和光信號的模塊背板互聯(lián)標準,；定義了電源標準；定義了基于IPMI的智能管理,，非常好的解決了加固,，高速互聯(lián)，管理等各個方面的問題,。
基于VPX總線的高級計算平臺需要解決的關鍵問題
基于VPX總線的高級計算平臺,，需要研究多協(xié)議高速互連、高性能CPU硬件平臺,、高可靠性保護,、智能管理、冗余設計,、傳導散熱結構等關鍵技術,。要解決如下關鍵技術問題：1）VPX高級計算平臺的環(huán)境適應性問題，平臺需滿足對航空航天控制,、導彈/火箭發(fā)射,、海底勘探,、災難監(jiān)測等抗沖擊能力強、溫度變化劇烈下的環(huán)境應用要求,，因此需要解決VPX高級計算平臺的連接可靠性,、環(huán)境適應性的難題；2）VPX高級計算平臺的多核CPU的AMP,、SMP處理問題,，平臺的處理板均采用多核處理器，而產品在應用中需要采用對稱多處理模式,、非對稱多處理模式或者兩者結合的方式,，這就要求對多核處理做深入研究，實現(xiàn)SMP和AMP方式,，以滿足實際應用的需求,；3）多CPU高速互聯(lián)總線協(xié)同處理問題，平臺需要支持PCI-E/SerialRapidIO/Ethernet互聯(lián),，需要能支持多塊處理板通過互聯(lián)總線實現(xiàn)多CPU處理,，實現(xiàn)同步或異步的協(xié)同處理機制，在VPX智能平臺系統(tǒng)板上還需實現(xiàn)SerialRapidIO協(xié)議棧,，解決SerialRapidIO互聯(lián),，多CPU啟動機制，多CPU配置等技術難題,；4）高度靈活的XMC/PMC擴展問題,，平臺的處理板需要支持XMC/PMC擴展，支持各種存儲板,、DSP板,、交換板等，因XMC走線多為差分信號,，對信號質量提出了很高的要求,，同時為了加強環(huán)境適應性，處理板均有三層鋁合金保護殼,，布局布線均有諸多限制,；5）智能平臺管理控制問題，平臺每塊單板包括一個單獨的處理模塊（VMC）,，用來實現(xiàn)IPMI功能對整個機箱進行管理,，此模塊獨立于主處理模塊，實現(xiàn)溫度自動監(jiān)控,，模塊上下電等功能,，需要軟硬件協(xié)調配合才能實現(xiàn)實時的風扇監(jiān)控、溫度監(jiān)控,、電壓監(jiān)控等功能,；6）多層次數(shù)據(jù)總線設計問題,，平臺支持四個層次的通道：采用全網(wǎng)拓撲結構的PCI-Express/Serial-RapidIO/10GEthernet的數(shù)據(jù)通道，采用雙星拓撲結構的千兆以太控制通道,，基于I2C的IPMI冗余總線以及通用總線,，它們之間的交互以及協(xié)同處理需要統(tǒng)一考慮。
基于VPX總線的高級計算平臺的架構[2]
本論文設計的基于VPX總線的高級計算平臺參照VPX系列協(xié)議VITA46,、VITA48規(guī)范,、VITA65標準來實現(xiàn)，其架構如圖1所示包括4類通道：通用通道,，IPMI通道,，數(shù)據(jù)通道和控制通道。
通用通道實現(xiàn)總線拓撲,，其中包括了電源通道提供不同伏值的電源,、復位通道、模塊地址配置等,。IPMI通道實現(xiàn)冗余總線拓撲，實現(xiàn)兩條總線型的IPMI通道,。發(fā)送方在兩個通道同時發(fā)送相同的數(shù)據(jù),，而接收方VMC接收進程實時監(jiān)聽通道的狀態(tài)，其正常工作時使用其中的一個通道,，當出現(xiàn)延遲或者鏈路斷開時,，VMC接收方自動切換到另一通道。數(shù)據(jù)通道提供在1-5槽實現(xiàn)全網(wǎng)狀拓撲設計,，用于實現(xiàn)大數(shù)據(jù)量的高速傳輸,，其每個槽位作為一個節(jié)點，與其他四個槽位分別實現(xiàn)4X全雙工通信,?？刂仆ǖ劳ㄟ^第六槽交換槽實現(xiàn)雙星冗余拓撲，交互板作為中央交換單元,，每個處理槽位有兩個千兆以太網(wǎng)通道同中央交換單元互聯(lián),，中央交換單元將每個通道連接到一個交換矩陣，實現(xiàn)雙星拓撲結構,。
圖1VPX高級計算平臺架構圖
VPX背板用來互聯(lián)各個處理模塊及后IO模塊,，交換模塊，周邊模塊,，存儲模塊,，提供四種通路以及SATA等用戶可自定義的通道。背板還互聯(lián)電源模塊和其它模塊,，除此之外,，背板為IPMI管理還提供了一個存儲單元,，用于存儲CHMC的SDR，SEL等信息,。本論文設計的平臺背板為6U,、6槽的VPX背板，其中5個Payload（負載）槽位,，1個網(wǎng)絡控制交換槽,。5個Payload槽的數(shù)據(jù)通道（J1）進行分布式互連，每個槽位有4路×4的差分信號（PCI-Express或者Serial-RapidIO）,，可分為A,、B、C,、D四個通道,，分別與其它4個槽位的A、B,、C,、D四個通道進行互連，其連接方案如圖2所示,。
圖2背板數(shù)據(jù)通道互連框圖
基于VPX總線的高級計算平臺的具體設計[3]
本論文具體設計中主要介紹了基于FreescaleQorIQP40808核CPU并支持SerialRapidIO/PCI-Express交換的VPX高級計算平臺處理板,，基于MPC8377和Broadcom方案的VPX高級計算平臺交換板，VPX智能平臺管理軟件等,。
基于FreescaleQorIQP4080[4]的8核CPU的處理板
VPX高級計算平臺處理板是VPX系統(tǒng)的核心,，它通過VPX背板和其他處理板或周邊板配合完成業(yè)務需求。比如它可以通過PCI-E互聯(lián)擴展網(wǎng)絡,，存儲,，顯示等周邊功能，也可以通過RapidIO互聯(lián)擴展DSP,，F(xiàn)PGA等用于處理數(shù)字信號,，圖像語音處理。除此之外,，VPX處理板提供了兩個PMC/XMC擴展槽,，可以用于擴展1553B等軍用總線。采用PowerPC最新的QorQ平臺,，8核CPUP4080,，同時支持PCI-Express和SerialRapidIO板內交換，如圖3所示,。
圖3基于FreescaleQorIQP4080的8核CPU的處理板
采用PowerPC最新的QorIQ平臺,，8核CPUP4080，支持對稱多處理和非對稱多處理，并能實現(xiàn)一塊CPU支持多種操作系統(tǒng),，圖4為該處理板的多核方案：
圖4多核CPU方案
在本論文VPX平臺上我們將同時支持Linux的SMP系統(tǒng),，VxWorks的SMP和AMP系統(tǒng)。實現(xiàn)一顆CPU多操作系統(tǒng)的配置,，或某些單獨的核實現(xiàn)RAWCODE,。
針對多CPU高速互聯(lián)總線協(xié)同處理問題：我們采用的解決方案是通過在處理板上增加PCI-Express和Serial-RapidIO交換，以PCI-Express交換提供周邊擴展,，以Serial-RapidIO交換實現(xiàn)多CPU協(xié)同工作,。提供啟動Flash，每個Flash中劃分8個區(qū)域,，每個區(qū)域提供一個Bootloader和操作系統(tǒng),，并實現(xiàn)兩塊flash冗余，用以支持AMP的多核處理,。系統(tǒng)啟動后,，由第一槽（系統(tǒng)槽）首先啟動，其啟動代碼對Serial-RapidIO進行配置,，配置轉發(fā)端口和路由策略,，配置成功后啟動其他CPU的Bootloader，啟動其他CPU,。
針對多核CPU的AMP,、SMP處理問題：基于P4080的VPXSBC支持SMP和AMP模式。系統(tǒng)提供大容量的NORFlash并進行分區(qū),。高端地址用于存放啟動代碼，低端地址用于存放用戶數(shù)據(jù),。啟動代碼區(qū)被分為16個部分,，為P4080中的每一個內核提供2個可選的啟動區(qū)域。為避免因Flash數(shù)據(jù)被破壞而無法啟動,，系統(tǒng)提供了一個ROM存放啟動代碼,，用于系統(tǒng)恢復。
基于MPC8377和Broadcom方案的交換板
VPX高級計算平臺的交換板主要是提供控制通道的以太網(wǎng)數(shù)據(jù)交換,，我們在實現(xiàn)時采用單交換矩陣,，共劃分為兩個VLAN，每個VLAN內包括處理板,，周邊板的一路千兆以太網(wǎng)接口,。提供二三層交換路由協(xié)議STP，RSTP,，MSTP,，RIP，OSPF，IGMP等,，提供二三層協(xié)議處理和路由交換管理,；對用戶提供CLI，WEB,，SNMP的管理接口,；提供IPMI的機架管理功能CHMC，對VPX平臺內的所有VMC的SDR,，SEL,，F(xiàn)RU，Sensor進行管理,，同時提供對熱插拔的支持,；支持OpenVPXSLT6-SWH-4F24T-10.4.4，使用MPC8377CPU和Broadcom交換芯片,，支持單矩陣交換,。
圖5VPX高級計算平臺交換板框圖
VPX高級計算平臺的交換板實現(xiàn)框圖如圖5所示。數(shù)據(jù)層面采用Broadcom千兆交換芯片,，提供L2表,，路由表，組播表,，ACL,，VLAN等功能進行數(shù)據(jù)轉發(fā)，管理層面采用freescaleMPC8377處理器,，運行各種協(xié)議,，實現(xiàn)管理接口。
VPX高級計算平臺管理軟件
圖6為VPX系統(tǒng)管理軟件的架構[5]圖,，根據(jù)功能從上往下依次可以劃分為：系統(tǒng)管理層,、平臺管理層和系統(tǒng)驅動層。其中系統(tǒng)管理是上層管理軟件,，向用戶提供一個系統(tǒng)管理接口,；平臺管理則是VPX系統(tǒng)管理軟件設計的核心部分，位于VPX系統(tǒng)管理軟件架構的中間層,，負責整個平臺管理,，向上與SystemManager通信，向下與VMC控制器進行通信,；系統(tǒng)驅動層包括操作系統(tǒng)移植和驅動程序,。
圖中中間框起來的部分為平臺管理的核心部分，由一個MessageHandler和若干平臺管理功能模塊組成,。根據(jù)所管理范圍的不同,，我們將這些管理模塊分成ChassisManagement和BoardManagement兩部分，其中ChassisManagement包括SEL、PEF,、FRUDiscover&Control,、CoolingManagement以及PowerSupplyManagement；BoardManagement包括SDRManagement,、FRUInfornationManagement,、FRUStateManagement、SensorManagement（FRUHealthMonitor,、ThresholdSensorPolling以及Self&PayloadTest）,。平臺管理軟件在初始化的時候獲取SYS_CON*信號狀態(tài)（或者直接根據(jù)槽位號），如果為低則啟動ChassisManagement功能,，否則僅啟動BoardManagement功能,。
為了調試和管理的方便，本系統(tǒng)還設計了一個內嵌的CLI接口,，該CLI接口通過CHMC的調試串口同用戶交互,，可以用于本地實現(xiàn)一些簡單的查詢和操作命令，如SEL查詢及清理,、SDR和FRU信息的查詢,、Sensor列表及狀態(tài)的查詢、FRUControl操作等,。
圖6VPX系統(tǒng)管理軟件的架構圖
針對智能平臺管理控制,，每塊單板包括一個單獨的處理模塊，用來實現(xiàn)IPMI功能對整個機箱進行管理,，此模塊獨立于主處理模塊,，實現(xiàn)溫度自動監(jiān)控，模塊上下電等功能,，需要軟硬件協(xié)調配合實現(xiàn),。采用脈寬調制方法由IPMI控制風扇工作狀態(tài)，每個風扇各自配有故障告警信號和風速控制信號來進行風扇監(jiān)控,。在交換控制板、背板和節(jié)點板上設置溫度傳感器,，交換控制板通過IPMI接口對各發(fā)熱點進行檢測來進行溫度監(jiān)控,。交換控制板和節(jié)點板上電壓種類較多，一旦電壓波動超出系統(tǒng)要求范圍,，需要交換控制板CPU進行報警,，由IPMI接口控制觸發(fā)電壓保護電路來進行電壓監(jiān)控保護。
總結
本設計平臺性能高,、帶寬高,、穩(wěn)定性好，抗干擾能力強，維護方便,，適用于惡劣工作環(huán)境,。本設計平臺產品已在不同環(huán)境下進行了長時間測試，運行穩(wěn)定可靠,，各項技術指標良好,。伴隨著信息與工業(yè)化不斷融合，計算機在各個領域的不斷深入,，基于VPX總線的高級計算平臺必將在未來數(shù)字化社會里被廣泛應用,。
[參考文獻]
1、張?zhí)炝?，張思敏,，《CPCI-E與VPX總線標準的比較分析》，工業(yè)控制計算機,，2009.7
（共3頁）
2,、《AmericanNationalStandardforVPXBaselineStandard》，ANSI/VITA46.0-2007,，2007.10（18-48）
3,、《AmericanNationalStandardforEnvironments,DesignandConstruction,Safety,andQualityforPlug-InUnitsStandard》，ANSI/VITA47-2005（2007）,，2007.9（共21頁）
4,、《P4080QorIQ™IntegratedMulticoreCommunicationProcessorFamilyReferenceManual》，F(xiàn)reescale,，2010.4(1-48)
5,、《IntelligentPlatformManagementInterfaceSpecificationv1.5》2002.2（40-68）