編者按： Xilinx公司宣布推出Xilinx reVISION? 堆棧,，將賽靈思技術擴展至廣泛的視覺導向機器學習應用領域，進一步補充和完善了其近期發(fā)布的可重配置加速堆棧,，將大幅擴展Xilinx公司相關技術在機器學習應用領域從端到云的部署,。日前，筆者專訪了Xilinx公司戰(zhàn)略與市場營銷部高級副總裁Steve Glaser先生,，他詳細闡述了reVISION堆棧在視覺導向機器學習方面的強大推動力,。
隨著物聯(lián)網(wǎng)設備與技術的快速部署，從終端采集的數(shù)量呈現(xiàn)大爆炸,，其中視頻數(shù)據(jù)流更是其中的主流,，因此針對視頻采集與智能分析成為熱點。此前,，物體識別,、圖像分類，都是在云上通過機器學習來完成的基于視頻的機器學習,，然而由于受到信息傳輸技術的速率和帶寬限制,，視覺導向的機器學習任務不可能完全在云端完成，于是在終端開展機器學習成為新的方向,，把視頻一幀一幀地轉變?yōu)橐曈X,，通過機器學習可以來識別其中具體的內容。
據(jù)統(tǒng)計,，在以攝像頭為代表的嵌入式終端里,，大約80%最初的機器學習的應用都是以視覺系統(tǒng)為基礎的，其他20%的應用涉及控制系統(tǒng)和安全性,，因此以視覺為導向的機器學習技術,，成為當前主流市場熱點。
加速從端到云的具備機器學習能力設備部署
“以視覺為導向的機器學習正在各類市場中實現(xiàn)一系列快速增長的應用,，其中包括傳統(tǒng)的高端消費市場,、汽車、工業(yè),、醫(yī)療和航空航天與國防等,， 還包括新一代應用如協(xié)作機器人、具有“感應和躲避”功能的無人機、增強現(xiàn)實,、自動駕駛汽車,、自動化監(jiān)視和醫(yī)療診斷等”。Steve Glaser先生介紹,，“在這些市場中,，差異化至關重要，系統(tǒng)必須具備最高響應速度,、最新算法和快速的傳感器部署,，大約三分之二的視覺導向半導體應用屬于這類市場?！?/p>
目前,，相當數(shù)量的客戶選擇了xilinx器件來開發(fā)視覺系統(tǒng)，但是客戶并沒有使用傳統(tǒng)的FPGA器件,，而是使用了全可編程的Zynq技術,。
Steve Glaser表示，上述公司之前都做出了很大的投入,，也開發(fā)了很多關于硬件和軟件的專業(yè)資源,，在競爭過程當中獲得優(yōu)勢。現(xiàn)在這些客戶已經(jīng)開始尋找下一代的技術,，他們不僅僅是開發(fā)以計算機視覺為基礎的解決方案，他們還在加入更多的機器學習,、傳感器方面的元素,。
雖然不知道具體的客戶在做什么項目，但是Steve Glaser知道已經(jīng)有超過40家客戶現(xiàn)在是在用Xilinx的Zynq技術進行機器學習的技術開發(fā),。
在這一過程中,，如何解決客戶在新的開發(fā)項目過程中遇到的痛點，成為加速推終端視覺導向機器學習設備部署的關鍵,。
Steve Glaser表示,，從客戶那里了解到三個主要的需求點。第一,，客戶希望機器學習的智能性有所提高,，同時系統(tǒng)能夠實現(xiàn)及時的快速響應來應對一切外部事件。第二,，,，客戶希望能夠以非常高的效率使用非常先進的算法來運行應用，比如成本要低,，功耗要低,。第三，客戶希望獲得靈活性,，神經(jīng)網(wǎng)絡算法都在不停的變化,，傳感器的類型配置和組合也在不斷的變化,，因此客戶希望能夠非常便捷的來升級他們的系統(tǒng)，使得他們能夠以最好的解決方案為客戶服務,。
全新的reVISION堆?？杉铀贆C器視覺開發(fā)
面對以視覺導向進行機器學習功能開發(fā)客戶遇到的痛點，Xilinx公司推出了全新的reVISION堆棧,，在當前很好地解決了工程師在開發(fā)過程中遇到的困難,。
Steve Glaser表示，Xilinx緊緊地抓住了這一市場機遇,，有能力幫助提高這些客戶的生產率,，尤其是幫助他們能夠更好的應用機器學習來開發(fā)新的自主系統(tǒng)。
據(jù)Steve Glaser介紹,， reVISION 堆棧包括平臺,、算法和應用開發(fā)所需的豐富的開發(fā)資源，可支持最流行的神經(jīng)網(wǎng)絡,， 包括 AlexNet,、GoogLeNet、SqueezeNet,、SSD 和 FCN,。此外，該堆棧還提供了庫元素,， 包括 CNN 網(wǎng)絡層的預定義的優(yōu)化型實現(xiàn)方案,，這也是構建定制神經(jīng)網(wǎng)（DNN/CNN）所必需的。機器學習元素配合豐富的滿足加速要求的 OpenCV 系列功能用于計算機視覺處理,。對應用層開發(fā)來說,，賽靈思支持業(yè)界標準的框架，包括用于機器學習的 Caffe 和用于計算機視覺的 OpenVX,。reVISION 堆棧還包括賽靈思及第三方提供的開發(fā)平臺,，諸如各種類型的傳感器。
全新的reVISION堆棧能夠支持更廣泛的沒有或者很少硬件設計專業(yè)知識的嵌入式軟件和系統(tǒng)工程師,，使其也可以使用賽靈思技術更輕松,、更快速地開發(fā)視覺導向的智能系統(tǒng)。一旦將機器學習,、計算機視覺,、傳感器融合和連接的優(yōu)勢融為一體，這些工程師將從中大受裨益,。
支持以最快速度打造響應最快的視覺系統(tǒng),，相比最具競爭力的計算嵌入式 GPU 和典型 SoC，將機器學習推斷的單位功耗圖像捕獲速度提升了 6 倍，將計算機視覺處理的單位功耗幀速度提升了 42倍,，時延降低為 1/5,。即便是沒有硬件專業(yè)知識的開發(fā)人員也能通過結合使用 C/C++/OpenCL 開發(fā)流程、業(yè)界標準的框架,，以及 Caffe 和 OpenCV 等庫,，用單個 Zynq SoC 或 MPSoC 芯片開發(fā)出嵌入式視覺應用。
借助reVISION堆棧所獨具的可重配置性和任意連接優(yōu)勢,，開發(fā)人員可以利用堆?？焖匍_發(fā)和部署升級。隨著神經(jīng)網(wǎng)絡,、算法和傳感器技術和接口標準的不斷加速發(fā)展,，可重配置性對“適應未來”的智能視覺系統(tǒng)至關重要。
Steve Glaser強調,，reVISION堆棧能夠幫助Xilinx擴展廣泛的視覺導向機器學習應用領域,，再加上之前推出的可重配置加速堆棧，就能夠實現(xiàn)從終端到云的一個全面的覆蓋和布局,，推動下一代的機器學習,。
reVISION可以完成80%開發(fā)任務
可以說，reVISION堆棧這一產品的出現(xiàn)是基于一系列技術的延革,。
據(jù)Steve Glaser介紹,，大約在六年以前，Xilinx推出了新的提高產率的工具,，也就是基于RTL的硬件設計的工作流程,，使得整個過程能夠大大的加速，一直以來客戶都在使用這樣的工作流程來處理計算機視覺,。但同時也有很多客戶開始利用Xilinx的最新器件進行機器學習方面的開發(fā),，采用傳統(tǒng)的RTL流程設計,，花費了客戶大量的精力與資源,。所以大約在一年半之前，Xilinx推出首個軟件定義的編程環(huán)境,，也就是SDSoC,，也就是Zynq SoC芯片，主要是嵌入式的應用,。
現(xiàn)在Xilinx已經(jīng)有1100多名付費的Zynq用戶,，其中有半數(shù)都是專注于視覺方面的應用。Zynq雖然可以幫助客戶提高了生產率,，但是并沒有達到客戶的最高目標,。實際上，客戶希望能夠有符合行業(yè)標準的庫和框架，幫助他們繼續(xù)壓縮開發(fā)時間,。
Steve Glaser表示,，通過reVISION的堆棧，開發(fā)時間可以大大壓縮,，而且reVISION的堆棧還能夠服務于那些并沒有掌握硬件方面專業(yè)知識的工程師,。傳統(tǒng)的模式就是賽靈思提供芯片以及開發(fā)環(huán)境當中20%的解決方案，剩下的80%要由客戶來完成,。但是有了這個reVISION堆棧以后,，Xilinx能夠完成解決方案當中80%的工作，剩下的客戶只要完成20%就可以實現(xiàn)自己的應用,。
正如Steve Glaser剛才提到的,，這樣的發(fā)展能夠大大的拓展無論是工程師還是客戶以及其他的應用對我們的器件和技術的應用，也使得這些新的客戶能夠獲得至少比較大的之前專家級的客戶能夠獲得的優(yōu)勢,。所以以軟件為基礎的自主的reVISION,，能夠提供一些我這里提出的性能方面的優(yōu)勢。
后記：作為一家一直站在FPGA領導廠商位置的企業(yè),，Xilinx一直引領著這一領域的發(fā)展方向,。 此次reVISION堆棧的發(fā)布，對于機器視覺領域來說是一個很大的福音,。一方面消除了向廣泛視覺導向機器學習應用擴展的障礙,，另一方面加速了了機器學習應用從端到云的開發(fā)和部署。