邊緣AI應用正處于大規(guī)模落地的前夕，巨大的IoT市場和革命性的AI技術產生的劇烈交互將帶來前所未有的應用革命和商業(yè)機會,。那么在邊緣設備部署AI應用的瓶頸都有哪些,？

　　n有人有現(xiàn)成的芯片和應用場景，卻為缺乏算法和平臺苦惱,。

　　n有人有自己的算法,，卻為缺乏一個好用的嵌入式跨平臺框架而苦惱。

　　n有人有自己的算法和硬件平臺,，卻為嵌入式平臺有限算力苦惱,。

　　OPEN AI LAB看到了業(yè)界痛點，順應市場需求推出了專為嵌入式平臺設計的AI推理框架——Tengine,。

　　專門針對Arm嵌入式設備優(yōu)化的神經網絡推理引擎

　　OPEN AI LAB于2016年12月成立,，由Arm中國聯(lián)合產業(yè)伙伴發(fā)起，致力于推動芯片,、硬件,、算法、軟件整個產業(yè)鏈的深度合作,，加速人工智能產業(yè)化應用部署和應用場景邊界拓展,。Tengine便是一款輕量級模塊化高性能的神經網絡推理引擎，專門針對Arm嵌入式設備優(yōu)化,。完美支持Arm平臺,，支持Arm Cortex CPU，Arm Mali GPU,，Arm DLA,，第三方DSP，堪稱兼容“全能王”,。

　　而開發(fā)者可以使用Tengine一網打盡主流框架模型和嵌入式操作系統(tǒng),，還能異構調度平臺里的各類硬件，充分利用硬件算力。此外,，Tengine還提供了常見AI應用算法,，包括圖像檢測，人臉識別,，語音識別等,。不懂AI沒關系，上手就能跑AI應用,。Tengine同時還支持各類常見卷積神經網絡,，包括SqueezeNet，MobileNet,，AlexNet,，ResNet等，支持層融合,、8位量化等優(yōu)化策略,。并且通過調用針對不同CPU微構架優(yōu)化的HCL庫，將Arm CPU的性能充分挖掘出來,。

　　Tengine的“發(fā)動機”——HCL計算庫

　　有人說NCNN是一個為手機端極致優(yōu)化的高性能神經網絡前向計算框架,，從設計之初深刻考慮手機端的部署和使用。在過去,，NCNN確實是這樣的,，只是那時候還沒有Tengine。

　　現(xiàn)在,，HCL計算庫作為Tengine的插件，是性能最快的Arm CPU NN計算庫,，并且支持動態(tài)8位量化計算,，精度幾乎不變，相比于NCNN最快能帶來2-3倍的性能提升,，內存使用減少為三分之一,。

　　*Tengine性能數(shù)據(jù)A72，A53性能基于RK3399平臺測試,，A17性能基于RK3288平臺測試

　　NCNN數(shù)據(jù)為2018年9月7日

　　*采用ILSVRC2012_VAL數(shù)據(jù)集測試5000張圖片得到量化精度測試結果如下

　　Tengine + HCL,，不同人群的量身定制

　　Tengine作為AI 應用框架，不僅對上層應用提供推理API接口,，支持主流模型與格式,，還在下層定義硬件接口，適配嵌入式平臺各類計算模塊,，此外支持同時運行多個AI應用算法以及調用多個計算模塊計算,。因此，Tengine的面世對AI開源生態(tài)具有里程碑的意義,。有了Tengine,，應用和算法廠商可以擺脫復雜的嵌入式平臺適配工作,，配合HCL直接挖掘硬件的全部潛能；有了Tengine,，芯片廠能夠站在Arm 嵌入式AI生態(tài)的肩膀上,，以最快的速度順利將芯片推向市場，在邊緣AI應用中部署,。作為OPEN AI  LAB為邊緣AI應用部署開發(fā)的兩大利器,，Tengine + HCL將助力嵌入式人工智能產業(yè)加速向前推進，為最終實現(xiàn)萬物智能貢獻力量,。