百度深度學(xué)習(xí)平臺(tái)飛槳(PaddlePaddle)再放大招!端側(cè)推理引擎全新升級(jí)，重磅發(fā)布Paddle Lite，旨在推動(dòng)人工智能應(yīng)用在端側(cè)更好落地。該推理引擎在多硬件、多平臺(tái)以及硬件混合調(diào)度的支持上更加完備，是飛槳在Paddle Mobile的基礎(chǔ)上進(jìn)行的一次大規(guī)模升級(jí)迭代。通過(guò)對(duì)底層架構(gòu)設(shè)計(jì)的改進(jìn)，拓展性和兼容性等方面實(shí)現(xiàn)顯著提升。目前，Paddle Lite已經(jīng)支持了ARM CPU，Mali GPU，Adreno GPU，華為NPU以及FPGA等諸多硬件平臺(tái)，是目前首個(gè)支持華為NPU在線編譯的深度學(xué)習(xí)推理框架。

　　隨著技術(shù)進(jìn)步，手機(jī)等移動(dòng)設(shè)備已成為非常重要的本地深度學(xué)習(xí)載體，然而日趨異構(gòu)化的硬件平臺(tái)和復(fù)雜的終端側(cè)的使用狀況，讓端側(cè)推理引擎的架構(gòu)能力頗受挑戰(zhàn)。端側(cè)模型的推理往往面臨著算力和內(nèi)存的限制，為了能夠完整的支持眾多的硬件架構(gòu)，并且實(shí)現(xiàn)在這些硬件之上人工智能應(yīng)用性能的性能優(yōu)化，百度飛槳基于Paddle Mobile預(yù)測(cè)庫(kù)，融合Anakin等多個(gè)相關(guān)項(xiàng)目的技術(shù)優(yōu)勢(shì)，全新發(fā)布端側(cè)推理引擎Paddle Lite，通過(guò)建模底層計(jì)算模式，加強(qiáng)了多種硬件、量化方法、Data Layout 混合調(diào)度執(zhí)行的能力，從而保障了宏觀硬件的支持能力，滿足人工智能應(yīng)用落地移動(dòng)端的嚴(yán)苛要求。

　　Paddle Lite在架構(gòu)上全新升級(jí)，并重點(diǎn)增加了多種計(jì)算模式(硬件、量化方法、Data Layout)混合調(diào)度的完備性設(shè)計(jì)，可以完整承擔(dān)深度學(xué)習(xí)模型在不同硬件平臺(tái)上的的推理部署需求，具備高性能、多硬件、多平臺(tái)、擴(kuò)展性強(qiáng)等優(yōu)勢(shì)。不同于其他一些獨(dú)立的推理引擎，Paddle Lite依托飛槳訓(xùn)練框架及其對(duì)應(yīng)的豐富完整的算子庫(kù)，底層算子計(jì)算邏輯與訓(xùn)練嚴(yán)格一致，模型完全兼容無(wú)風(fēng)險(xiǎn)，并可快速支持更多模型。

　　Paddle Lite架構(gòu)由四層次組成：第一層model 層直接接受Paddle訓(xùn)練的模型，通過(guò)模型優(yōu)化工具轉(zhuǎn)化為NaiveBuffer特殊格式，以便更好地適應(yīng)移動(dòng)端的部署場(chǎng)景;第二層Program層是operator序列構(gòu)成的執(zhí)行程序;第三層是一個(gè)完整的分析模塊，主要包括TypeSystem、SSA Graph和Passes等模塊;第四層是執(zhí)行層，由Kernel序列構(gòu)成的Runtime Program。

　　Paddle Lite具有以下重要特性：

　　與其他端側(cè)引擎相比，Paddle Lite擴(kuò)展性更高，框架層硬件抽象層次的描述能力強(qiáng)，容易對(duì)新的硬件進(jìn)行集成，可以模塊化地對(duì)硬件和模型進(jìn)行更細(xì)致的分析和優(yōu)化。

　　在模型支持方面，Paddle Lite現(xiàn)已支持Paddle圖像分類、檢測(cè)、分割及圖像文字識(shí)別等領(lǐng)域的模型預(yù)測(cè)，官方發(fā)布了18個(gè)模型的benchmark。此外，可以通過(guò)X2Paddle工具將由Caffe和TensorFlow訓(xùn)練的模型轉(zhuǎn)換后進(jìn)行預(yù)測(cè)。

　　在硬件支持方面，目前Paddle Lite已支持ARM CPU, ARM GPU、華為NPU和FPGA等硬件平臺(tái)，正在優(yōu)化支持的有寒武紀(jì)、比特大陸等國(guó)產(chǎn)AI芯片，并會(huì)兼容支持的Intel、NVIDIA等主流云端芯片，與硬件廠商的廣泛深入合作使得lite具有高性能表現(xiàn)，并可緊跟新硬件發(fā)展步伐提供先于其他框架的性能表現(xiàn)領(lǐng)先優(yōu)勢(shì)。

　　模型支持和硬件平臺(tái)支持的廣泛性，整體保證了框架的高通用性

　　在性能方面，Paddle Lite針對(duì)不同微架構(gòu)，進(jìn)行了kernel的深度優(yōu)化，支持INT8量化計(jì)算，在主流移動(dòng)端模型上展現(xiàn)出領(lǐng)先的速度優(yōu)勢(shì)。值得一提的是，在“國(guó)貨”華為 NPU上也具有很好的性能表現(xiàn)。

　　與此同時(shí)，Paddle Lite可針對(duì)端側(cè)設(shè)備特點(diǎn)進(jìn)行深度定制及優(yōu)化，無(wú)第三方庫(kù)依賴，讓部署過(guò)程更輕量化。整個(gè)推理過(guò)程分為模型加載解析、計(jì)算圖的優(yōu)化分析及設(shè)備上的高效運(yùn)行。移動(dòng)端可以直接部署經(jīng)過(guò)優(yōu)化分析的圖，執(zhí)行預(yù)測(cè)。Android平臺(tái)上，ARMV7 動(dòng)態(tài)庫(kù)只需要800k，ARMV8動(dòng)態(tài)庫(kù)僅有1.3M，也可以根據(jù)需要，進(jìn)行更深度的剪裁。

　　此外，還進(jìn)一步完善提供了Web前端開(kāi)發(fā)接口，支持javascript調(diào)用 GPU，可在網(wǎng)頁(yè)端快捷運(yùn)行深度學(xué)習(xí)模型。

　　端側(cè)推理引擎在人工智能應(yīng)用落地環(huán)節(jié)有著重要影響，直接關(guān)系到用戶的體驗(yàn)，在自動(dòng)駕駛等人工智能應(yīng)用領(lǐng)域，端側(cè)推理引擎甚至關(guān)乎用戶的生命財(cái)產(chǎn)安全。百度飛槳推出Paddle Lite對(duì)端側(cè)推理引擎性能進(jìn)行大幅優(yōu)化提升，對(duì)于人能智能應(yīng)用的落地起到關(guān)鍵的推動(dòng)作用。未來(lái)，Paddle Lite將支持更多硬件，覆蓋更廣泛的應(yīng)用領(lǐng)域。

　　更多詳情：

　　歡迎加入官方QQ群：696965088

　　官網(wǎng)地址：

　　https://www.paddlepaddle.org.cn

　　項(xiàng)目地址：

　　https://github.com/PaddlePaddle/Paddle-Lite