昨天，在“WAVE Summit+”2019深度學(xué)習(xí)開(kāi)發(fā)者秋季峰會(huì)上，百度對(duì)外發(fā)布基于ERNIE的語(yǔ)義理解開(kāi)發(fā)套件，旨在為企業(yè)級(jí)開(kāi)發(fā)者提供更領(lǐng)先、高效、易用的ERNIE應(yīng)用服務(wù)，全面釋放ERNIE的工業(yè)化價(jià)值，其中包含ERNIE 輕量級(jí)解決方案，提速1000倍!

　　今年7月份，百度發(fā)布持續(xù)學(xué)習(xí)語(yǔ)義理解框架ERNIE 2.0，在共計(jì)16個(gè)中英文任務(wù)上超越BERT、XLNET，取得了SOTA的效果。

　　ERNIE 2.0發(fā)布以來(lái)，ERNIE產(chǎn)業(yè)化應(yīng)用進(jìn)程不斷加速，易用性不斷提升，配套產(chǎn)品也不斷豐富和完善。目前，ERNIE 2.0在百度內(nèi)部及行業(yè)內(nèi)已取得了廣泛應(yīng)用，在多種場(chǎng)景下都取得了明顯效果提升。這些場(chǎng)景的成功運(yùn)用為ERNIE產(chǎn)業(yè)化應(yīng)用積累了豐富的經(jīng)驗(yàn)。

　　上圖為ERNIE全景圖，預(yù)置了包含ERNIE通用模型、ERNIE任務(wù)模型、ERNIE領(lǐng)域模型以及本次發(fā)布的ERNIE Tiny輕量級(jí)模型等系列預(yù)訓(xùn)練模型。在此基礎(chǔ)上，構(gòu)建了包含工具和平臺(tái)的飛槳語(yǔ)義理解開(kāi)發(fā)套件。全面覆蓋了訓(xùn)練、調(diào)優(yōu)、部署等開(kāi)發(fā)流程，具備輕量方案、能力全面、極速預(yù)測(cè)、部署靈活、平臺(tái)賦能等五大特色。接下來(lái)，我們逐一揭秘。

　　特色1：輕量級(jí)解決方案，預(yù)測(cè)速度提升1000倍

　　ERNIE 2.0擁有強(qiáng)大的語(yǔ)義理解能力，而這些能力需要強(qiáng)大的算力才能充分發(fā)揮，這為實(shí)際應(yīng)用帶來(lái)了非常大的挑戰(zhàn)。為此，百度發(fā)布輕量級(jí)預(yù)訓(xùn)練模型ERNIE Tiny以及一鍵式數(shù)據(jù)蒸餾工具ERNIE Slim，預(yù)測(cè)速度提升達(dá)到1000倍。

ERNIE Tiny技術(shù)原理

　　ERNIE Tiny主要通過(guò)模型結(jié)構(gòu)壓縮和模型蒸餾的方法，將ERNIE 2.0 Base模型進(jìn)行壓縮，其特點(diǎn)和優(yōu)勢(shì)主要包括以下四個(gè)方面：

　　1.淺：模型采用3層transformer結(jié)構(gòu)，線性提速4倍;

　　2.寬：模型加寬隱層參數(shù)，從ERNIE 2.0的768擴(kuò)展到1024，寬度的增加帶來(lái)效果的提升 。依托飛槳的通用矩陣運(yùn)算優(yōu)化，『變寬』并不會(huì)帶來(lái)速度線性的下降;

　　3.短：為縮短輸入文本的序列長(zhǎng)度，降低計(jì)算復(fù)雜度，模型首次采用中文subword粒度輸入，長(zhǎng)度平均縮短40%;

　　4.萃：ERNIE Tiny在訓(xùn)練中扮演學(xué)生角色，利用模型蒸餾的方式在Transformer層和Prediction層學(xué)習(xí)教師模型ERNIE 2.0模型對(duì)應(yīng)層的分布和輸出。

　　通過(guò)以上四個(gè)方面的壓縮，ERNIE Tiny模型的效果相對(duì)于ERNIE 2.0 Base平均只下降了2.37%，但相對(duì)于“SOTA Before BERT”提升了8.35%，而速度提升了4.3倍。

　　ERNIE Tiny的預(yù)測(cè)速度在一些性能要求苛刻的場(chǎng)景中是不夠的，這些場(chǎng)景中延遲響應(yīng)往往要求小于1ms，為此，套件提供了一鍵式數(shù)據(jù)蒸餾ERNIE Slim工具。該工具以數(shù)據(jù)為橋梁，將ERNIE的知識(shí)遷移至小模型，在效果損失很小的情況下實(shí)現(xiàn)預(yù)測(cè)速度上千倍的提升。

ERNIE Slim技術(shù)原理

　　ERNIE Slim原理同傳統(tǒng)深度學(xué)習(xí)數(shù)據(jù)蒸餾的方法略有不同。首先需要使用ERNIE 2.0模型對(duì)輸入標(biāo)注數(shù)據(jù)進(jìn)行Fine-tune得到Teacher Model，然后使用Teacher Model對(duì)無(wú)標(biāo)注數(shù)據(jù)進(jìn)行預(yù)測(cè)，該步驟中我們可采用添加噪聲詞、同詞性詞語(yǔ)替換、N-sampling三種策略進(jìn)行數(shù)據(jù)增強(qiáng)，最后通過(guò)BoW、CNN等計(jì)算復(fù)雜度小的模型進(jìn)行訓(xùn)練。

　　下表展示了ERNIE Slim的效果。從表格中可以看出，相對(duì)于ERNIE 2.0 base模型，數(shù)據(jù)蒸餾后的小模型效果損失不大，預(yù)測(cè)速度提升千倍以上; 而相對(duì)于簡(jiǎn)單模型，速度接近的情況下，效果會(huì)得到顯著提升。

ERNIE Slim效果

　　特色2：一鍵式高性能全類(lèi)微調(diào)工具

　　ERNIE Fine-tune微調(diào)工具旨在為給開(kāi)發(fā)者提供一套簡(jiǎn)單好用的Fine-tune框架，目前覆蓋NLP四大常用任務(wù)：?jiǎn)尉浞诸?lèi)、句對(duì)匹配、命名實(shí)體識(shí)別、閱讀理解。工具集支持多機(jī)多卡Fine-tune，同時(shí)使用FP16 Tensor Core技術(shù)在Tesla V系列GPU上獲得60%的訓(xùn)練速度提升。

　　Fine-tune微調(diào)工具包含了一個(gè)基于飛槳的訓(xùn)練組織框架Propeller，可以幫助開(kāi)發(fā)者進(jìn)行模型管理、參數(shù)熱啟動(dòng)、自動(dòng)多卡并行等工作，從而讓開(kāi)發(fā)者更專(zhuān)注于網(wǎng)絡(luò)結(jié)構(gòu)以及輸入數(shù)據(jù)流水線的構(gòu)建。

　　特色3：極速預(yù)測(cè)API

　　ERNIE Fast-inference API旨在解決產(chǎn)品應(yīng)用的延遲敏感場(chǎng)景，為企業(yè)開(kāi)發(fā)者提供極速預(yù)測(cè)的C++ API，便于開(kāi)發(fā)者集成。該工具也充分借助了最新版飛槳的高速預(yù)測(cè)優(yōu)勢(shì)，飛槳1.6通過(guò)OP聚合算法，有效加速了ERNIE的預(yù)測(cè)。

　　在延遲敏感場(chǎng)景下，對(duì)比競(jìng)品在GPU(P4)設(shè)備21%的延遲降低，ERNIE Fast-inference API在CPU(Intel Xeon Gold 6148 CPU)設(shè)備上的延遲降低60%。

　　特色4：向量服務(wù)器，支持跨平臺(tái)靈活部署

　　為進(jìn)一步降低開(kāi)發(fā)者使用成本，套件提供預(yù)測(cè)服務(wù)方案——ERNIE Service，來(lái)方便獲取ERNIE模型的向量分布以及預(yù)測(cè)打分。

ERNIE Service架構(gòu)

　　ERNIE Service是基于Python構(gòu)建的多GPU預(yù)測(cè)服務(wù)，Client端發(fā)送的請(qǐng)求會(huì)自動(dòng)分發(fā)至GPU上執(zhí)行ERNIE Fast-inference API來(lái)獲取ERNIE向量 及打分。目前ERNIE Service支持不同平臺(tái)、不同設(shè)備、不同語(yǔ)言的靈活調(diào)用，具備預(yù)測(cè)性能高等特點(diǎn)，相比競(jìng)品BERT-as-service在QPS上提升13%。

　　特色5：平臺(tái)賦能

　　此外，套件還包含了ERNIE的平臺(tái)化使用方案，開(kāi)發(fā)者可通過(guò)EasyDL專(zhuān)業(yè)版一站式完成NLP任務(wù)的數(shù)據(jù)標(biāo)注、處理、ERNIE微調(diào)、優(yōu)化、部署等全流程的功能，為開(kāi)發(fā)者提供豐富的算法、算力服務(wù)，進(jìn)一步降低 ERNIE 的產(chǎn)業(yè)化應(yīng)用門(mén)檻。平臺(tái)預(yù)置了常用的NLP文本分類(lèi)、文本匹配等經(jīng)典網(wǎng)絡(luò)，能夠快速滿(mǎn)足多層次開(kāi)發(fā)者的需求。

　　綜合來(lái)看，ERNIE的語(yǔ)義理解開(kāi)發(fā)套件依托百度在預(yù)訓(xùn)練模型等自然語(yǔ)言處理技術(shù)和飛槳平臺(tái)領(lǐng)先優(yōu)勢(shì)，為人工智能產(chǎn)業(yè)化大生產(chǎn)貢獻(xiàn)力量，賦能各行各業(yè)。

　　相關(guān)鏈接：

　　ERNIE工業(yè)級(jí)開(kāi)源工具：https://github.com/PaddlePaddle/ERNIE

　　ERNIE平臺(tái)化服務(wù)：https://ai.baidu.com/easydl/pro

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類(lèi)作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。