吐魯番ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場景，ssl證書未來市場廣闊！成為成都創(chuàng)新互聯(lián)的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：18982081108（備注：SSL證書合作）期待與您的合作！

導(dǎo)語：隨著物聯(lián)網(wǎng)的快速發(fā)展，越來越多的用戶希望將  AI 能力下沉到邊緣層，讓邊緣設(shè)備能夠自動處理關(guān)心的一些數(shù)據(jù)，再把結(jié)果上報到云平臺。這樣做既節(jié)省了資源，又提高了運算效率。

隨著技術(shù)進(jìn)步，手機(jī)等移動設(shè)備已成為非常重要的本地深度學(xué)習(xí)載體，然而日趨異構(gòu)化的硬件平臺和復(fù)雜的終端側(cè)的使用狀況，讓AI技術(shù)在端側(cè)的應(yīng)用能力頗受挑戰(zhàn)。端側(cè)模型的推理往往面臨著算力和內(nèi)存的限制，為了能夠完整的支持眾多硬件架構(gòu)，并且實現(xiàn)在這些硬件之上人工智能應(yīng)用性能的優(yōu)化，不少科技公司開啟了深入研究。技術(shù)媒體InfoQ上周采訪了京東智聯(lián)云視覺研發(fā)部的產(chǎn)品經(jīng)理張志強(qiáng)，交流了京東AI技術(shù)在端側(cè)的應(yīng)用。

（以下為采訪稿件內(nèi)整理）

AI技術(shù)在端側(cè)能解決什么問題？

在探討這個話題之前，我們需要先明確端側(cè)的定義。端側(cè)其實是相對于云中心側(cè)來講的。云中心側(cè)其實是一種集中式服務(wù)，所有采集和感知到的視頻、圖像數(shù)據(jù)都通過網(wǎng)絡(luò)傳輸?shù)皆浦行膫?cè)進(jìn)行后續(xù)處理。云側(cè)的資源高度集中并且具有很高的通用性，但是隨著IoT設(shè)備和數(shù)據(jù)的指數(shù)爆發(fā)式增長，云側(cè)的集中式計算模型慢慢暴露出了很多不足，比如數(shù)據(jù)處理的實時性，網(wǎng)絡(luò)條件制約，數(shù)據(jù)安全等。

AI技術(shù)用于端側(cè)也就是我們常說的邊緣計算，張志強(qiáng)說，這種模式可以更好的支持AIoT場景，具有如下優(yōu)點：一是AI技術(shù)用于端側(cè)可以第一時間對收集的數(shù)據(jù)進(jìn)行處理，不需要通過網(wǎng)絡(luò)上傳到云側(cè)的處理中心，極大加快了系統(tǒng)響應(yīng)也減少了系統(tǒng)處理延遲，5G技術(shù)的普及也為端側(cè)處理提供了保證；二是端側(cè)計算可以更高效的處理有價值的關(guān)鍵數(shù)據(jù)（大約20%），其余的數(shù)據(jù)（大約80%）只是臨時性的，在端側(cè)結(jié)合AI能力，不僅可以更及時處理數(shù)據(jù)，而且減輕網(wǎng)絡(luò)帶寬的限制和緩解對中心側(cè)數(shù)據(jù)存儲的壓力；三是在端側(cè)的AI技術(shù)可以高效地對用戶的源數(shù)據(jù)進(jìn)行處理，將一些敏感的數(shù)據(jù)進(jìn)行清洗和保護(hù)，端側(cè)設(shè)備只將AI處理后的結(jié)果進(jìn)行上報。

總的來說，AI在邊緣側(cè)的執(zhí)行可以實時進(jìn)行數(shù)據(jù)處理，實時響應(yīng)，有效降低因數(shù)據(jù)傳送到云計算中心而導(dǎo)致的延遲。

目前，主要的應(yīng)用是物聯(lián)網(wǎng)的邊緣計算，京東對內(nèi)、對外都有一些落地案例，例如：無人售貨機(jī)和智能結(jié)算臺上使用了AI的商品檢測技術(shù)，包括顧客所選取的商品SKU等，主要采用的是端側(cè)的AI能力；以及在智慧園區(qū)里進(jìn)行基本的人臉結(jié)構(gòu)化、人體結(jié)構(gòu)化、車輛結(jié)構(gòu)化，還有基于視頻分析的周界安全檢測、物體遺留等場景。某些場景不僅結(jié)合了邊緣計算的AI能力，同時也使用了云端的AI能力進(jìn)行二次分析，采用的形式是云端協(xié)同。在一些更復(fù)雜的場景，比如智慧園區(qū)，智慧社區(qū)，智慧城市的項目落地中，大多都是采用的端云協(xié)同的應(yīng)用形式。

端側(cè)AI的研發(fā)難點

眾所周知，端側(cè)的技術(shù)難度是如何在資源有限的硬件環(huán)境里滿足業(yè)務(wù)對性能的要求，無論是存儲、內(nèi)存，或者計算資源都比較有限。端側(cè)對AI模型提出了更高的要求，比如對模型生命周期的管理，發(fā)布，回滾，灰度，版本管理等，如何方便模型的升級更新需要建立一套完善通用的機(jī)制和平臺。另外，邊緣計算的硬件設(shè)備種類很多，在初期對不同硬件架構(gòu)的學(xué)習(xí)、適配和模型遷移工作會占用比較長的時間，比如有很多之前自定義的模型算法算子不支持，需要算法側(cè)重新設(shè)計和開發(fā)，無形中增加了AI在端側(cè)應(yīng)用的復(fù)雜度。

為此，經(jīng)過前期積累，京東也針對市面上流行的不同邊緣計算硬件產(chǎn)品進(jìn)行了抽象和平臺化，屏蔽底層差異化，統(tǒng)一建設(shè)了從算法開發(fā)、模型適配、本地測試，部署上線等的一系列CI/CD機(jī)制，實現(xiàn)快速交付。

過往，不少開發(fā)者都會遇到離線訓(xùn)練和在線推理結(jié)果不一致的問題。對此，京東方面發(fā)現(xiàn)訓(xùn)練和推理的結(jié)果不會完全一樣，但是基本一致?？梢詮囊韵氯矫婵紤]：一是在模型設(shè)計上盡可能輕量化。在保證模型性能的前提下，使網(wǎng)絡(luò)參數(shù)減少的同時，不損失網(wǎng)絡(luò)性能，盡可能的降低模型的復(fù)雜度以及運算量；二是性能與精度進(jìn)行權(quán)衡，找到平衡點；三是檢測兩者的預(yù)處理與后處理有無差異，可以在網(wǎng)絡(luò)處理前后進(jìn)行預(yù)判和比較。

京東端側(cè)AI技術(shù)實踐

2019年中，京東云與AI視覺研發(fā)部開始規(guī)劃在端側(cè)場景下的AI視頻分析平臺mVCG-Air，與該版本相呼應(yīng)的是在云端場景部署的mVCG-Pro，二者統(tǒng)稱為mVCG（mega-Video Computing Grid），也就是超大規(guī)模的視頻計算分析網(wǎng)絡(luò)。

【mVCG-Air技術(shù)整體架構(gòu)圖】

mVCG-Air是AI視頻分析處理能力在端側(cè)應(yīng)用的典型產(chǎn)品，經(jīng)過快速迭代mVCG-Air目前已經(jīng)在不同場景落地。張志強(qiáng)表示，該平臺解決了在落地場景中接入的設(shè)備多，同時對視頻分析的時效性很高，云端處理受網(wǎng)絡(luò)帶寬有滯后影響的問題。

此外，mVCG-Air結(jié)合了目前性能較高的端側(cè)計算設(shè)備，同時內(nèi)部全部使用了京東智聯(lián)云自研的AI核心技術(shù)，所有算法模型針對端側(cè)計算設(shè)備進(jìn)行了全面優(yōu)化和加速，開發(fā)者可以輕松實現(xiàn)定制化、快速交付。

有必要統(tǒng)一模型研發(fā)流程

綜合整個實踐過程，不難發(fā)現(xiàn) ，擁有統(tǒng)一所有模型的研發(fā)流程，使得模型研發(fā)之初的特征工程再到模型訓(xùn)練，再到推理上線等做統(tǒng)一的規(guī)劃是十分必要的。比如，京東同一個模型未來可能會在不同的場景都需要部署落地，有的是基于邊緣計算的mVCG-Air部署，有的是基于云中心的mVCG-Pro進(jìn)行部署，那么就需要有統(tǒng)一的模型訓(xùn)練和轉(zhuǎn)換機(jī)制。同時，同一個模型有可能會在不同的邊緣硬件上進(jìn)行部署，在模型設(shè)計之初就需要考慮后續(xù)的一致性等問題。京東內(nèi)部已經(jīng)沉淀了一套完整的模型研發(fā)測試流程，使得一個模型可以輕松同時落地不同的異構(gòu)硬件設(shè)備上。

資源調(diào)度設(shè)計

關(guān)于資源調(diào)度，其實包括邊緣側(cè)mVCG-Air和中心側(cè)mVCG-Pro的調(diào)度，也包括mVCG-Air管理的設(shè)備之間的調(diào)度。張志強(qiáng)表示，在mVCG內(nèi)部有個很重要的模塊組件，就是模型倉庫，與其相關(guān)聯(lián)的有算力調(diào)度，任務(wù)調(diào)度等。

【算法倉庫體系架構(gòu)圖】

算法倉庫體系架構(gòu)使得智能分析能力不再固化在mVCG的產(chǎn)品中，實現(xiàn)“一套平臺，多種算法”，具有系統(tǒng)高可用、資源高利用率、算法靈活開放等優(yōu)勢?；谒惴▊}庫可以對mVCG所有算法模型進(jìn)行統(tǒng)一高效管理，包括模型管理、模型灰度部署、模型發(fā)布、模型升級、模型算法版本管理。每個模型都有自己的畫像Model Profile，通過分布式組件，根據(jù)模型畫像和當(dāng)前業(yè)務(wù)負(fù)載實現(xiàn)模型算力的靈活分配和調(diào)度，所有模型算法是基于插件機(jī)制實現(xiàn)靈活部署、自動分配、快速加載、高效運行和無感知版本更新。

硬件選型

事實上，軟件層面的定制優(yōu)化永無止境，這包括模型加速推理，模型量化剪枝，讓模型體積更小，占用資源小同時又不失精度。當(dāng)然，軟件層面的優(yōu)化工作也需要取決于邊緣側(cè)設(shè)備的開放程度。

除了軟件層面的能力，AI所需的超強(qiáng)算力必須有合適的硬件與之相匹配。張志強(qiáng)表示，京東云與AI視覺研發(fā)部mVCG-Air在研發(fā)過程中使用了ARM架構(gòu)的CPU+NPU，現(xiàn)在不斷有更新、更快的硬件加速卡或者是端側(cè)產(chǎn)品推出，選取性價比最高，同時最適合業(yè)務(wù)場景的才是最好的。

未來，mVCG-Air也將繼續(xù)賦能感知設(shè)備以智能，并融合云端物聯(lián)網(wǎng)和信息網(wǎng)的數(shù)據(jù)，實現(xiàn)對人（人臉、人體）、車、物體、場景、行為的全息感知，同時深入挖掘多維數(shù)據(jù)的潛在價值。應(yīng)用的重點包括京東內(nèi)部的很多重要場景，也包括對外的場景，比如智慧園區(qū)，智慧城市，智慧車站，智慧警務(wù)等。

未來規(guī)劃

邊緣計算作為傳統(tǒng)云計算的重要補(bǔ)充，各自發(fā)揮特長，隨著端側(cè)設(shè)備處理能力的大幅度提升，基于AI的智能設(shè)備正在發(fā)揮越來越重要的作用。

AI和端側(cè)的結(jié)合其實屬于AIoT的一部分，因為智能物聯(lián)網(wǎng)AIoT是在2018年興起的概念，目前各類AI公司、芯片公司都處在百家爭鳴的階段，市場空間非常大，包括端側(cè)人工智能在建筑人居、工業(yè)制造、智慧城市等不同產(chǎn)業(yè)領(lǐng)域的瞭望，都充滿了期待。

2020年，AIoT正在發(fā)生的一個趨勢是人工智能和設(shè)備的加速融合。大多數(shù)情況下，端側(cè)人工智能計算和云側(cè)計算將會長期共存，甚至采用混合的方式，一部分由設(shè)備自身的AI能力及時執(zhí)行運算，另一部分通過統(tǒng)一云中心完成?，F(xiàn)在，業(yè)界對于端側(cè)人工智能討論比較多的還是軟硬件選型、動態(tài)調(diào)度和垂類落地的問題。作為云計算的下沉計算模型，端側(cè)的人工智能發(fā)展還需要一些時間和耐心。

歡迎點擊“ 更多 ”了解京東智聯(lián)云！

本文標(biāo)題：AI端側(cè)落地，京東AI技術(shù)如何部署邊緣？-創(chuàng)新互聯(lián)
本文URL：http://m.rwnh.cn/article18/ddoogp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供域名注冊、網(wǎng)頁設(shè)計公司、App開發(fā)、定制開發(fā)、商城網(wǎng)站、云服務(wù)器

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)