【導(dǎo)讀】機(jī)器學(xué)習(xí)(ML)是解決涉及模式識(shí)別問題的一個(gè)非常好的工具,ML算法能將雜亂的原始數(shù)據(jù)轉(zhuǎn)化為可用信號(hào)。其基本流程是基于數(shù)據(jù)產(chǎn)生模型,然后利用模型預(yù)測(cè)輸出,從而實(shí)現(xiàn)無需人工交互即可完成學(xué)習(xí)、推理和決策等目的。然而,對(duì)高性能計(jì)算資源的需求將許多ML應(yīng)用程序限制在云中。也就是說,只有云數(shù)據(jù)中心級(jí)別的性能才能滿足ML對(duì)算力的要求。令業(yè)界興奮的是,隨著算法設(shè)計(jì)以及微處理器體系結(jié)構(gòu)的不斷進(jìn)步,在最小的微控制器(MCU)上運(yùn)行復(fù)雜的機(jī)器學(xué)習(xí)工作負(fù)載正在成為可能。
在嵌入式設(shè)備上運(yùn)行機(jī)器學(xué)習(xí)模型通常被稱為嵌入式機(jī)器學(xué)習(xí)(Embedded machine learning)。嵌入式設(shè)備中的機(jī)器學(xué)習(xí)有很多好處:
一、它消除了在云服務(wù)器上傳輸和存儲(chǔ)數(shù)據(jù)的需要,從而減少了傳輸數(shù)據(jù)時(shí)涉及的數(shù)據(jù)和隱私泄露。
二、它強(qiáng)化了對(duì)知識(shí)產(chǎn)權(quán)、個(gè)人數(shù)據(jù)和商業(yè)秘密的保護(hù)。
三、ML模型的執(zhí)行可有效避免向云服務(wù)器傳輸數(shù)據(jù)的需要,節(jié)約了寶貴的帶寬和網(wǎng)絡(luò)資源。
四、使用基于ML模型的嵌入式設(shè)備是可持續(xù)的,它的碳足跡要低得多。因?yàn)樵O(shè)備中使用的微控制器都是低能耗的。
五、嵌入式系統(tǒng)比基于云中心的系統(tǒng)效率更高,邊緣設(shè)備上的ML模型可以實(shí)現(xiàn)實(shí)時(shí)響應(yīng)。
TinyML:MCU廠商的新商機(jī)
深度學(xué)習(xí)模型最初的成功主要?dú)w功于擁有大量?jī)?nèi)存和GPU集群的大型服務(wù)器。雖然云端深度學(xué)習(xí)非常成功,但它并不適用于所有情況,因?yàn)樵S多應(yīng)用需要在設(shè)備上進(jìn)行推理。當(dāng)今的大多數(shù)AI應(yīng)用程序都是基于機(jī)器學(xué)習(xí)技術(shù),如果在資源受限的設(shè)備上能夠流暢地運(yùn)行機(jī)器學(xué)習(xí)模型,必將為許多新興應(yīng)用打開了一扇技術(shù)之門,這也是近些年邊緣計(jì)算和嵌入式機(jī)器學(xué)習(xí)越來越火的一個(gè)重要原因。
嵌入式機(jī)器學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)領(lǐng)域,這些被稱為微型機(jī)器學(xué)習(xí)(Tiny Machine Learning,TinyML)的模型非常適用于內(nèi)存和處理能力有限、互聯(lián)網(wǎng)連接不存在或受限的邊緣設(shè)備?,F(xiàn)在,TinyML已經(jīng)成為機(jī)器學(xué)習(xí)中一個(gè)快速發(fā)展的領(lǐng)域,通過硬件、算法和軟件的有機(jī)結(jié)合,使之能夠以mW及以下的功率完成傳感器數(shù)據(jù)的分析,實(shí)現(xiàn)了在小型硬件上嵌入AI的過程。
雖然TinyML是一個(gè)新概念,但將機(jī)器學(xué)習(xí)應(yīng)用于智能設(shè)備并不是什么新鮮事。比如,大多數(shù)的智能手機(jī)都有某種神經(jīng)網(wǎng)絡(luò),音樂識(shí)別、許多相機(jī)模式(如夜視和肖像模式)都是依靠嵌入式深度學(xué)習(xí)的例子。這些都是TinyML的用武之地,也將Edge AI向前推進(jìn)了一步。
Edge AI芯片組將AI引入到無數(shù)的終端內(nèi)部,包括移動(dòng)設(shè)備、汽車、智能音箱和無線攝像頭等。然而,這些設(shè)備往往因難以支持高計(jì)算性能和高數(shù)據(jù)吞吐量,無法充分利用產(chǎn)生的所有數(shù)據(jù)。TinyML的橫空出世,使得在MCU上運(yùn)行機(jī)器學(xué)習(xí)模型成為可能。這些MCU普遍價(jià)格低廉,外形小巧,內(nèi)置幾百KB的低功耗內(nèi)存(SRAM)和幾兆字節(jié)的存儲(chǔ)空間,功耗很低,且應(yīng)用廣泛。TinyML芯片組的主要目標(biāo)是解決成本和能效問題,它們通過為小型推理工作負(fù)載設(shè)計(jì)的軟件,在低功耗、低處理能力和小內(nèi)存的硬件上實(shí)現(xiàn)了數(shù)據(jù)分析性能,這一技術(shù)有可能徹底改變物聯(lián)網(wǎng)的未來。
如今,全球活躍的物聯(lián)網(wǎng)(IoT)設(shè)備超過2500億臺(tái),預(yù)計(jì)每年增長(zhǎng)20%。這些設(shè)備每天都會(huì)收集大量數(shù)據(jù),在云中處理這些數(shù)據(jù)存在相當(dāng)大的挑戰(zhàn)。現(xiàn)在,TinyML有望彌合邊緣硬件和設(shè)備智能之間的鴻溝。麥肯錫研究人員預(yù)測(cè),到2025年,物聯(lián)網(wǎng)行業(yè)將產(chǎn)生4-11萬億美元的潛在經(jīng)濟(jì)影響,其中制造業(yè)為最大的垂直產(chǎn)業(yè),達(dá)到1.2-3.7萬億美元。
市場(chǎng)咨詢公司ABI Research在其新的白皮書《TinyML:科技領(lǐng)域的下一個(gè)重大機(jī)遇》中預(yù)測(cè),2021至2026年間,物聯(lián)網(wǎng)連接數(shù)量將增加近三倍,達(dá)到236億。每一次新的連接都代表著利用AI和機(jī)器學(xué)習(xí)的機(jī)會(huì),TinyML技術(shù)將是抓住企業(yè)這一機(jī)會(huì)的關(guān)鍵。因此,ABI預(yù)計(jì),TinyML設(shè)備的出貨量將從2020年的1520萬臺(tái)增加到2030年的25億臺(tái)。
名廠云集TinyML賽道
自TinyML誕生以來,創(chuàng)新市場(chǎng)一直熱點(diǎn)不斷,許多產(chǎn)品都非常引入關(guān)注。例如:基于NVIDIA Jetson Xavier NX的工業(yè)AI智能相機(jī),這是由Adlink公司推出的業(yè)界首款工業(yè)智能相機(jī),該相機(jī)基于英偉達(dá)(NVIDIA)的Jetson Xavier NX,性能高、尺寸小,效率大約是前代產(chǎn)品的十倍,是一款緊湊、可靠、功能強(qiáng)大的Edge AI應(yīng)用產(chǎn)品,為制造業(yè)、物流、醫(yī)療保健、農(nóng)業(yè)和許多其他商業(yè)領(lǐng)域的人工智能創(chuàng)新打開了方便之門。
TinyML專注于優(yōu)化機(jī)器學(xué)習(xí)的工作負(fù)載,以便它們可以在低功耗的微控制器上運(yùn)行。TinyML的激增將導(dǎo)致Edge AI在傳統(tǒng)關(guān)鍵市場(chǎng)之外的擴(kuò)張,更多的終端用戶可以從基于聲波、溫度、壓力、振動(dòng)和其他數(shù)據(jù)源的智能連接傳感器和物聯(lián)網(wǎng)設(shè)備中受益。如今,TinyML正處在機(jī)器學(xué)習(xí)和嵌入式物聯(lián)網(wǎng)的交匯點(diǎn)上,有可能為許多行業(yè)帶來顛覆性的變革。TinyML的潛在應(yīng)用幾乎是沒有邊界的,比如:可以預(yù)測(cè)何時(shí)需要服務(wù)的工業(yè)機(jī)器人,可以監(jiān)測(cè)作物是否存在有害昆蟲的傳感器,當(dāng)庫存減少時(shí)可以要求重新進(jìn)貨的店內(nèi)貨架,在保持隱私的同時(shí)可以跟蹤生命體征的醫(yī)療監(jiān)護(hù)儀。
音頻分析、模式識(shí)別和語音人機(jī)界面是當(dāng)今TinyML應(yīng)用最多的領(lǐng)域。恩智浦(NXP)基于EdgeReady MCU的3D人臉識(shí)別解決方案利用i.MX RT117F跨界MCU,能夠幫助開發(fā)人員快速地將3D人臉識(shí)別和先進(jìn)的活體檢測(cè)填加到其產(chǎn)品中,即使在戶外照明條件下設(shè)備也能正常工作。該方案具備的3D活體檢測(cè)功能還能識(shí)別和抵御使用照片或3D模型的欺詐,僅需使用高性能3D結(jié)構(gòu)化光攝像頭模塊(SLM)和可選的基于低成本CMOS傳感器的RGB攝像頭,無需使用昂貴、耗電、基于Linux的MPU。
方案中采用的i.MX RT1170是一款跨界MCU,它采用了主頻達(dá)1GHz的Cortex-M7內(nèi)核和主頻達(dá)400MHz的Arm Cortex-M4,擁有卓越的計(jì)算能力、多種媒體功能以及實(shí)時(shí)功能。人臉識(shí)別和活體檢測(cè)可在i.MX RT117F MCU上完全離線執(zhí)行,不再借助云,不僅消除了延遲問題,還能有效保護(hù)消費(fèi)者的隱私。
圖1:i.MX RT117F 3D人臉識(shí)別硬件結(jié)構(gòu)框圖
(圖源:NXP)
視覺、運(yùn)動(dòng)和手勢(shì)識(shí)別同樣是TinyML的重要應(yīng)用領(lǐng)域。意法半導(dǎo)體(ST)的AI解決方案主要基于STM32產(chǎn)品組合,借助預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò),嵌入式開發(fā)人員可以在任何基于Cortex M4、M33和M7的STM32上進(jìn)行移植、優(yōu)化和驗(yàn)證。STM32CubeMX是一種圖形工具,通過分步過程可以非常輕松地配置STM32微控制器和微處理器,以及為Arm Cortex-M內(nèi)核或面向Arm Cortex-A內(nèi)核的特定Linux設(shè)備樹生成相應(yīng)的初始化C代碼。
STM32Cube.AI是STM32CubeMX的AI擴(kuò)展包,設(shè)計(jì)人員可以在其基礎(chǔ)上更高效地開發(fā)自己的AI產(chǎn)品。FP-AI-VISION1屬于STM32Cube的一種功能包(FP),含有基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的計(jì)算機(jī)視覺應(yīng)用實(shí)例。
目前,F(xiàn)P-AI-VISION1包括三個(gè)基于CNN的圖像分類應(yīng)用示例:
● 在彩色(RGB24位)幀圖像上運(yùn)行的食品識(shí)別應(yīng)用;
● 在彩色(RGB24位)幀圖像上運(yùn)行的人員存在檢測(cè)應(yīng)用;
● 在灰度(8位)幀圖像上運(yùn)行的人員存在檢測(cè)應(yīng)用。
現(xiàn)在,ST提供的TinyML計(jì)算機(jī)視覺解決方案可識(shí)別18種常見食物,也可以實(shí)施人員在場(chǎng)檢測(cè),或者基于目標(biāo)檢測(cè)模型統(tǒng)計(jì)場(chǎng)景中的人數(shù)等。
圖2:食品識(shí)別模型的執(zhí)行流程
(圖源:ST)
隨著IoT市場(chǎng)規(guī)模的擴(kuò)大,邊緣的數(shù)據(jù)量增長(zhǎng)迅猛,由TinyML賦能的AIoT應(yīng)運(yùn)而生。根據(jù)Markets and Markets的分析數(shù)據(jù),2019年的AIoT市場(chǎng)規(guī)模約為51億美元,預(yù)計(jì)到2024年將增長(zhǎng)至162億美元,復(fù)合年均增長(zhǎng)率(CAGR)高達(dá)26%。AIoT的主要作用是賦能聯(lián)網(wǎng)設(shè)備使其具備機(jī)器學(xué)習(xí)能力,從而執(zhí)行復(fù)雜的智能運(yùn)算。
2021年6月英飛凌(Infineon)推出的ModusToolbox ML,其目標(biāo)就是讓公司的PSoC MCU具有深度學(xué)習(xí)的功能。ModusToolbox ML是一項(xiàng)基于ModusToolbox軟件的全新功能,可為開發(fā)人員提供基于深度學(xué)習(xí)的ML模型所需的中間件、軟件庫和專用工具。ML可與ModusToolbox中已有的軟件框架無縫集成,十分便利地集成到安全的AIoT系統(tǒng)中。ModusToolbox ML允許開發(fā)人員使用他們首選的深度學(xué)習(xí)框架(如TensorFlow),直接部署到PSoC MCU上。此外,ML還有助于工程師優(yōu)化嵌入式平臺(tái)的模型,降低平臺(tái)復(fù)雜度,并提供具有基于測(cè)試數(shù)據(jù)的性能驗(yàn)證功能。
圖3:英飛凌PSoC6 MCU內(nèi)部架構(gòu)
(圖源:Infineon)
為了幫助開發(fā)人員快速地將本地智能添加到他們的IoT設(shè)計(jì)中,Infineon選擇了與SensiML公司合作。SensiML是QuickLogic的子公司,向市場(chǎng)提供尖端的軟件,使超低功耗IoT終端能夠?qū)崿F(xiàn)AI,公司的旗艦方案SensiML Analytics Toolkit提供了一個(gè)端到端的開發(fā)平臺(tái),涵蓋數(shù)據(jù)采集、標(biāo)簽、算法和固件自動(dòng)生成和測(cè)試。SensiML的“Analytics Toolkit” Edge AI開發(fā)軟件現(xiàn)在可以與Infineon ModusToolbox配合使用, 為開發(fā)人員提供了一種快速簡(jiǎn)便的方法來記錄來自Infineon XENSIV傳感器的數(shù)據(jù),創(chuàng)建復(fù)雜的基于AI/ML的模型,并在PSoC6 MCU上運(yùn)行定制的應(yīng)用程序。
不斷壯大的TinyML生態(tài)系統(tǒng)
TinyML社區(qū)成立于2019年,是一個(gè)由研究人員和行業(yè)工程師組成的社區(qū),致力于將ML能力引入到微控制器設(shè)備。TinyML由機(jī)器學(xué)習(xí)體系結(jié)構(gòu)、技術(shù)、工具和方法組成,能夠在以電池驅(qū)動(dòng)設(shè)備為主的低功率目標(biāo)設(shè)備上對(duì)各種傳感模式(視覺、音頻、運(yùn)動(dòng)、化學(xué)和其他)執(zhí)行分析。TinyML的創(chuàng)始人之一Evgeni Gousev認(rèn)為:“我們正處于數(shù)字轉(zhuǎn)型革命中,TinyML以低成本執(zhí)行設(shè)備上的機(jī)器智能和分析,并結(jié)合固有的隱私功能,提供了極大的節(jié)能優(yōu)勢(shì)。”
TinyML將在許多行業(yè)普及,它將影響包括:零售、醫(yī)療保健、交通、健康、農(nóng)業(yè)、健身和制造業(yè)等幾乎每一個(gè)行業(yè)。與此同時(shí),行業(yè)的參與者很快就認(rèn)識(shí)到了TinyML的價(jià)值,并迅速采取行動(dòng)創(chuàng)建了一個(gè)支持性的生態(tài)系統(tǒng)。
Arm是TinyML的堅(jiān)定支持者,同時(shí)也是TinyML技術(shù)的領(lǐng)導(dǎo)者。隨著超過1800億基于Arm的芯片的出貨,其IP、工具和1100多個(gè)軟件合作伙伴已經(jīng)構(gòu)建了數(shù)十億微型智能IoT設(shè)備。
如今,Arm?Cortex?-M系列MCU已經(jīng)成為TinyML應(yīng)用最廣泛的平臺(tái),它們能夠快速高效地執(zhí)行實(shí)時(shí)計(jì)算,價(jià)格便宜,可靠性高,響應(yīng)速度快,且耗電很少。Cortex-M55處理器是Arm最具AI能力的Cortex-M處理器,它提供了增強(qiáng)、節(jié)能的DSP和ML性能。Ethos-U55 NPU是一種新的ML處理器,稱為microNPU,專門設(shè)計(jì)用于在面積受限的嵌入式和物聯(lián)網(wǎng)設(shè)備中加速M(fèi)L推理。Ethos-U55與支持AI的Cortex-M55處理器相結(jié)合,使ML性能比現(xiàn)有基于Cortex-M的系統(tǒng)提高了480倍。
事實(shí)上,在2021年初,Raspberry Pi(樹莓派)就發(fā)布了第一塊微控制器板,這是市場(chǎng)上價(jià)格最實(shí)惠的開發(fā)板之一,售價(jià)僅為4美元。這款名為Raspberry Pi Pico,基于RP2040 MCU,內(nèi)置功能強(qiáng)大的雙核Cortex-M0+處理器,能夠運(yùn)行TensorFlow Lite Micro,很快我們就能看到該板的各種TinyML用例。
對(duì)于淹沒在海量數(shù)據(jù)中的決策者來說,TinyML好比是一個(gè)救星,它將邊緣的數(shù)據(jù)充分利用起來,使人們能夠更快地獲取正確的信息。此外,TinyML還通過在設(shè)備上處理數(shù)據(jù)并只傳輸關(guān)鍵信息來改善了人們普遍擔(dān)憂的隱私問題。
接下來,我們將看到一個(gè)擁有數(shù)萬億智能設(shè)備的新世界,這些智能設(shè)備有TinyML技術(shù)的支持,能夠感知、分析和自主行動(dòng),并將為我們創(chuàng)造一個(gè)更健康、更可持續(xù)的環(huán)境。
免責(zé)聲明:本文為轉(zhuǎn)載文章,轉(zhuǎn)載此文目的在于傳遞更多信息,版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)問題,請(qǐng)聯(lián)系小編進(jìn)行處理。
推薦閱讀: