就在幾年前，人們還認(rèn)為機(jī)器學(xué)習(xí)（ML）甚至深度學(xué)習(xí)（DL）只能在高端硬件上執(zhí)行，在邊緣側(cè)需要通過網(wǎng)關(guān)、邊緣服務(wù)器或數(shù)據(jù)中心執(zhí)行訓(xùn)練和推理，這在當(dāng)時(shí)是一個(gè)主流觀念，因?yàn)樵谠坪瓦吘壷g研究如何分配計(jì)算資源還處于早期階段。但由于工業(yè)界和學(xué)術(shù)界的深入研究和開發(fā)努力，這種情況已經(jīng)發(fā)生了巨大的變化。

如今，最新的微控制器（其中一些帶有嵌入式ML加速器）可以將ML帶到邊緣設(shè)備中，性能也很強(qiáng)大，已經(jīng)可以達(dá)到數(shù)TOPS了。

這些設(shè)備不僅可以執(zhí)行ML，而且還可以以低成本、低功耗、僅在絕對必要時(shí)才連接到云端的特性。簡言之，集成了ML加速器的微控制器代表了下一步，將計(jì)算應(yīng)用到麥克風(fēng)、攝像頭和監(jiān)控環(huán)境條件的傳感器上，這些傳感器產(chǎn)生的數(shù)據(jù)將在模塊中就實(shí)現(xiàn)數(shù)據(jù)處理，從而給物聯(lián)網(wǎng)帶來額外好處。

邊緣有多遠(yuǎn)？

雖然邊緣被廣泛認(rèn)為是物聯(lián)網(wǎng)網(wǎng)絡(luò)中最遠(yuǎn)的點(diǎn)，但它通常被認(rèn)為是高級(jí)網(wǎng)關(guān)或邊緣服務(wù)器。這并不是邊緣真正結(jié)束的地方，它將在用戶側(cè)附近的傳感器端結(jié)束。把盡可能多的分析能力放在用戶端是合乎邏輯的，微控制器最適合這項(xiàng)任務(wù)。

MobileNet V1模型的變寬乘法器示例顯示了對參數(shù)數(shù)量、計(jì)算和精度的巨大影響。僅將寬度乘數(shù)從1.0更改為0.75，只會(huì)最小程度地影響TOP-1精度，但會(huì)顯著影響參數(shù)和計(jì)算的數(shù)量（Image:NXP）

單板計(jì)算機(jī)也可以用于邊緣處理，因?yàn)閱伟逵?jì)算機(jī)具有卓越的性能，并且在集群中可以與小型超級(jí)計(jì)算機(jī)相媲美。但它們?nèi)匀惶?，成本太高，無法部署到大規(guī)模應(yīng)用程序所需的成百上千個(gè)單元中。此外，它們還需要一個(gè)外部直流電源，在某些情況下可能超出可用的范圍，而MCU只消耗毫瓦級(jí)功率，可以由紐扣電池甚至幾塊太陽能電池供電。

因此，對于在邊緣執(zhí)行ML的微控制器已經(jīng)成為一個(gè)非常熱門的話題，這一點(diǎn)也不奇怪。它甚至還有一個(gè)名字——TinyML。TinyML的目標(biāo)是允許在資源受限的小型低功耗設(shè)備（尤其是微控制器）上執(zhí)行推斷和最終訓(xùn)練，而不是在更大的平臺(tái)或云中。這就需要減小神經(jīng)網(wǎng)絡(luò)模型的規(guī)模，以適應(yīng)這些設(shè)備的相對適度的處理、存儲(chǔ)和帶寬資源，但是也不會(huì)顯著降低功能和準(zhǔn)確性。

這些資源優(yōu)化方案允許設(shè)備攝取足夠的傳感器數(shù)據(jù)以滿足其應(yīng)用，同時(shí)可以微調(diào)精度并減少資源需求。因此，雖然數(shù)據(jù)可能仍被發(fā)送到云（或者可能先發(fā)送到邊緣網(wǎng)關(guān)，然后再發(fā)送到云），但是由于已經(jīng)進(jìn)行了大量的分析，因此數(shù)據(jù)量將少得多。

TinyML的一個(gè)常見例子是基于攝像頭的目標(biāo)檢測系統(tǒng)，雖然能夠捕捉高分辨率圖像，但存儲(chǔ)空間有限，需要降低圖像分辨率。但是，如果相機(jī)包含設(shè)備上的分析，則只捕獲感興趣的對象而不是整個(gè)場景，并且由于相關(guān)圖像較少，因此可以保留其較高的分辨率。這種功能以往只能在更大、更強(qiáng)大的設(shè)備上執(zhí)行，但微TinyML技術(shù)允許它在微控制器上實(shí)現(xiàn)。

小而有力

盡管TinyML是一個(gè)相對較新的范例，但它已經(jīng)在以最小的精度損失進(jìn)行推斷（即使是相對較小的微控制器）和訓(xùn)練（在更強(qiáng)大的微控制器上）方面產(chǎn)生了令人驚訝的結(jié)果。最近的例子包括語音和面部識(shí)別、語音命令和自然語言處理，甚至并行運(yùn)行幾種復(fù)雜的視覺算法。

實(shí)際上，這意味著一個(gè)成本不到2美元的微控制器，配備500MHz的Arm Cortex-M7內(nèi)核，內(nèi)存從28kb到128kb，可以提供使傳感器真正智能化所需的性能。

即使在這樣的價(jià)格和性能水平上，這些微控制器也有多種安全功能，包括AES-128，支持多種外部存儲(chǔ)器、以太網(wǎng)、USB和SPI，并且包括或支持各種類型的傳感器，以及藍(lán)牙、Wi-Fi、SPDIF和I2C音頻接口。再多花一點(diǎn)錢，這個(gè)設(shè)備通常會(huì)有一個(gè)1GHz的Arm Cortex-M7、400MHz的Cortex-M4、2MB的RAM和圖形加速。3.3伏直流電源的功耗通常不超過幾毫安。

機(jī)器學(xué)習(xí)用例（圖片：NXP）

關(guān)于TOPS的幾句絮叨

消費(fèi)者喜歡使用單一的指標(biāo)來定義性能，開發(fā)者也總是這樣做，營銷部門也很喜歡。這是因?yàn)橐?guī)范使設(shè)備之間的區(qū)別變得簡單，或者看起來似乎如此。一個(gè)典型的例子是CPU，多年來它是由時(shí)鐘頻率來定義性能的。幸運(yùn)的是，如今無論是開發(fā)者還是消費(fèi)者，情況已不再如此。僅僅用一個(gè)指標(biāo)來評(píng)價(jià)一個(gè)CPU就相當(dāng)于用發(fā)動(dòng)機(jī)的紅線來評(píng)價(jià)汽車的性能。這并非毫無意義，但與發(fā)動(dòng)機(jī)的功率或汽車的性能沒有多大關(guān)系，因?yàn)樵S多其他因素共同決定了這些特性。

不幸的是，對于神經(jīng)網(wǎng)絡(luò)加速器，包括那些在高性能微處理器或微控制器中的加速器來說，情況也越來越嚴(yán)重，因?yàn)檫@是一個(gè)很容易記住的數(shù)字，因?yàn)樗敲棵霐?shù)十億或萬億次的運(yùn)算。但在實(shí)踐中，GOPS和TOPS本身是相對無意義的度量，它們代表的只是在實(shí)驗(yàn)室中進(jìn)行的度量（無疑是最好的度量），而不是表示實(shí)際的操作環(huán)境。例如，TOPS不考慮內(nèi)存帶寬的限制、所需的CPU開銷、前后處理以及其他因素。當(dāng)考慮到所有這些和其他因素時(shí)，例如實(shí)際操作中，特定板卡使用時(shí)的性能，系統(tǒng)級(jí)性能可能是數(shù)據(jù)表中最高值的50%或60%。

所有這些數(shù)字告訴你的是硬件中計(jì)算元素的數(shù)量乘以它們的時(shí)鐘速度，而不是當(dāng)它需要工作時(shí)它有多少可用的資源。如果數(shù)據(jù)總是立即可用，功耗不是問題，內(nèi)存限制不存在，并且算法無縫地映射到硬件上，它們將更有意義。但現(xiàn)實(shí)世界沒有這樣理想的環(huán)境。

尤其是到了微控制器的ML加速器時(shí)，該指標(biāo)的價(jià)值甚至更低。這些微型設(shè)備的值通常為1到3個(gè)TOPS，但仍然可以提供許多ML應(yīng)用程序所需的推理功能。這些設(shè)備還依賴于專門為低功耗ML應(yīng)用設(shè)計(jì)的Arm Cortex處理器。隨著對整型和浮點(diǎn)運(yùn)算的支持以及微控制器中的許多其他特性的支持，TOPS或任何其他單一的度量標(biāo)準(zhǔn)都無法單獨(dú)或在系統(tǒng)中充分定義性能。

結(jié)論

隨著物聯(lián)網(wǎng)領(lǐng)域向盡可能多地在邊緣執(zhí)行處理越來越近，直接在傳感器上或與傳感器相連的微控制器上執(zhí)行推斷的愿望正在出現(xiàn)。也就是說，微控制器中應(yīng)用處理器和神經(jīng)網(wǎng)絡(luò)加速器的發(fā)展速度很快，而且越來越熟練的解決方案不斷出現(xiàn)。趨勢是在不顯著增加功耗或體積的情況下，將更多以人工智能為中心的功能（如神經(jīng)網(wǎng)絡(luò)處理）與微控制器中的應(yīng)用處理器結(jié)合起來。

如今，模型可以在更強(qiáng)大的CPU或GPU上訓(xùn)練，然后使用TensorFlow-Lite等推理引擎在微控制器上實(shí)現(xiàn)，以減小模型的大小，滿足微控制器的資源需求?？s放可以很容易地執(zhí)行，以適應(yīng)更大的ML要求。很快，在這些設(shè)備上不僅可以進(jìn)行推斷，還可以進(jìn)行訓(xùn)練，這將有效地使微控制器成為更大、更昂貴的計(jì)算解決方案的競爭對手。

本文作者：NXP人工智能和機(jī)器學(xué)習(xí)技術(shù)主管Markus Levy