【導(dǎo)讀】來(lái)自于康納爾大學(xué)的這篇研究論文給出了 一個(gè)利用物理系統(tǒng)實(shí)現(xiàn)深層網(wǎng)絡(luò)學(xué)習(xí)和推理的框架。本文對(duì)于文章舉例的三個(gè)系統(tǒng)不屬于線(xiàn)性時(shí)不變系統(tǒng)進(jìn)行分析。除了其中SHG系統(tǒng)比較復(fù)雜之外，其它兩個(gè)系統(tǒng)（三極管、揚(yáng)聲器）是如此的簡(jiǎn)便，吸引人去進(jìn)行搭建系統(tǒng)，測(cè)試一下相應(yīng)的性能性能。對(duì)于參加智能車(chē)競(jìng)賽的同學(xué)來(lái)講，也許將來(lái)不再需要借助于復(fù)雜高性能單片機(jī)來(lái)完成神經(jīng)網(wǎng)絡(luò)推理，只利用幾只三極管便可完成。
01 物理神經(jīng)網(wǎng)絡(luò)
看到最近在 Nature 雜志上發(fā)表的一篇文章 Deep Physical Neural Networks Trained with Backpropogation[1] 介紹了利用多層非線(xiàn)性物理系統(tǒng)構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)，并通過(guò)反向隨機(jī)梯度下降完成系統(tǒng)訓(xùn)練方法的確令人驚訝、毀人三觀。
??
你敢想象利用幾只揚(yáng)聲器，或者幾只場(chǎng)效應(yīng)管就可以組成深度物理神經(jīng)網(wǎng)絡(luò)（Physical Neural Networks），完成圖像分類(lèi)？分類(lèi)效果比起傳統(tǒng)的數(shù)字神經(jīng)網(wǎng)絡(luò)也不遜色。對(duì)于MNIST手寫(xiě)體數(shù)字識(shí)別也可達(dá)到97%以上。（見(jiàn)下面基于四通道雙諧波信號(hào)發(fā)生器（SHG）方案）
圖1 分別基于機(jī)械系統(tǒng)、電子線(xiàn)路、光學(xué)系統(tǒng)構(gòu)建的P物理神經(jīng)網(wǎng)絡(luò)
??
這類(lèi)建構(gòu)在物理系統(tǒng)而非數(shù)字處理器之上的神經(jīng)網(wǎng)絡(luò)目標(biāo)是在推理速度和能效方面超過(guò)傳統(tǒng)數(shù)字計(jì)算機(jī)，構(gòu)建智能傳感器和高效網(wǎng)絡(luò)推理。
??
猜測(cè)大多數(shù)人和我一樣，第一看到這個(gè)文章都會(huì)有疑問(wèn)：這類(lèi)常見(jiàn)到的揚(yáng)聲器、三極管、光學(xué)透鏡怎么就能夠像深度學(xué)習(xí)網(wǎng)絡(luò)那樣完成學(xué)習(xí)訓(xùn)練和推理的呢？特別是這其中都是一些常見(jiàn)到的物理系統(tǒng)，這里面并沒(méi)有包含什么量子計(jì)算機(jī)、神經(jīng)計(jì)算機(jī)之類(lèi)結(jié)構(gòu)。
??
文章包含的工作很多（原文PDF有60多頁(yè)），我還沒(méi)有看完，不過(guò)文章一開(kāi)始把為什么物理神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)人工神經(jīng)網(wǎng)絡(luò)算法的原理還是講的比較明白。傳統(tǒng)的深度學(xué)習(xí)可以分解若干網(wǎng)絡(luò)層的級(jí)聯(lián)計(jì)算，每一層的計(jì)算包括輸入數(shù)據(jù)（Input）、網(wǎng)絡(luò)參數(shù)(Parameters），它們經(jīng)過(guò)融合后經(jīng)過(guò)神經(jīng)元非線(xiàn)性傳遞函數(shù)形成網(wǎng)絡(luò)的輸出（Output）。
圖2 人工神經(jīng)網(wǎng)絡(luò)（ANN）與物理神經(jīng)網(wǎng)絡(luò)（PNN） 之間的聯(lián)系
??
物理神經(jīng)網(wǎng)絡(luò)也是分成若干層的級(jí)聯(lián)，比如若干個(gè)揚(yáng)聲器，每個(gè)揚(yáng)聲器是一層神經(jīng)網(wǎng)絡(luò)。輸入信號(hào)是揚(yáng)聲器的輸入電壓；網(wǎng)絡(luò)參數(shù)則是一組可以控制的電壓信號(hào)，比如持續(xù)時(shí)間，幅值可以改變的信號(hào)，它們與輸入信號(hào)通過(guò)（疊加、串聯(lián)等）合并后送入揚(yáng)聲器，揚(yáng)聲器的輸出聲音再經(jīng)過(guò)麥克風(fēng)采集形成網(wǎng)絡(luò)的輸出。
圖1.3 由揚(yáng)聲器組成的一層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖
??
在由晶體管組成的放大電路、光學(xué)倍頻器（SHG）組成的系中，對(duì)于輸入信號(hào)，網(wǎng)絡(luò)參數(shù)以及它們的融合方法根據(jù)各子系統(tǒng)特點(diǎn)有所不同。
??
比如在下圖中，網(wǎng)絡(luò)參數(shù)實(shí)際上就是一段長(zhǎng)度和幅值不同的直流信號(hào)，嵌入在輸入變化的信號(hào)中（A），經(jīng)過(guò)三極管電路之后形成輸出（B），輸入信號(hào)和網(wǎng)絡(luò)參數(shù)融合部分進(jìn)行展開(kāi)與歸一化（C）形成網(wǎng)絡(luò)輸出信號(hào)。
圖3 在三極管電路中輸入信號(hào)網(wǎng)絡(luò)參數(shù)信號(hào)（幅值可控一段直流電平）的串聯(lián)，以及對(duì)應(yīng)的電路輸出信號(hào)
??
盡管現(xiàn)在對(duì)于網(wǎng)絡(luò)如何進(jìn)行訓(xùn)練，如何進(jìn)行工作的細(xì)節(jié)還有待進(jìn)一步的了解，但文章所展示關(guān)于深度神經(jīng)網(wǎng)絡(luò)算法的本質(zhì)令人耳目一新。利用了系統(tǒng)輸入輸出之間的非線(xiàn)性把輸入信號(hào)與網(wǎng)絡(luò)信號(hào)進(jìn)行融合完成信息的處理，所以文章所舉例的三個(gè)系統(tǒng)（揚(yáng)聲器、三極管電路、二次倍頻光學(xué)系統(tǒng)）都應(yīng)該不是線(xiàn)性時(shí)不變系統(tǒng)。
??
下面我們拋開(kāi)物理神經(jīng)網(wǎng)絡(luò)算法，先看看論文中的這三個(gè)系統(tǒng)的特點(diǎn)。
02 非線(xiàn)性系統(tǒng)
在大學(xué)本科階段所學(xué)習(xí)的“信號(hào)與系統(tǒng)”、“自動(dòng)控制理論”中所討論的原理和方法基本上都是針對(duì)于線(xiàn)性時(shí)不變系統(tǒng)，因此判斷一個(gè)系統(tǒng)是否是線(xiàn)性時(shí)不變是應(yīng)用這些理論第一步需要做的事情。
??
在前面Nature 論文中所提到的三個(gè)物理系統(tǒng)（機(jī)械、電子、光學(xué)）是否都滿(mǎn)足線(xiàn)性時(shí)不變呢？
2.1 三極管電路
文章中三極管電路最簡(jiǎn)單，同樣它的非線(xiàn)性也最為明顯。
??
電路包含有四個(gè)元器件：電阻、電感、電容以及場(chǎng)效應(yīng)三極管。其中電阻、電感、電容都是線(xiàn)性元器件，只有場(chǎng)效應(yīng)三極管是一個(gè)非線(xiàn)性器件。它的漏極飽和電流與柵極電壓之間呈現(xiàn)平方關(guān)系。所以該電子系統(tǒng)是一個(gè)非線(xiàn)性系統(tǒng)。
圖2.1.1 三極管電路
2.2 二次諧波產(chǎn)生系統(tǒng)（SHG）
二次諧波產(chǎn)生系統(tǒng) 是一個(gè)光學(xué)系統(tǒng)，也是文章舉例中最復(fù)雜的系統(tǒng)。
??
對(duì)于SHG（Second-Harmonic Generation）光學(xué)系統(tǒng)我不是很熟悉，通過(guò) 檢索相應(yīng)文獻(xiàn)[2] 可以了解到它的基本原理。它利用了 一些特殊的分子物理狀態(tài)可以將輸入光學(xué)信號(hào)的頻率進(jìn)行倍頻，產(chǎn)生對(duì)應(yīng)的二次諧波信號(hào)。
圖2.2.1 二次諧波產(chǎn)生系統(tǒng)
??
對(duì)于這類(lèi)你不熟悉的物理系統(tǒng)，那么該如何判斷它 是否屬于線(xiàn)性時(shí)不變系統(tǒng)呢？
??
在這里我們需要利用線(xiàn)性時(shí)不變系統(tǒng)的一個(gè)特性：線(xiàn)性時(shí)不變系統(tǒng)不會(huì)產(chǎn)生新的頻率信號(hào)。
??
雖然它可以改變輸入信號(hào)中不同頻率分量的幅度和相位，但不會(huì)有新的頻率分量產(chǎn)生。SHG光學(xué)系統(tǒng)是將輸入光譜中所有頻率分量都進(jìn)行倍頻，產(chǎn)生了新的倍頻分量，因此它不屬于線(xiàn)性時(shí)不變系統(tǒng)。
??
因此，倍頻是該系統(tǒng)能夠用于完成物理神經(jīng)系統(tǒng)的關(guān)鍵，一個(gè)線(xiàn)性時(shí)不變光學(xué)系統(tǒng)是無(wú)法構(gòu)建物理神經(jīng)網(wǎng)絡(luò)的。
2.3 揚(yáng)聲器
文章舉例的三個(gè)系統(tǒng)中，就數(shù)揚(yáng)聲器機(jī)械振動(dòng)系統(tǒng)最令人感到撲朔迷離。系統(tǒng)分為揚(yáng)聲器、音頻功放、麥克風(fēng)組成。其中揚(yáng)聲器需要進(jìn)行改裝。
??
他們把動(dòng)圈式喇叭的振動(dòng)膜和防塵罩拆除，露出音頻線(xiàn)圈，在上面使用膠水粘上一個(gè)金屬螺釘，再固定一個(gè)3.2cm×3.2cm見(jiàn)方，1mm厚的金屬鉭制作的金屬片。讀到此，你會(huì)覺(jué)得他們這通騷操作屬于脫了褲子放屁，故弄玄虛。
圖2.3.1 利用揚(yáng)聲器制作的機(jī)械振蕩系統(tǒng)
??
原以為他們這么改裝應(yīng)該是想在喇叭機(jī)械系統(tǒng)中融入非線(xiàn)性環(huán)節(jié)，但在音圈（Sound Coil）上增加的金屬螺釘和鉭片好像僅僅是增加了喇叭線(xiàn)圈慣性質(zhì)量，對(duì)于其中高頻振蕩進(jìn)行壓制，起到一個(gè)低頻濾波的作用。因此該系統(tǒng)仍然屬于一個(gè)線(xiàn)性時(shí)不變系統(tǒng)。
??
下面是論文補(bǔ)充材料中給出的揚(yáng)聲器輸入電壓信號(hào)，麥克風(fēng)錄音信號(hào)以及信號(hào)降采樣的數(shù)字信號(hào)?？梢钥吹禁溈孙L(fēng)錄制的音頻信號(hào)的確是對(duì)輸入信號(hào)的低通平滑濾波。
圖2.3.2 揚(yáng)聲器的輸入信號(hào)、麥克風(fēng)錄音信號(hào)以及降采樣數(shù)字信號(hào)
??
下圖是文章中給出的輸入隨機(jī)信號(hào)中嵌入了幅度可控一段直流信號(hào)（相當(dāng)于網(wǎng)絡(luò)參數(shù)），施加在揚(yáng)聲器上之后，麥克風(fēng)采集到的音頻信號(hào)。最后一張圖上可以看到在不同時(shí)刻對(duì)應(yīng)的輸出信號(hào)與輸入信號(hào)之間呈現(xiàn)線(xiàn)性關(guān)系。
圖2.3.3 輸入隨機(jī)噪聲加上可控直流信號(hào)片段噪聲的輸出信號(hào)
??
那么問(wèn)題來(lái)了：這個(gè)系統(tǒng)中的非線(xiàn)性環(huán)節(jié)到底在哪兒呢？
??
現(xiàn)在能夠想到的就是其中麥克風(fēng)信號(hào)進(jìn)行降采樣可能會(huì)改變系統(tǒng)的線(xiàn)性時(shí)不變特性，類(lèi)似于卷積神經(jīng)網(wǎng)中的 Pooling 層的作用。
※ 論文總結(jié) ※
來(lái)自于康納爾大學(xué)的這篇研究論文給出了 一個(gè)利用物理系統(tǒng)實(shí)現(xiàn)深層網(wǎng)絡(luò)學(xué)習(xí)和推理的框架。本文對(duì)于文章舉例的三個(gè)系統(tǒng)不屬于線(xiàn)性時(shí)不變系統(tǒng)進(jìn)行分析。除了其中SHG系統(tǒng)比較復(fù)雜之外，其它兩個(gè)系統(tǒng)（三極管、揚(yáng)聲器）是如此的簡(jiǎn)便，吸引人去進(jìn)行搭建系統(tǒng)，測(cè)試一下相應(yīng)的性能性能。
??
對(duì)于參加智能車(chē)競(jìng)賽的同學(xué)來(lái)講，也許將來(lái)不再需要借助于復(fù)雜高性能單片機(jī)來(lái)完成神經(jīng)網(wǎng)絡(luò)推理，只利用幾只三極管便可完成。
參考資料
[1]Deep Physical Neural Networks Trained with Backpropogation: https://www.nature.com/articles/s41586-021-04223-6.pdf
[2]檢索相應(yīng)文獻(xiàn): https://www.sciencedirect.com/topics/chemistry/second-harmonic-generation
免責(zé)聲明：本文為轉(zhuǎn)載文章，轉(zhuǎn)載此文目的在于傳遞更多信息，版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)問(wèn)題，請(qǐng)聯(lián)系小編進(jìn)行處理。
推薦閱讀：
Infineon無(wú)刷電機(jī)驅(qū)動(dòng)開(kāi)源方案
極低噪聲幻像電源如何設(shè)計(jì)？詳細(xì)原理圖和三種消噪方法
傳感器在工業(yè) 4.0 預(yù)測(cè)性維護(hù)中的應(yīng)用
