現在,人類越來越想讓“馮·諾依曼架構”退休了。因爲存儲牆和功耗牆問題,馮·諾依曼架構愈發觸碰瓶頸。
類腦芯片就是突破“馮·諾依曼架構”的路線之一,它一種高度模擬人腦計算原理的芯片。如果把類腦芯片做得更像人腦,就會被賦予一個新的名字——神經擬態計算/神經形態計算(Neuromorphic Computing),它是數字芯片和AI計算的一條重要發展路線。
神經擬態計算被視爲顛覆邊緣AI行業的存在,因爲它的功耗實在是太低了。完美的神經擬態芯片可以用比傳統解決方案低1000倍的能耗來解決問題,這意味着我們可以在固定的功耗預算下,打包更多的芯片來解決更大規模的問題。
當然,現在的神經擬態計算還達不到這樣的程度,但給現有芯片降低幾倍或者幾十倍功耗的能力還是有的。比如,IBM此前推出的類腦芯片“北極”(NorthPole),對比4nm節點實現的Nvidia H100 GPU相比,NorthPole的能效提高了五倍。
現在,神經擬態也開始滲入了邊緣AI領域,甚至是改變MCU。
Innatera推出首款商用類腦MCU
最近,初創公司Innatera宣佈推出一款名爲Pulsar的新型脈衝神經處理器(SNP)。Pulsar 是一種神經形態信號處理器,旨在以高能效執行邊緣AI推理,與傳統的AI處理器相比,新處理器的延遲降低了100倍。
此外,從功耗角度來看,該系統使用內部低功耗PLL和軟件控制的電壓域來降低動態和待機功耗。多種睡眠模式進一步優化了空閒期間的能量消耗。Innatera聲稱該處理器的能耗比傳統的AI處理器低500倍。
Pulsar的底層架構集成了完全可編程的脈衝神經網絡(SNN)結構,針對異步、稀疏數據計算進行了優化。爲此,Pulsar提供了異構計算架構,將SNN、CNN和傳統CPU任務分開,以優化工作負載分區。
Innatera將處理器設計爲靈活的,支持跨不同網絡拓撲的神經元和突觸級參數化,以專門滿足音頻和振動傳感等時空工作負載的需求。爲了支持混合工作負載,SNN結構與支持浮點的32位RISC-V CPU和32-MAC CNN加速器一起運行。FFT/IFFT引擎爲時頻域應用提供了額外的計算能力。
該處理器的內存子系統包括384 KB通用SRAM、128 KB專用於CNN計算和32 KB保留 SRAM,以通過低功耗轉換保持應用程序狀態。集成的外設支持包括I2C、UART、SPI、JTAG、ADC、攝像頭接口和GPIO,由分散收集DMA引擎提供支持,以促進尖峯數據處理。供電電壓爲1.6V,系統頻率爲160MHz,封裝尺寸爲2.8mm x 2.6mm/36pin WLCSP,工作溫度-40℃~125℃。
軟件端,Pulsar由Talamo SDK提供支持,它將基於PyTorch的模型訓練與直接硬件映射集成在一起。開發人員可以使用Python原生編譯器或RISC-V的標準GCC工具鏈來部署模型。
Polyn首款神經擬態模擬信號處理芯片流片
最近,Polyn Technology宣佈其首款基於專有神經擬態模擬信號處理平臺(Neuromorphic Analog Signal Processing, NASP)模擬芯片正式流片成功,同時NASP芯片進入認證階段,並預計於2025年第二季度正式投放市場。
這款芯片實現了超低功耗和實時信號處理能力,在執行信號推理時的功耗低於100μW,某些應用場景如 NeuroVoice VAD模型甚至可降至30μW。如此低的能耗使其非常適合應用於耳機、可穿戴設備、智能輪胎以及預測性維護傳感器節點等功耗受限的環境中。此外,NASP可將原始數據量縮減高達1000倍,顯著提升隱私保護水平,減少對雲服務的依賴,尤其適合醫療健康等對數據安全要求極高的領域。在技術資料中,NASP放出了在推理MobileNet V.2時候對比樹莓派3B+和JETSON TX1的結果。
NASP是Polyn技術創新的核心。它是一種混合模擬-數字架構,通過模擬電路模仿生物神經元的分佈式、超並行操作。該系統由運算放大器和可編程電阻組成,能夠在不依賴中央處理器或對信號進行數字化預處理的前提下,直接對傳感器數據進行原生推理。
與傳統傳感器數據處理方式不同,NASP前端可在原始音頻輸入階段就進行過濾與壓縮,僅輸出用於後續處理的關鍵特徵向量。這種方式不僅提升了效率,更實現了對信號的“理解”,從而顯著降低帶寬需求和雲端依賴。
當它充當邊緣信號傳感器,能夠使用神經擬態計算處理原始傳感器數據,而無需對模擬信號進行任何數字化。出於這個原因,該公司將其稱爲第一款無需模數轉換器(ADC)即可直接在傳感器旁邊使用的神經擬態模擬TinyML芯片。
NASP 平臺採用“固定 + 靈活”的雙模塊結構:
固定部分:通過硬連線模擬電路實現,負責從原始傳感器數據中提取關鍵特徵;
靈活部分:採用標準數字邏輯或低功耗微控制器實現,負責分類與解釋。
這一混合架構將遷移學習引入硬件層面。開發人員只需重新訓練靈活部分,即可快速適配新任務,例如將原本用於步態識別的加速度計數據用於跌倒檢測,從而大幅縮短產品迭代週期並降低整體複雜度。
Polyn不僅爲NASP自主研發了編譯器工具鏈,同時在設計流程上,Polyn利用Cadence的Virtuoso和Innovus工具,整合模擬與數字電路設計,並在55納米CMOS工藝上實現流片。
目前,Polyn正與SkyWater、普利司通、英飛凌、TDK等行業領先企業展開深度合作。雖然其首款芯片專注於語音處理,但未來的潛在應用場景包括振動分析、生物信號解讀、人機交互等多個領域。
2023年12月,英飛凌曾披露與Polyn的合作,雙方正在合作開發高級輪胎監測產品,英飛凌將提供具有輪胎振動信號檢測功能的新一代TPMS傳感器,並利用Polyn的NFE 對傳感器的振動數據進行預處理。
弗勞恩霍夫開發出邊緣AI加速器
今年3月,弗勞恩霍夫集成電路研究所 IIS 開發了一種用於處理脈衝神經網絡(SNN)的AI 芯片。脈衝神經網絡SENNA的推理加速器受到大腦功能的啓發,由人工神經元組成,可以直接處理電脈衝(尖峯)。其速度、能效和緊湊的設計使得直接在生成數據的地方(即邊緣設備)中使用SNN成爲可能。
SENNA是一種神經擬態芯片,用於在AI應用中快速處理低維時間序列數據。其當前版本由1024個人工神經元組成,芯片面積小於11 mm²。該芯片的響應時間短至 20納秒,可確保精確計時,尤其是在邊緣時間關鍵型應用中。
因此,它的優勢在基於事件的傳感器數據的實時評估和閉環控制系統中真正顯現出來;例如,在使用AI控制小型電動機時。SENNA還可用於在通信系統中實現AI優化的數據傳輸。在那裏,AI處理器可以分析信號流並根據需要調整傳輸和接收程序,以提高傳輸的效率和性能。
SNN如此節能的原因之一是神經元僅被少量激活,並且響應特定事件。通過其尖峯神經元,SENNA 充分利用了這一節能優勢。由於其完全並行的處理架構,人工神經元可以精確地映射SNN的時間行爲。SENNA還可以通過其集成的尖峯接口直接處理基於尖峯的輸入和輸出信號。通過這種方式,它可以無縫地適應基於事件的數據流。“憑藉其新穎的架構,SENNA 解決了能效、處理速度和多功能性之間的權衡,這是其他邊緣 AI 處理器所無法比擬的。這使得它非常適合資源受限的應用,這些應用需要在納秒範圍內具有極快的響應時間,“Fraunhofer IIS嵌入式AI集團經理 Michael Rothe解釋道。
當前的SENNA參考設計專爲22nm製造工藝而設計。這意味着SNN處理器可以用作各種應用中的芯片,並且可以經濟高效地實現。它的設計是可擴展的,可以在芯片生產之前適應特定應用、性能要求和目標硬件的特殊功能。但即使在芯片製造完成後,SENNA仍保留了最大的靈活性,因爲它是完全可編程的。使用的SNN模型可以一次又一次地更改並重新傳輸到 SENNA。爲了讓開發人員儘可能輕鬆地實現他們的AI模型,Fraunhofer IIS 還爲 SENNA提供了一個全面的軟件開發工具包。
神經擬態到底是啥
目前全世界的神經擬態芯片結構基本都一致,都是由神經元計算、突觸權重存儲、路由通信三部分構成。不過,比較關鍵的點在於亮點——一是模型,二是器件。
首先,在模型方面,目前神經擬態芯片普遍採用SNN(脈衝神經網絡)。相較於傳統神經網絡,脈衝神經網絡(SNN)的結構更具“神經”特性。傳統神經網絡依賴矩陣卷積或矩陣乘法實現信號傳播,而SNN在傳播過程中採用了更貼近人類大腦的神經突觸結構。在SNN 網絡中,當脈衝信號積累至特定水平時,神經元會向下一個神經元發送代表“1”的信號,隨後自身膜電位恢復至較低水平,並在一段時間內進入不應期,無法再次發送信號。
對於SNN來說,時空動態性是一個重要的特性。通過引入時間維度,SNN能實現異步計算。SNN擅長處理時空動態信息,尤其適合與事件驅動型傳感器(如動態視覺傳感器DVS)結合。目前來看,大多數廠商都選擇SNN+CNN的異構方案,應對不同場景。
其次,在器件實現,依據材料、器件、電路,分爲模擬電路主導的神經形態系統(數模混合CMOS型)、全數字電路神經系統(數字CMOS型)、基於新型器件的數模混合神經形態系統(憶阻器是候選技術)三種流派。
數字CMOS是目前最易產業化的形式,一方面,技術和製造成熟度高,另一方面,不存在模擬電路的一些顧慮和限制,不過數字CMOS型還只是最初階的類腦芯片,還算不上完全模擬人腦的神經形態器件。
數模混合CMOS是Polyn的實現方式,通過對比來看,這種方式能夠直接省略掉ADC,可以通過可編程電阻直接對傳感器的原生數據進行處理。
憶阻器(Memristor)則是目前科學界也在研究的技術,憶阻器的魅力在於,它不僅是一個存儲單元,同時還能進行計算!想象一下,如果你的硬盤不僅能存儲數據,還能直接進行深度學習計算,那麼 AI 訓練的速度將大幅提升。憶阻器的這一特性,使其成爲存算一體架構的核心組件。憶阻器存算一體架構正在快速發展,預計在未來5~10年內將進入商業化應用。
類腦芯片主要類型和研發進度,製表丨電子工程世界
目前,國內也有很多企業在研究神經擬態計算芯片,他們的主要目標也是邊緣AI。
國內研究則包括清華大學、浙江大學、復旦大學、中科院等頂級學府和機構,同時近兩年不斷湧現初創公司,如靈汐科技、時識科技、中科神經形態等。其中以清華大學的天機芯和浙江大學的達爾文芯片最具代表性。
邊緣AI正在被顛覆
總之,受人腦啓發的神經擬態計算正在顛覆邊緣AI場景。
與傳統的馮·諾依曼架構不同,神經形態芯片模擬人腦的神經元和突觸結構,具有超低功耗和並行處理能力,特別適合邊緣設備上的AI應用。
畢竟,動不動就上百倍能效提升,可太香了,誰不想要。
目前,英特爾的Loihi、IBM的TrueNorth等神經形態芯片已展示出在邊緣AI場景下的巨大潛力。
而上文介紹的廠商也已經開始正式在商業化場景中嘗試使用神經擬態芯片,雖然出於成本、開發難度等考量,可能他們並不會完全取代現有的MCU或嵌入式芯片,但在特定場景一定能夠得到很強的應用。一場邊緣新革命即將到來。
免責聲明:投資有風險,本文並非投資建議,以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請,作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考,不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證,投資者應自行研究並在投資前尋求專業建議。