萬億參數的前沿大模型不斷在新聞裏改變着世界,讓全球股市在一天內升跌幾千億美元。但公司用什麼技術,通常取決於它的預算。離開僱佣大批高薪程序員的科技行業,最先進的大模型更多是談資。
一項前沿技術真正進入各行各業、改變每個人的生活,往往要等到它不再性感,成熟到 「無聊」。最近進入這個階段的,是 Transformer 之前的明星——CNN、RNN 架構的模型。
十年前,科技媒體最關注的創新科技公司是做這些模型的 「AI 四小龍」。英偉達來中國辦活動,黃仁勳將海康列為跟阿里雲一樣重要的 AI 合作伙伴。
今天,這些公司不再被人討論,而曾經的前沿技術也足夠便宜,進入了生產線。
雙十一前夕,多個極兔轉運中心裝上了新的 AI 服務器。每台服務器盯着一個轉運中心上千個攝像頭的實時畫面,每秒刷新 8 次。包裹卡住、分揀員用力扔快遞,服務器一分鐘內就會發出通知,派人處理。
在蘋果一家中國供應商的生產線上,一百多個激光 3D 打印的鈦合金零件組裝成摺疊屏鉸鏈。每個零件和裝好的鉸鏈,最後都要放上支架檢查。產線上沒有紀錄片裏那種扭着脖子看放大鏡的工人。幹活的是一排十幾個攝像頭,每秒拍 10 張,邊拍邊調整位置。照片全部在流水線裏一台類似 PC 的 AI 服務器上檢測。人只負責把合格的零件搬走。
一些司法部門下班後,辦公樓裏的小型服務器還在處理歷史檔案。這些數據不能、也不需要上傳到對外服務的大模型,樓內服務器上的 27B Qwen 就能把它們整理成數據庫。第二天上班,工作人員像用豆包一樣提問,就能準確查到相關歷史案件怎麼處理,附上出處。
這些場景不需要最大的模型。十年前流行的視覺模型,加上規模較小的大語言模型——參數規模通常只有 Kimi K3 幾分之一甚至幾十分之一,已經能完成不少工作。
這些場景裏的 GPU 都由登臨提供,一塊賣幾千元到幾萬元。今年前 4 個月,登臨賣了 10000 多塊。在價格敏感的行業裏,它一單一單替掉了英偉達的推理芯片,甚至遊戲顯卡。
從順豐和極兔,到工廠流水線,AI 已經是一筆算得過來的賬
快遞業今天更像自動化工廠。佔地 30 萬平米的極兔大型轉運中心,傳送帶總長 40 公里。貨車運來的快件倒上分揀機,掃碼後進入不同的傳送帶,再裝車發往全國。
這裏的傳送帶,平均一天出 1000 多起故障。包裹被護欄掛住,就可能擋住後面的包裹,堵住一整條傳送帶;有時包裝被撕裂捲進機器,導致整條線停下;如果面單損壞,查不到包裹從哪兒來、該到哪兒去,就成了快遞業說的 「無頭件」,等着賠客戶。
這樣一個轉運中心,光專門盯着流水線和分揀操作的攝像頭,就有將近 3000 個。
「人根本看不過來。」 一位工程師說。監控室的大螢幕通常一屏放 16 個畫面。每個畫面停 1 分鐘,仔細看包裹有沒有異常,平均 3 個小時才能輪一遍,中間有 170 多分鐘盲區。
管理人員憑經驗安排巡查路線。事故最多的路線,一公里距離,隨時有三個人不間斷巡查。即便這樣,事故平均也要 30 分鐘才被發現,處理又要幾分鐘。
順豐第一個大規模用 AI 盯住轉運中心全部生產環節,極兔緊隨其後。今年,多個極兔轉運中心相繼收到 AI 服務器,裏面分別裝着 8 張登臨 KS38 GPU。
如果把這台服務器上的 AI 當成一個活物:它待在一片漆黑裏,面前是一塊比 IMAX 還大的巨幕,由 1000 個 1920×1080 的畫面拼成。巨幕每秒刷新 8 次,它也要看 8 遍。腦子裏運行的是 「圖像分割模型」:先從畫面裏認出包裹、勾出輪廓,再判斷它有沒有卡住。
現在包裹一卡住,服務器 1 分鐘內就通知到人,10 分鐘內故障解除,恢復運轉。人不用再密集巡查、緊盯螢幕,只要按 AI 的提示去現場處理。
檢測用的是 YOLO 等開源視覺模型,有的只有幾十 MB,不大,難在每秒要處理 8 次。每 0.125 秒,攝像頭傳回來壓縮過的視頻流,GPU 上的硬件解碼單元先把視頻還原成一幀幀圖像,再抽出要檢查的畫面,調好尺寸和數據格式,送給對應的模型,完成檢測。
開發人員試過較早的英偉達 V100,要四台服務器、買 32 張卡,算力纔夠——GPT-3 是一萬多張 V100 訓練出來的。他們測過另一家國產 GPU,算力夠,但沒法同時解碼 1000 路視頻,得買兩台,成本就上去了。實體行業必須摳每一分錢。最後極兔買了登臨的服務器,一台幾十萬元。
服務器有富餘算力,工程團隊用它來跑大模型,識別暴力分揀。我們從幾家快遞公司了解到,分揀時摔壞包裹,快遞員為趕時間提前上傳照片謊報送達。這些不規範操作招來的平台罰款和賠償,平均每單超過 2 分錢,一家公司一年就是數億元。
包裹輕重不一,分揀員力氣也不同,光看動作很難判斷他是不是扔得太重。工程團隊先用小模型找出分揀時移動太快的包裹,再比對肢體動作,判斷是否可能違規,準確率只有七八成。但將小模型篩出來的可疑案例交給大模型,準確率能提到 90% 多,「這就可以用了」。
AI 搶走人的工作,是今天最常被談論的風險。但在利潤微薄的工業領域,更常見的情況是:企業本來就僱不起、也僱不到足夠多願意幹枯燥活的人,只能讓機器自己幹。工廠裏的質檢就是這樣的工作。過去,年輕人每天十幾個小時對着放大鏡,找螢幕、電路板上的微小劃痕和虛焊,看到淚流不止。
在東莞一家工業測試公司門口,我們的手機攝像頭被貼上了膠帶——這是蘋果的要求。兩三年前起,蘋果陸續要求製造商全部用上 AI 光學檢測設備,先採購了送給他們,調試好證明可用,製造商再自己採購。我們去的,就是給蘋果造檢測設備的公司之一。
它的產品一台賣 100 萬元以上,放在客戶流水線的末端。機械臂把生產好的零件抓上檢測台、固定住,一列最多 20 個攝像頭開始拍,每秒 10 張。設備不停換燈光顏色、調整零件位置,判斷尺寸合不合格、表面有沒有劃痕。
上個月,我們在深圳、蘇州走訪了多家檢測公司。有的檢查電路板上幾百個零件是不是全部焊好,一台賣十幾萬元;有的檢查芯片和螢幕面板有沒有損傷,一台最多能賣上千萬元。比它們更便宜、更貴的也都有。
視覺檢測最早靠工程師寫規則,用 CPU 就夠。疫情前不久,檢測設備開始用 AI 識別缺陷,也裝上了 GPU。
這些公司起初標配英偉達 RTX 3060、4070 等遊戲顯卡——這是英偉達利潤率最低、性價比最高的產品。但這兩年,英偉達遊戲顯卡跟着 AI 芯片一起漲價,一年調好幾次,有時一兩個月都買不到貨。現在這幾家都換成了登臨的 KS19 GPU。
這個行業有幾百家公司,每家專做一個細分領域,從挑水果到檢查晶圓上的損傷。年收入少的幾千萬元,2-3 億元已算中等規模。一百家加在一起,也未必超過商湯上市前的孖展額。他們請不起年薪 200 萬元的 AI 博士,但也因此造出足夠便宜的設備,把 AI 送進了同樣利潤微薄的工廠產線,提高了產品品控。
跟極兔一樣,檢測公司也開始讓大模型和小模型搭配工作。
每台設備運行幾十個甚至更多的 YOLO 小模型,通常一類問題就需要一個模型。工程師給良品和次品拍照,標出缺陷,反覆調參數,訓練模型。
做螢幕和半導體檢測的蘇州高視,已經買來服務器,用大模型訓練 YOLO 模型。按目前的測試結果,大模型訓練小模型比老工程師快,效果也比新手好。
技術、供應鏈、規模都比不上英偉達,當一個 AI 偏科生
登臨 2017 年成立時,芯片還能在中美之間自由買賣,也還沒有 GPU 國產替代的故事。當時任何一家做 AI 計算芯片的公司,都要回答一個問題:客戶為什麼用它不用英偉達?
這個問題至今也成立。今天在中國沒法合法買到英偉達性能最強的芯片,但它的很多推理芯片依然正常銷售、使用。大互聯網公司、工業企業部署了數以十萬計的英偉達 A10、A30、L40、L2、L4 推理芯片。甚至發布十幾年的推理芯片 Tesla T4,阿里雲仍有使用它的 GPU 實例。在一些工業客戶那裏,國產廠商還要和幾千元的英偉達遊戲顯卡競爭,運行視覺檢測的模型。
英偉達的優勢也不止單卡性能。台積電的產能、成熟的供應鏈和龐大的出貨量,幫它壓低生產成本、攤薄研發投入。幾十年積累的各種芯片相關專利設計,也能在多款產品上覆用,進一步獲得成本優勢。
CUDA 是英偉達的另一大優勢,推出 20 年來超過 600 萬開發者在用它寫程序,是 AI 應用的首選開發平台。換用其他芯片,包括 Google TPU 等 ASIC 芯片,都要修改程序、重新測試。
芯片創業公司沒有這些優勢,規模更小、在生產上也有更多成本。如果做一個跟英偉達一樣的產品,搶最先進的零部件,不可能比英偉達便宜。
「如果一家公司的競爭力主要靠買內存、買 IP,再花錢鎖定產能,最後比的就是誰有錢。」 登臨聯合創始人王平對我們說,他們在初期調研後決定把錢先投在自己的核心計算設計和軟件上,先讓客戶的業務運行起來,再擴大規模,造更復雜的產品。
登臨最後選了 AI 做突破口:設計芯片時加強 AI 常用的矩陣計算,保留客戶需要的通用計算能力,讓檢測、識別等場景的成熟模型跑得更划算,「在 AI 上做一個偏科生」。
王平說,登臨定義產品 「基本上是以客戶應用的指標來做」。團隊先按芯片面積預算估出能堆多少算力,再結合功耗用模型預測性能,確認客戶願意付錢,才往下設計。
視頻分析客戶希望一張卡接更多攝像頭,登臨就得同時提高解碼能力——壓縮視頻來不及還原成畫面,後面的模型就沒東西可識別。所以定義產品時,登臨就把支持更多路解碼當作和英偉達同類產品競爭的指標。
計算部分也按這些需求分配資源。英偉達的 GPU 按固定比例集成矩陣計算單元(Tensor Core,主要負責 AI 計算)和通用計算核心。同一代產品之間的性能差距,取決於集成了多少 Tensor Core,但兩者的比例不變。
登臨則把決定 AI 加速性能的矩陣計算單元單獨拆出來。多款 GPU 的通用計算核心不變,但矩陣計算單元可調。這樣在同樣的芯片面積裏——對應生產成本——它能拿出更大比例做 AI 加速,在 AI 相關運算上提供更高性能。
在做圖像預處理、結果排序這類並行計算較重的任務時,登臨相對英偉達就不再有優勢,因為現行架構對通用計算投入有限。「這是我們權衡之後的選擇。」 王平說。
內存設計上,登臨也有類似的取捨。它創辦同期,英偉達推出的 T4 推理芯片使用 GDDR6 顯存,之後在近年相對主流的 A10、L2、L4 等產品,以及近期消息稱數家互聯網企業購買的 RTX PRO 5500 也同樣使用 GDDR 顯存,只有部分針對公有云大模型部署的 GPU 使用昂貴的 HBM 高帶寬內存。登臨前三代芯片都用跟手機一樣的 LPDDR 內存,更便宜、自己可以買到需要的授權。
LPDDR 內存比同期的 GDDR 功耗更低,但帶寬只有 1/3。為此,登臨在芯片裏配置了較大的 SRAM,用來暫存計算結果,再配合軟件,讓模型後一層直接使用前一層留下的數據,從而減少數據在芯片與外部內存之間的往返。代價是 SRAM 本身也佔用芯片面積。
決定一個芯片成本的,不止是設計和生產。這個公司需要多少人服務客戶,以及它創業花了多少錢,都將被分攤到每一個芯片。
登臨控制這些開支,先從限制自己開始。成立 9 年,公司仍只有 280 人。
「我們只賣卡,連服務器都不賣。」 一位登臨人士說。小團隊就做更少的事,把 GPU 賣給實際企業客戶,如果服務大型政企項目,則只賣卡給系統集成商及算法公司,由合作伙伴對接複雜的需求。追逐大型政企項目能做大營收規模,但利潤率低,需要大量人手支持,最終都會體現在每張卡的成本里。
跟着客戶需求,古典路徑創業做產品
2017 年 11 月 11 日,王平從美國登機,次日到蘇州,第三天就開始為尚未註冊的登臨工作。頭一天,他忙着買鎖、垃圾桶和打印機,「真的是什麼都沒有」。到年底,團隊約有 10 人。
2007 年,李建文、王晨輝和王平先後加入芯片設計授權公司圖芯(Vivante)。李建文負責 GPU 及通用計算的設計授權產品,王晨輝負責驅動軟件、系統集成和技術支持,王平負責性能分析和特性定義。圖芯把整套 GPU 設計交給中國團隊,幾人因此參與過核心計算設計。
成立前約半年的客戶和供應鏈走訪,讓登臨定下方向:保留通用計算能力,加上 AI 計算能力。客戶擔心換卡後要花錢改程序,登臨也要支持他們熟悉的英偉達 CUDA 編程方式。
登臨籌備成立那年 9 月,英偉達在北京辦 GTC China。黃仁勳預言,未來每一筆互聯網交易都會用到神經網絡;台上展示的最重要合作伙伴裏,海康等智慧城市解決方案公司和阿里並列。智慧城市就是當時最先進的 AI 應用,登臨選擇從這些客戶做起。
2020 年夏天,登臨第一代芯片在境外流片時,芯片封鎖已經開始,半導體國產化已經成了趨勢。行業客戶對產品提出了具體要求。
攝像頭傳來的視頻要先解碼,還原成圖像,才能交給 AI 模型。來不及解碼,算力再富餘也用不上。當時英偉達 T4 最多解碼 24 路,登臨的目標是 48 路。「至少得做到 2 倍路數才能贏吧。」 王平說。算力夠用時,一張卡處理的視頻越多,客戶需要買的卡就越少。
最終客戶看的不是單個卡的參數,而是解決同樣的任務要花多少錢。
2021 年春節前半個月,登臨拿到了第一代芯片樣片,趕在春節前實現了海康要求的 「自己自定義、自己寫的算子」,隨後調整性能,進入海康的產品線驗證。同年 10 月,海康智慧產業股權投資基金參與了登臨的 D0 輪孖展。
每一代產品的改進,都來自客戶對上一代產品的反饋。登臨第一代芯片給解碼分配了更多面積,編碼能力較弱。但一些客戶接入 20 路視頻,經 AI 處理後,還要重新壓縮、輸出 20 路,編碼能力就不夠了。最新一代芯片支持 60 路編解碼,客戶可以自行分配編碼和解碼的比例。
讓客戶已有的 CUDA 程序運行起來,也從創業之初就開始做。2017 年 12 月,王平逐條研究 CUDA 編程指南和公開的指令接口說明,寫程序分析各項功能,據此確定設計要求。比如,程序需要多大的共享內存,登臨的設計就不能比它小。
很多 GPU 公司都會說自己的硬件可以兼容 CUDA,但 CUDA 只是 API,所謂 「兼容」 就是開發編譯器,把 CUDA 程序轉換成登臨芯片能執行的指令,重寫客戶最常用的庫函數,儘量讓程序不用改就能運行。仍然無法運行的,由工程師協助客戶修改。
對於國產 GPU 廠商,客戶還有一個明確的要求,無痛切換:自己為前一代開發的軟件、解決的問題,第二代不要再做一遍。2021 年加入登臨、負責對接客戶的鄭韜當時承諾:客戶發現過的軟件錯誤,在下一代芯片裏全部解決;主要的軟件接口不改,功能保持一致,性能提升。
智慧城市客戶需要的功能,很多後來用到了其他行業。崑山一家物流公司用英偉達遊戲顯卡做視覺檢測,風扇吸入粉塵,基本每天都要死機,拆機清理時流水線也得停。登臨提供了無風扇的 KS20,靠 GPU 加外殼散熱。這項設計最初用於路邊線杆上的視覺設備箱,要經受日曬雨淋和較大溫差。
進入工廠,登臨還要面對 Windows 系統。AI 模型、軟件普遍在 Linux 環境下開發、部署。但到了工廠,哪怕蘋果供應鏈裏的中國生產商,也全部用 Windows 系統。工廠很難培訓操作工使用命令行,而這些人都通過網吧學會了 Windows。於是 Windows 就成了行業標準。設備出故障時,供應商也能通過遠程工具調整設備。
工業客戶太小了,很多年營收只有億元上下,第一年只買 20-30 張卡,第二年再加一點,一年買 200 張已是大單。奔着國產替代的敘事創業,爭取大企業、政府算力項目的芯片公司,很多都不屑於為工業級應用專門開發各版本的 Windows 驅動和相關軟件。
訂單小,需要解決的軟件問題卻未必少,登臨只能 「一個客戶一個客戶、一個行業一個行業地啃」。同一個需求出現第二個客戶,他們就趕緊做;等第 3、第 4 個客戶來時,往往就能直接用。
技術突破可能是科學問題,但技術普及一定是商業問題
登臨開始準備做過去做不起的產品,計劃為下一代產品加入高帶寬的 HBM 內存,以及讓多顆芯片協同計算的互聯設計,逐步進入公有云市場。按照招股書草案,這些產品將分階段推出:先提高現有企業客戶能買到的算力,再做面向更大模型的產品。
「IP 攢夠了。」 王平說。他指的是不同芯片上的設計模塊。登臨每賣出一代產品,都在檢驗這些設計:硬件還缺哪些能力,哪些常用模塊支持不夠,哪些軟硬件功能做了卻沒人需要。真實客戶才能倒逼芯片公司做出更易用、被更多公司需要的產品。
這種積累已經改變了交付產品的速度。鄭韜剛來的時候,第一代芯片送進海康,兩個月還在調整軟件、驅動。到第三代,一些開發能力有限的中小客戶拿到 GPU,兩周就能送到自己的客戶那裏試用。
跟上游供應商之間的合作關係也用時間積累起來。今天全球的晶圓代工廠、存儲芯片製造商都比奢侈品公司更挑客戶。有錢不夠,客戶還得證明一年銷量高過上一年,並經過長期合作,才值得分到緊缺的產能。登臨是長鑫最早的算力芯片客戶,從 2023 年開始用它的 LPDDR4X 內存。
王平說,早期孖展一兩億元,公司只能一步步做。等自己的計算設計和軟件經過客戶驗證,再籌錢投入更昂貴的內存、封裝和後續研發,做更復雜的產品,把這些年積累的設計、技術,以及對客戶需求的洞察用在投入更大、競爭也更激烈的市場。
做客戶需要的東西,賣到客戶願意付的價格,這是做生意的常識。再先進的技術,再宏大的敘事,最後真的落地用於日常,也都是在解決這樣的商業問題。