炒股就看金麒麟分析師研報，權威，專業，及時，全面，助您挖掘潛力主題機會！
機器之心報道
編輯：+0、張倩
語言模型到底能記住多少信息？Meta、DeepMind、康奈爾大學和英偉達的一項測量結果顯示：每個參數大約 3.6 比特。一旦達到這個極限，它們就會停止記憶並開始泛化。
長期以來，記憶與泛化之間的模糊性一直困擾着對模型能力和風險的評估，即區分其輸出究竟源於對訓練數據的「記憶」 （對其訓練數據分佈的編碼程度） ，還是對潛在模式的「泛化」理解 （將理解擴展到未見過的新輸入）。 這種不確定性阻礙了在模型訓練、安全、可靠性和關鍵應用部署方面的針對性改進。
這就好比我們想知道一個學生考試得了高分，是因為他真的理解了知識點（泛化），能夠舉一反三，還是僅僅因為他把教科書上的例題和答案都背下來了（記憶）。
基於此，研究團隊提出了一種新方法，用於估計一個模型對某個數據點的「了解」程度，並利用該方法來衡量現代語言模型的容量。
研究團隊從形式上將記憶分為兩個組成部分：
通過消除泛化部分，可以計算出給定模型的總記憶量，從而估計出模型容量：測量結果估計，GPT 系列模型的容量約為每個參數 3.6 比特
研究團隊在規模不斷增大的數據集上訓練語言模型，觀察到模型會持續記憶，直到其容量飽和，此時「頓悟」（grokking）現象開始出現，非預期記憶隨之減少，模型開始泛化。也就是說，在海量數據（維權）上訓練的語言模型根本不可能記住所有訓練數據，因為根本沒有足夠的容量。
研究團隊訓練了數百個參數量從 50 萬到 15 億不等的 Transformer 語言模型，並由此提出了一系列關於模型容量、數據規模與成員推斷之間關係的 scaling law。
研究團隊還借鑑了「信息論之父」 Claude Shannon 1953 的一項重要工作《The Lattice Theory of Information》的一些理論。該論文將他早期關於信息論中熵和信道容量的概念，與數學中的格理論聯繫起來，為理解和處理複雜信息系統提供了新的視角。
這項研究激發了社區對蒸餾、量化、模型安全等方面的思考。
兩種「記憶」：非預期記憶和泛化
在論文中，作者希望找到一個方法來量化模型對特定數據點的記憶程度，並且這種記憶定義要滿足以下幾點：
統計學視角下的記憶定義
作者從信息論的角度出發，利用「互信息（Mutual Information）」來定義記憶。
在論文中，大寫字母（例如 X、Θ）用來指代隨機變量，小寫字母用來指代隨機變量的實例（例如 x ∼ X 和 θ ∼ Θ）。
信息論已經為隨機變量發展出了被廣泛理解的信息概念。對於隨機變量 X，通常使用 H (X)，即 X 的熵，來定義 X 中存在的信息量。此外，對於兩個不同的隨機變量 X、Y，可以將 X | Y 定義為在固定 Y 後 X 中剩餘的不確定性。定義了這個量之後，現在可以通過從總信息中減去剩餘信息來測量 X 和 Y 之間的互信息：I (X, Y) = H (X) − H (X | Y)。
現在假設有一個機器學習 pipeline。作者有一個關於底層模型的先驗 Θ，它捕獲了作者的數據集分佈 X。作者有一個學習算法 L，它將來自 X 的樣本映射到訓練好的模型 。為了理解有多少關於 X 的信息存儲在 中，作者可以使用互信息的概念：
注意這捕獲了存儲在 中的關於 X 的所有信息。正如前面所討論的，記憶的概念需要同時考慮泛化。因此，當測量非預期記憶時，作者只對 X | Θ 中存在的信息感興趣，這是在固定 Θ 後 X 中剩餘的不確定性。
因此，可以將非預期記憶化定義為：
然後泛化（或預期記憶）應該是：
現在作者已經定義預期和非預期記憶的概念，作者將注意力轉向實際測量它們。讓作者首先陳述一個能夠非預期記憶的命題：
命題 1（非預期記憶的 Super-additivity）。 假設 X = (X_1, . . . , X_n) 是 n 個獨立同分布樣本的數據集。作者有:
這個命題表明，為了測量數據集級別非預期記憶的下界，可以將每個樣本的記憶相加。另一方面，訓練模型本身的信息內容的熵作為非預期記憶的上界。這個命題的另一個含義是，非預期記憶應該隨數據集大小 scale，但不能超過模型的總容量。
用 Kolmogorov 複雜度測量非預期記憶
用似然度估計 Kolmogorov 複雜度
確定了 Kolmogorov 記憶概念後，現在描述如何在不同設定中估計 H^K。注意，Kolmogorov 複雜度的精確計算是已知不可計算的（其判定版本是不可判定的）。然而，仍然可以使用最佳可用壓縮方案來近似它。在論文中， 作者總結了如何近似定義中的每個項。
模型記憶容量
非預期記憶為作者提供了一種有原則的方法，用以衡量模型 θ 對某一數據點 x 所掌握的確切比特數。
如果將數據集中每個數據點的信息加起來，就可以衡量模型對整個數據集所掌握的總比特數。並且，在由於每個數據點完全獨立而無法進行泛化的情況下，可以通過對每個數據點的非預期記憶進行求和來估計給定模型 θ 的容量。
定義模型容量
作者首先對特定語言模型 θ 的這種記憶容量概念進行形式化。容量是指在 θ 的所有參數中可以存儲的記憶總量。
用合成序列測量模型容量
實驗
實驗結果
圖 2 展示了不同模型規模和數據量下的記憶情況。這樣，便可以將不同數據集規模 (x 軸) 下的非預期記憶量 (y 軸) 進行可視化，並按模型規模 (線條顏色) 分組。研究中觀察到，一旦模型達到其容量上限，便會出現一個明顯的平台期。當數據集足夠大時，無論數據規模如何，模型的淨記憶量都會達到一個上限。對於容量充足的模型而言，小型數據集會被完全記憶。
文中將每個模型的容量，估計為在所有數據集規模上測得的最大非預期記憶比特數。隨後，在圖 6 中將這一容量與模型規模進行了比較。有趣的是，即便在當前這種小規模實驗中，也能觀察到所測容量（即在所有數據集上測得的最大記憶量）與模型參數數量之間，存在一種非常平滑的對應關係。圖 6 中呈現了這種關係：在當前的實驗設定下，文中所述模型每參數能穩定記憶 3.5 至 3.6 比特的信息。
這印證了先前研究的發現，即事實性信息的存儲量與模型容量成線性關係。文中的估計值略高於 Allen-Zhu & Li (2024) 的結果 —— 他們通過量化方法估計模型每參數約可存儲 2 比特信息。
由於模型是通過梯度下降進行學習的，因此並不能保證找到全局最優解；所以，作者所測量的始終是模型容量的一個下限。作者進一步仔細研究了訓練曲線，以分析一個包含 800 萬參數的語言模型的收斂情況。圖 6 展示了模型在訓練過程中的收斂動態。
可以看到，對於樣本量從 16,000 到 400 萬的各個數據集，其記憶的比特數均在 3.56×10^6 到 3.65×10^6 的範圍內。這表明測量結果在一個數量級內具有穩健性，並且作者認為，即使進行更多的訓練迭代，模型能記憶的信息量也不會有顯著增加。這一發現也印證了作者的假設：即模型的容量與參數數量大致成正比。
其中，兩個最大的數據集（樣本量分別為 400 萬和 800 萬），其收斂後的總記憶量分別為 2.95×10^6 和 1.98×10^6 比特。作者預計，若進行更多輪次的訓練，這些模型所記憶的數據總量將繼續向其容量上限增長。
精度如何影響容量？
一個很自然的問題是：對 α 的估計值，在多大程度上取決於語言模型訓練時所用的精度？
事實上，儘管多數軟件默認採用 32 位精度進行訓練，但近期研究已表明，即使將語言模型量化到每參數不足 2 比特的水平，它們仍能保留大部分原有功用。
鑑於所有其他實驗均在 bfloat16 精度下進行，作者特地在完整的 fp32 精度下重做了這些實驗，以分析其對容量的影響。
結果顯示，對於不同規模的模型，容量均略有提升，α 的平均值也從 3.51 比特 / 參數增加到了 3.83 比特 / 參數。
這一增幅遠不及參數 θ 比特數實際達到的兩倍增長，這表明，當精度從 bfloat16 提升至 float32 時，模型中增加的額外比特，大部分並未被用於原始數據的存儲。
更多信息請參見原文。