炒股就看金麒麟分析師研報，權威，專業，及時，全面，助您挖掘潛力主題機會！

（來源：MIT News）

研究表明，大型語言模型（LLM）往往會過度強調文檔或對話開頭和結尾的信息，而忽略中間部分。這種“位置偏差”意味着，如果律師使用 LLM 驅動的虛擬助手在 30 頁的宣誓書中檢索某個短語，當目標文本位於開頭或最後幾頁時，LLM 更有可能找到正確的文本。

近期，麻省理工學院（MIT）的研究人員揭祕了這一現象背後的機制。

他們創建了一個理論框架來研究信息如何流經構成 LLM 核心的機器學習架構。結果發現，控制模型如何處理輸入數據的某些設計選擇會導致位置偏差

實驗表明，模型架構（特別是那些影響信息在模型內部輸入詞之間傳播的架構）可能引發或加劇位置偏差，訓練數據也會加劇該問題。

除了找出位置偏差的根源，他們的框架還可用於診斷並在未來的模型設計中糾正這一問題。這可能會催生：在長時間對話中更能保持話題的可靠聊天機器人；在處理大量患者數據時推理更公平的醫療 AI 系統；能更仔細關注程序所有部分的代碼助手。

麻省理工學院數據、系統與社會研究所（IDSS）和信息與決策系統實驗室（LIDS）的研究生、該研究論文的第一作者 Xinyi Wu 表示：“這些模型是黑箱，因此作爲 LLM 用戶，你可能不知道位置偏差會導致模型輸出不一致。你只是按自己希望的順序將文檔輸入模型，並期望它正常工作。但通過更好地理解這些黑箱模型的底層機制，我們可以通過解決這些侷限性來改進它們。”

其他作者包括麻省理工學院博士後 Yifei Wang，電氣工程與計算機科學系副教授、IDSS 和計算機科學與人工智能實驗室（CSAIL）成員 Stefanie Jegelka，以及土木與環境工程系教授兼系主任、IDSS 核心教員、LIDS 首席研究員 Ali Jadbabaie。該研究將在國際機器學習大會上發表。

分析注意力機制

Claude、Llama 和 GPT-4 等大型語言模型由一種稱爲 Transformer 的神經網絡架構驅動。該架構專爲處理序列數據設計，將句子編碼爲稱爲“token”的片段，通過學習 token 之間的關係來預測後續詞彙。

這些模型之所以擅長此任務，得益於注意力機制。通過多層互聯的數據處理節點，讓 token 能夠有選擇地關注（即“注意”）與之相關的其他 token，從而理解上下文。

但當每個 token 都需要關注 30 頁文檔中的所有其他 token 時，計算量很快就會變得難以處理。因此工程師在構建 Transformer 模型時，通常會採用注意力掩碼技術來限制 token 可關注的詞彙範圍。例如，因果掩碼只允許詞彙關注其前面的內容。

工程師們還使用位置編碼技術，通過標記每個詞彙在句子中的位置來提升模型表現。

MIT 研究團隊建立了一個基於圖論的理論框架，專門研究這些建模選擇（注意力掩碼和位置編碼）如何影響位置偏差。“注意力機制內部所有元素都相互耦合糾纏，很難單獨研究。圖論作爲一種靈活的語言，能清晰描述注意力機制中詞彙間的依賴關係，並追蹤其在多層網絡中的傳遞路徑。”Wu 解釋道。

理論分析表明，因果掩碼會使模型對輸入文本開頭產生固有偏好，即便數據本身並不存在這種偏差。當句子開頭詞彙對語義並不重要時，因果掩碼仍會迫使 Transformer 過度關注起始部分。“雖然句子首尾詞彙通常確實更重要，但如果將大語言模型用於非自然語言生成任務（如排序或信息檢索），這種偏差會帶來嚴重問題。”Wu 指出。

隨着模型規模擴大、注意力機制層數增加，這種偏差會被放大，因爲輸入文本的前段內容會在模型推理過程中被更頻繁地使用。

研究還發現，採用位置編碼技術強化詞彙與鄰近詞彙的關聯可以緩解位置偏差。這種方法能將模型注意力重新聚焦到正確位置，但在深層網絡中其效果會逐漸稀釋。

需要注意的是，這些架構設計只是位置偏差的來源之一，部分偏差可能來自模型訓練數據本身對詞彙優先級的設定。“如果已知數據存在特定偏差，除了調整建模方案外，還應該對模型進行微調。”Wu 建議道。

“中間迷失”現象

在建立理論框架後，研究人員進行了一系列實驗：在信息檢索任務中，他們系統性地改變正確答案在文本序列中的位置。實驗揭示出“中間迷失”現象——檢索準確率呈現U型曲線：當正確答案位於序列開頭時模型表現最佳；隨着答案位置向中間移動，性能逐漸下降；而當答案接近末尾時，準確率又略有回升。

這項研究最終表明，通過採用不同的掩碼技術、精簡注意力機制的冗餘層數，或策略性地運用位置編碼，都能有效降低位置偏差並提升模型準確性。“通過理論與實驗相結合，我們得以洞察那些當時尚不明確的模型設計選擇所帶來的影響。若要將模型應用於關鍵場景，必須清楚知曉其適用邊界與失效原因。”Jadbabaie 強調。

未來，研究團隊計劃深入探究位置編碼的影響機制，並研究如何在某些應用中策略性地利用位置偏差。“這項研究爲 Transformer 模型的核心——注意力機制提供了珍貴的理論視角。他們通過令人信服的分析，闡明瞭 Transformer 行爲中長期存在的異常現象，證明注意力機制（尤其是配合因果掩碼使用時）會令模型對序列開頭產生固有偏好。這篇論文實現了雙重突破：既保持了數學嚴謹性，又深入揭示了現實系統的運行本質。”未參與該研究的斯坦福大學計算市場設計中心主任 Amin Saberi 教授評價道。

https://news.mit.edu/2025/unpacking-large-language-model-bias-0617

海量資訊、精準解讀，盡在新浪財經APP