就在啱啱，Meta MSL 實驗室發佈三維重建模型 SAM 3D。

「分割一切」現在可以直接生成 3D 模型了。

前不久，Meta 發表 SAM 3 論文，能夠檢測、分割和跟蹤圖像和視頻中的對象，還支持簡短的文本短語和示例提示。

現在，SAM 3 更是帶來 3D 新範式，將模型引入到三維空間，從單個 2D 圖像中精確重建 3D 物體和人物。

從靜態到3D

此次發佈包含兩個全新模型：

SAM 3D Objects 模型：用於物體和場景重建

SAM 3D Body 模型：用於人體和體型估計

兩個模型均能夠將靜態 2D 圖像轉換為精細的 3D 重建模型。

3D Objects

SAM 3D Objects 能夠從單張自然圖像中實現穩定且基於視覺的 3D 重建和物體姿態估計，從而從日常圖像中重建物體的精細 3D 形狀、紋理和佈局。

針對小物體、間接視角和遮擋現象，模型可以通過識別上下文信息輔助重建，彌補像素不足的缺點。

使用 SAM 3D Objects，用戶可以從一張圖像開始選擇任意物體，快速生成 3D 模型。這意味着用戶可以在重建的 3D 場景中精確操作單個物體，從不同視角進行觀察。

過去的 3D 模型受到數據可用性的限制，真實數據的數量級有限，導致 3D 模型的應用範圍僅限於合成或人為設定的場景。

要應用於日常環境中常見的更具挑戰性的場景，則需要一種新的方法。

SAM 3D Objects 利用強大的數據標註引擎，將 3D 數據和訓練方案緊密結合。

與文本、圖像或視頻不同，從零開始創建 3D 真實數據需要高度專業化的技能，3D 數據採集效率低、成本高。

然而，驗證或對網格進行排序更簡單。可以通過構建一個數據引擎來實現規模化。該引擎要求標註員對循環模型套件生成的多個選項進行評分，最難的部分可交由 3D 美術師完成，以填補數據盲區。

這樣，研究人員就能大規模對物理世界圖像進行標註，包括 3D 對象的形狀、紋理和佈局。SAM 3D 一共標註了近 100 萬張不同的圖像，並生成了約 314 萬個循環模型網格。

為了使模型能夠處理自然圖像，後續的後訓練階段需要進行校準。數據引擎還能提供數據來支持後訓練過程。模型魯棒性和輸出質量的提升也使數據引擎能夠更好地生成數據，從而形成一個正反饋循環。

為搭建單張圖像三維重建物理世界物體的自然圖像分佈基準數據集，Meta 還構建了SAM 3D 藝術家物體數據集（SA-3DAO）。這是首個用於評估基於視覺的物理世界圖像三維重建的數據集，包含更具挑戰性的多樣化圖像和物體。SAM 3D Objects 能夠很好地進行泛化，並支持密集場景重建。在與人類用戶進行的直接對比測試中，其成功率至少達到其他領先模型的 5 倍。通過擴散捷徑和工程優化，可以在幾秒鐘內生成高質量重建結果。

官方表示，下一步是提高輸出分辨率和改進物體佈局。

目前，輸出分辨率僅限「適中」水平，限制了複雜物體的細節呈現，可能會出現失真或丟失細節。因此，下一步自然是提高輸出分辨率。

SAM 3D Objects 目前一次只能預測一個物體，並沒有接受過物理交互的推理訓練。如果能夠預測多個物體並結合適當的損失函數，就可以對場景中的多個物體進行聯合推理。

3D Body

SAM 3D Body 即使在涉及不尋常姿態、圖像部分被遮擋或多人等複雜情況下，也能精確估計 3D 人體姿態和形狀的需求。

該模型利用了一種名為Meta Momentum Human Rig (MHR)的新型開源 3D 網格格式，通過分離人體骨骼結構和軟組織形狀提高可解釋性。

基於 Transformer 編碼器-解碼器架構，模型可以預測 MHR 網格參數——圖像編碼器採用多輸入設計來捕捉人體部位的高分辨率細節，而網格解碼器則擴展以支持基於提示的預測。

SAM 3D Body 利用大規模、高質量數據和穩健的訓練策略，提供精準且魯棒的 3D 人體姿態和形狀估計。

研究人員構建了一個包含數十億張圖像的大型數據集，並使用可擴展的自動化數據引擎挖掘高價值圖像。他們構建了一個包含約800 萬張圖像的高質量訓練數據集，用於訓練模型，使其能夠應對遮擋、罕見姿態和各種服裝。

下一步，研究團隊表示會將人、物體和環境之間的交互納入模型訓練。還會繼續提升手部姿態估計的性能，目前其準確率仍不及專門的手部姿態估計方法。

參考資料：

https://ai.meta.com/blog/sam-3d/?utm_source=twitter&utm_medium=organic_social&utm_content=video&utm_campaign=sam