
早晨,你還沒睜眼,灶底1裏已經傳來輕微的碰瓷聲。
推門出去,機器人管家X1站在餐桌旁,你沒說話,它就把把椅子輕輕拉開了一點。
你把門一關,它轉身走向客廳,捏起那根逗貓棒。
貓伏低身子,尾巴一下一下拍地。逗貓棒上的羽毛剛晃到半空,貓就躥起來撲了過去。
最後一瞬,X1把手臂一抬,貓爪擦着空氣劃了過去。它的手腕又輕輕一抖,羽毛蕩回貓鼻尖,貓翻身再撲,它再躲開。幾個回合下來,它已經摸透了這隻貓的脾氣。

晚上你推開門,一句我回來啦還沒落地,X1已經夾着拖鞋迎上來,送上專屬問候:公主,請換鞋。
這就是大家夢寐以求的個性化家庭服務——一個能夠適應你的習慣、理解你的家庭環境、為你量身定製服務的機器人管家。
但逗貓的手法、回家的迎接儀式——每家每戶都不一樣。這些東西出廠時預裝不了,也窮舉不完。
最簡單的辦法,是你親自演示一遍給它看。看完,它就會。
為此,諾因(Knowin)發布了生成式學習框架GLOW(Generative Learning of World)。

原文鏈接:https://knowinai.com/tech.html
他們認為機器人能否走進千家萬戶,關鍵在於機器人理解人的技能、泛化執行。
這背後就是他們獨特的判斷:
家庭場景的商業化不會從通用能力開始,而會從有限、高頻、可驗證的任務集合切入。
而且家中有老人、兒童、寵物,有明火和化學品,安全是進入家庭的准入門檻,而不是加分項。
話不多說,我們先看一下一教就會效果如何。
一教就會,這纔是你想要的專屬管家
諾因公布了四組實機對照,每組左邊是人的操作過程,右邊是機器人學完之後自己做。
第一組是開盒收納。
人示範的時候收的是一樣東西,但機器人執行的時候,要收的物品換了另一種。
它先開蓋,並且能夠泛化識別物品和位置發生變化,再把東西放進盒子,最後合蓋,一氣呵成。
|
|
左:人展示開盒收納;右:機器人換了物品照做(加速4.5倍)
請注意,動作只教了一次,機器人需要利用現場反饋完成每個階段,成功將收納這一動作泛化到多種物體和位置。
第二組是澆花。
人用的是黑色細嘴壺,但機器人手邊只有一把綠色澆水壺。
壺的大小、顏色、位置發生變化,但它能夠準確認出,把從人的操作中學到的抓持、朝向和傾斜關係用到這把壺上,澆完再放回去。
|
|
左:人用黑色細嘴壺澆水;右:機器人換成綠色澆水壺照做(加速3.5倍)
也就是說,機器人學會的是執行澆花這一任務,而不是簡單重複看到的教學動作,能夠適應場景中的變化。
第三組是擦桌子,也是最有意思的一組。
人拿着抹布,沿心形軌跡擦了一遍,機器人學完,也擦出了一個心形。
|
|
左:人沿心形軌跡擦桌;右:機器人復現(加速3.5倍)
它把擦桌子這個目標和怎麼擦這個人的習慣一起學走了。公主,請換鞋這種梗,靠的就是這個。
第四組是調酒。
桌上擺着好幾個杯子,人先按順序倒了一遍,讓機器人看清先倒哪杯、再倒哪杯。
機器人學完,雖然位置順序變了,但準確識別物品,依次取杯、傾倒、回正、放回,把多個步驟接成了一套完整的流程。
|
|
左:人依次取杯調酒;右:機器人復現完整流程(加速12倍)
四組任務,模型權重沒有動過一個參數。看過人的操作過程,機器人就能上手,一教就會,並且能泛化到更多位置、物品和場景。
在任務中,AI要協同調用多種能力:識別對象與動作,定位操作目標,判斷交互結果,規劃下一步。
此外,模型還要具備對物體和位置的泛化能力。
在諾因測試中,GLOW能力斬獲三個排行榜第一,用數字也證明了其泛化能力之強。

在RoboDojo的18項複雜任務裏,GLOW平均成功率62.2%,而 GPT-6(Robocurve)是22.2%,提升了40個百分點。
在專治「背題」的LIBERO-Pro上,GLOW成績為86.7%,GPT-6 Astra只有58%,單模型這一檔86.7的平均分排第一。
在 Embodied Arena 的 2D-Embodied QA Benchmarks 排行榜中,在 20 個具身模型中,GLOW以 65.62 的綜合得分勇奪第 1,脫穎而出。
核心解密:原生自迴歸纔是行業最優解
機器人觀看人的操作視頻時,用一個技能編碼器把連續的視覺經驗壓成一份可複用的技能上下文。
它提取的是任務結構,也就是哪個東西是操作對象、要放到哪個區域、動作的先後順序是什麼,以及做到什麼樣纔算完成。

澆水的六個階段。上排是人用黑色細嘴壺澆水,下排是機器人把抓持、朝向、傾斜的關係映射到綠色澆水壺上
執行時,這份上下文和當前畫面、語言指令、機器人狀態拼在一起,逐token生成判斷和動作。

GLOW還能結合當前的實時觀察,把你昨天的教學融入當下的自迴歸生成中。
它會自主規劃路線,避開茶几上的水杯,打開盒子。你還可以用語言隨時調整目標和做法。
能這麼幹,前提是大腦和雙手在同一個模型裏。

行業裏常見的VLA路線,把視覺大模型當個編碼器,外接一個動作模塊,中間要做複雜的表示轉換。
WAM路線則要先生成一段未來的逼真視頻畫面,再輸出動作,計算開銷很大。
GLOW的核心KnowinGlow是一個原生統一的自迴歸模型,把視覺、語言、動作編織進同一條序列。
BrainSkill負責空間理解和語義落地,ActSkill負責閉環動作生成,原來分開的大腦和雙手,現在是同一個模型裏的兩項技能。

它的上下文裏裝着相機的實時RGB-D畫面、你說的那句指令、機械臂當前的關節角度和夾爪開合,以及剛纔一秒執行了什麼動作、得到了什麼反饋。
GLOW把這些物理世界的信息像文字一樣連綴成一篇長文章,然後順理成章地續寫出下一個動作。

物理推理測試。圖中彩色線條是候選動作軌跡,問為了烹飪番茄該選哪組順序,模型答:切番茄、打開爐火、揭開鍋蓋、倒油、放入番茄
續寫出來的也不是move_to(cup)這種模糊指令。
模型直接生成末端執行器的三維位姿、相對平移與旋轉增量,以及夾爪的開合控制,精準到毫米。

目標點定位測試。左:把橙色積木放到綠色積木上,模型給出目標點[[368,664]];右:在藍色杯子與青色碗之間的空閒區域標出位置,模型給出[[534,800]]
而諾因選擇這條路線,看中的不只是教一遍就會,還有統一建模與持續學習的長期價值。

而GPT-6 Astra在操作機器人上的最新進展,則進一步佐證了諾因長期堅持的自迴歸技術路線。
Harness系統與閉環反饋:給機器痛覺和記憶
學會了,還得做得成。真實的物理世界裏,抽屜可能卡住,杯子也可能從夾爪裏滑出去,光有計劃不夠。
這一點上,諾因直接把剛被Brockman叫作AGI的GPT-6 Astra拉進了同一個仿真灶底1。
結果,號稱AGI的GPT-6,卡在了一個抽屜上。只因它不知道自己的手有沒有被擋住。
但GLOW知道。它有一套叫Harness的任務運行系統,每做一個動作都會拿到一份執行回執。
比如系統下達向櫃體走24.3毫米,回執顯示實際只走了1.6毫米。
位移殘差一出來,系統立刻明白遇到物理阻力了。這個受阻結果連同夾爪狀態和新畫面一起進入下一輪上下文。
大腦隨即決定,是繼續用力,還是換個姿態重來。

同樣的任務、同樣的起點,讓GLOW和GPT-6 Astra各做一遍,差別就出來了。
開櫃子最底層的抽屜,GPT-6 Astra手伸過去拉開的是上面那層,糾正了1200步,底層抽屜還是關着的。
GLOW靠回執發現受阻,換成水平接近、夾爪對角閉合,1138步,開對了。
|
|
開最底層抽屜。左:GPT-6 Astra,1200步沒開開;右:GLOW,1138步開對(錄像加速10倍)
抓瓶放碗,GPT-6 Astra折騰了863步,瓶子和碗還差3.4釐米,判定閾值是3釐米。
GLOW 157步,間距6.9毫米。
|
|
抓瓶放碗。左:GPT-6 Astra,863步(加速7倍);右:GLOW,157步
靠近瓶頸、碗沿或抽屜把手時,GLOW會切換成每次只動5毫米的有界小幅移動,兩次微調之間重新看一眼。
抓住杯子之後它也不會直接走,而是先請求抬升30毫米,看物體是否跟着夾爪動,確認夾牢了才進入搬運。
開抽屜前也會試拉,確認牽引力已經建立。
這種物理試探,像極了人類的本能。
GPT-6 Astra控機器人並不弱。Robocurve把它接上雙臂,積木入碗20次成了19次,全網刷屏。
但同一份測試的後半截,毫米級的拼圖入槽,20次只成了2次。
看懂任務,和能完成任務,中間隔着一隻有痛覺的手。
終極殺器:RSI,機器左腳踩右腳進化
通用大模型的路線是採集海量人類數據、訓練、發布、再採集。
可在非標、複雜的每個用戶家庭裏,很難去採集海量數據。
GLOW的解法是自己造數據。
造數據的引擎叫KnowinDream。它按戶型、傢俱和物品生成一個個虛擬家庭,再往裏安排各種事件,比如家人把杯子挪走,或者在機器人搬東西的時候從旁邊經過。

KnowinDream按提示詞連續改場景:換光照、換成賽博朋克霓虹、再換成中式餐廳
真機跑出來的經驗也會餵給它。X1逗貓成功了,或者抓杯子滑了一下,這些成功、失敗與恢復的過程都會迴流到KnowinDream。
它把當時的場景重建出來,再擴增成更多相似的情況,交給KnowinWorld推演驗證。











