機(jī)器之心報(bào)道
機(jī)器之心編輯部
機(jī)器人能認(rèn)出鏡子中的自己嗎？目前來看，依然做不到。
去年 3 月，OpenAI 領(lǐng)投了一家具身智能公司「1X」。這是一家成立于 2014 年的挪威人形機(jī)器人公司，致力于研發(fā)雙足機(jī)器人 NEO 和商用輪式人形機(jī)器人 EVE。
本月初，1X 正式推出了專為家庭使用而設(shè)計(jì)的雙足人形機(jī)器人 NEO Beta，讓人們看到了大模型加持下活靈活現(xiàn)、超擬人機(jī)器人的不斷進(jìn)步。
如今，1X 迎來了自己的世界模型。具體地， 基于視頻生成（Sora）和自動(dòng)駕駛世界模型（端到端自動(dòng)駕駛，E2EAD）領(lǐng)域的進(jìn)展，1X 訓(xùn)練出了一個(gè)世界模型，作為自家機(jī)器人的虛擬模擬器。
1X 人工智能副總裁 Eric Jang 表示，過去幾個(gè)月，1X 一直在開發(fā)通用機(jī)器人的學(xué)習(xí)模擬器，如今終于問世了。
1X 工程師 Daniel Ho 表示這是機(jī)器人世界模型的初步進(jìn)展，模型可以理解接觸到的物理世界并生成高保真視頻，使機(jī)器人可以在自己的神經(jīng)空間中執(zhí)行規(guī)劃、評(píng)估和模擬操作。并且，很多生成的視頻片段很難與真實(shí)視頻區(qū)分開來。
1X 創(chuàng)始人兼 CEO Bernt Bornich 表示，這是人形機(jī)器人數(shù)據(jù)顯著增強(qiáng)擴(kuò)展定律的首個(gè)證據(jù)，「沒有勺子」。
各路網(wǎng)友也對(duì)這個(gè)機(jī)器人世界模型給予了很高評(píng)價(jià)。
世界模型加持下的 1X 人形機(jī)器人還讓一些人直呼《西部世界》重現(xiàn)。
從 1X 官方給出的 Demo 可以看到，從相同的起始圖像序列開始，1X 的世界模型可以從不同的機(jī)器人（EVE）動(dòng)作建議中想象出多種未來。
這個(gè)世界模型還能預(yù)測(cè)非平凡物體（如剛體）的相互作用、掉落物體的影響、部分可觀測(cè)性、可變形物體（窗簾、衣物）和鉸接物體（門、抽屜、窗簾、椅子）。
機(jī)器人的「ChatGPT 時(shí)刻」，同樣需要擴(kuò)展定律
世界模型解決了構(gòu)建通用機(jī)器人時(shí)一個(gè)非常實(shí)際、但經(jīng)常被忽視的挑戰(zhàn)，即評(píng)估。如果你訓(xùn)練的機(jī)器人可以執(zhí)行 1000 項(xiàng)任務(wù)，與先前模型相比，我們也很難確定新模型用在機(jī)器人上，在這 1000 項(xiàng)任務(wù)上表現(xiàn)優(yōu)越。由于周圍環(huán)境如光照細(xì)微的變化，即使模型權(quán)重相同，機(jī)器人也可能在幾天內(nèi)經(jīng)歷性能的快速下降。
此前 1X 訓(xùn)練了一個(gè)模型，在 50 天的時(shí)間里，機(jī)器人性能下降了
如果環(huán)境隨著時(shí)間的推移不斷變化，那么此前在該環(huán)境中達(dá)到的實(shí)驗(yàn)性能很難復(fù)現(xiàn)，因?yàn)榕f環(huán)境不存在了。如果你在不斷變化的環(huán)境（如家庭或辦公室）中評(píng)估多任務(wù)系統(tǒng)，那么這個(gè)問題將會(huì)變得更加糟糕。這一狀況使得在現(xiàn)實(shí)世界中進(jìn)行機(jī)器人科學(xué)研究變得異常困難。
經(jīng)過深入研究我們不禁會(huì)問，當(dāng)數(shù)據(jù)、計(jì)算和模型規(guī)模增加時(shí)，機(jī)器人的能力將如何擴(kuò)展？在大模型領(lǐng)域，擴(kuò)展定律普遍得到大家的認(rèn)同，如果機(jī)器人技術(shù)要迎來「ChatGPT 時(shí)刻」，必須首先建立它的擴(kuò)展定律。
其他評(píng)估方法
基于物理的模擬（Bullet、Mujoco、Isaac Sim、Drake）是快速測(cè)試機(jī)器人策略的合理方法。這些方法可重置且可重現(xiàn)，這樣一來，研究人員能夠仔細(xì)比較不同控制算法帶來的的差異。
然而，這些模擬器大多是為剛體動(dòng)力學(xué)設(shè)計(jì)的，需要大量手工資產(chǎn)創(chuàng)作。
如何讓機(jī)器人打開咖啡濾紙的紙盒、用刀切水果、擰開冷凍果醬罐或與人類等其他智能體互動(dòng)還是一個(gè)值得思考的問題。眾所周知，家庭環(huán)境中遇到的日常物體或者飼養(yǎng)的寵物很難模擬，因此機(jī)器人使用的模擬環(huán)境往往在視覺上很單調(diào)，缺乏現(xiàn)實(shí)世界用例的多樣性。對(duì)現(xiàn)實(shí)或模擬環(huán)境中有限數(shù)量任務(wù)的小規(guī)模評(píng)估無法泛化到對(duì)現(xiàn)實(shí)世界中的大規(guī)模評(píng)估。
世界模型
1X 正在采用一種全新的方法來評(píng)估通用機(jī)器人，即直接從原始傳感器數(shù)據(jù)中學(xué)習(xí)模擬器，并使用模擬器來評(píng)估新策略。通過直接從真實(shí)數(shù)據(jù)中學(xué)習(xí)模擬器，你可以在不手動(dòng)創(chuàng)建資產(chǎn)的情況下了解真實(shí)世界的復(fù)雜性。
在過去的一年里，1X 收集的 1X 旗艦產(chǎn)品 EVE 機(jī)器人的數(shù)據(jù)高達(dá)數(shù)千小時(shí)，這些數(shù)據(jù)包括在家中和辦公室中執(zhí)行各種移動(dòng)操作任務(wù)以及與人互動(dòng)的任務(wù)。研究人員將這些視頻和動(dòng)作數(shù)據(jù)結(jié)合起來，訓(xùn)練了一個(gè)世界模型，該模型可以根據(jù)觀察和動(dòng)作預(yù)測(cè)未來的視頻。
動(dòng)作控制
該研究訓(xùn)練的世界模型能夠根據(jù)不同的動(dòng)作指令產(chǎn)生不同的結(jié)果，下面展示了在四種不同軌跡條件下的世界模型生成的效果，每種軌跡都從相同的初始幀開始。
左門軌跡
右門軌跡
彈奏空氣吉他
世界模型的主要價(jià)值來自于模擬對(duì)象交互。在抓取盒子實(shí)驗(yàn)中，研究團(tuán)隊(duì)為模型提供相同的初始框架和三組不同的動(dòng)作來抓取盒子。在每種情況下，所抓取的盒子都會(huì)根據(jù)夾具的運(yùn)動(dòng)而被提升和移動(dòng)，而其他盒子則保持不受干擾。
即使沒有提供動(dòng)作，世界模型也會(huì)生成看似合理的視頻，例如學(xué)會(huì)駕駛時(shí)應(yīng)避開人和障礙物：
長視野任務(wù)
模型還可以生成長視野視頻。下面的示例模擬了完整的 T 恤折疊演示。T 恤和可變形物體往往很難在剛體模擬器中實(shí)現(xiàn)。
故障
對(duì)象連貫性
模型可能無法在交互過程中保持對(duì)象的形狀和顏色，有時(shí)對(duì)象甚至可能會(huì)完全消失。此外，當(dāng)對(duì)象被遮擋或以不利的角度顯示時(shí)，它們的外觀可能會(huì)在整個(gè)生成過程中變得扭曲。
物理定律
左邊的生成結(jié)果表明模型對(duì)物理特性有了新的理解，當(dāng)抓手松開勺子時(shí)，勺子掉到桌子上就證明了這一點(diǎn)。然而，在很多情況下，模型生成結(jié)果都未能遵守物理定律，例如右側(cè)的盤子懸浮在空中。
自我認(rèn)知
研究團(tuán)隊(duì)讓 EVE 走到鏡子前，以觀察它能否生成與鏡子中動(dòng)作相一致的行為。
結(jié)果顯示，模型雖然開始自我反思，但沒有出現(xiàn)「自我識(shí)別」或「自我理解」的覺醒。
博客地址：https://www.1x.tech/discover/1x-world-model
