隨著通用型（Generalist）機器人策略的發展，機器人能夠通過自然語言指令在多種環境中完成各類任務，但這也帶來了顯著的挑戰。
一方面，真實世界評估成本極高，需要系統性地覆蓋常規場景、極端情況、分布外（OOD）環境以及各類安全風險，通常需要進行成百上千次真實硬件實驗，不僅耗時、昂貴，還可能存在操作風險。
另一方面，安全性評估尤為棘手，許多潛在的不安全行為（例如誤夾人手、損壞設備或引發環境危險）本身就不適合在真實環境中反復測試，使得傳統的硬件評估方法在安全場景下往往難以實施。
傳統的物理仿真器雖然有幫助，但在真實感、多樣性、搭建成本和視覺一致性方面仍存在明顯瓶頸。
另外，前沿視頻模型為世界仿真提供了一種替代路徑，有望解決前文提到的諸多挑戰。然而，要真正發揮這一潛力面臨很多困難，主要原因包括：
1）在閉環、動作條件生成中容易產生偽影；
2）對接觸動力學（如物體接觸、碰撞）的仿真十分困難；
3）現代策略架構對多視角一致性提出了較高要求，而這在視頻生成中并不容易滿足。
論文地址：https://arxiv.org/pdf/2512.10675
項目主頁：https://veo-robotics.github.io/
論文標題：Evaluating Gemini Robotics Policies in a Veo World Simulator
本文，來自 Google DeepMind Gemini Robotics 團隊研究者提出了一種基于視頻建模的機器人策略評估系統，能夠支持機器人領域中完整范圍的策略評估需求，包括分布內評估、分布外泛化評估，以及紅隊測試。
具體而言，該系統基于最先進的視頻生成模型 Veo，實現了帶動作條件約束、具備多視角一致性的視頻仿真，不僅在視覺上高度真實，還能夠對機器人細粒度控制做出合理響應。同時，該系統集成了生成式編輯技術，使得無需搭建真實物理場景，就能生成包含新物體、新視覺背景以及安全關鍵元素的多樣化、逼真的真實世界場景變體。
通過 1600 余次真實世界實驗，并在八個通用型策略檢查點和五項任務上驗證了視頻模型預測結果的有效性。實驗結果表明，該系統在保持底層視頻基礎模型原有能力的同時，達到了進行嚴格機器人評估所需的高保真度。
盡管視頻建模在機器人領域仍處于早期階段，但本文清晰地展示了一條利用視頻仿真世界，實現機器人策略泛化能力與安全性可擴展評估的可行路徑。
方法介紹
在模型架構方面，本文采用 Veo 2 作為基礎模型。
在數據方面，模型在一個包含大量視頻、圖像及其對應標注的數據集上進行訓練。這些文本描述由 Gemini 模型自動生成，并且所有數據都經過了嚴格的預處理與整理。
此外，本文在一個大規模機器人數據集上對預訓練的 Veo2 模型進行了微調。該數據集包含多種任務，覆蓋了在大量不同場景中所需的廣泛操作技能。圖 2（上）展示了一個示例，將渲染后的機器人位姿疊加在生成的視頻幀之上的效果。
最后，為減輕部分觀測帶來的影響，本文將系統中的四個相機視角（包括俯視視角、側視視角，以及左右腕部視角）拼接成一個整體輸入。然后對 Veo2 進行微調，使其能夠在給定初始幀和未來機器人位姿的條件下，生成這種拼接后的多視角未來幀。圖 2（下）展示了一個由該模型生成的多視角視頻幀示例。
實驗
本文通過 1600 余次真實世界評估，在八個通用型策略檢查點和五項任務上進行了實驗。
在基于 Gemini Robotics On-Device（GROD）模型訓練了端到端的 VLA 策略。隨后，使用經過微調的 Veo（Robotics）視頻模型，在分布內場景中對這些策略進行評估。
指令：把右上角的紅色葡萄放入灰色盒子的左上角隔間。
指令：把樂高積木放進樂高積木袋里。
指令：把棕色的長條物放進午餐包的頂部口袋里。
研究中，作者還使用 Veo（Robotics）模型，對 8 個不同版本的 VLA 機器人策略進行性能預測，然后把這些預測結果與機器人在真實世界中的實際測試結果進行對比，以檢驗視頻模型預測是否準確、可靠。如下 demo 展示了 Veo（Robotics）針對兩種策略的實際運行示例。
下圖比較了視頻模擬預測結果與實際成功率。可以觀察到，Veo（Robotics）能夠根據性能對不同的策略進行排名。本文還發現預測成功率與實際成功率之間存在很強的相關性。
接下來作者測試了模型分布外泛化能力。通過改造真實場景來制造新情況，用視頻模型提前預測機器人在陌生環境中的表現，并用真實實驗驗證這些預測是否靠譜。
最后，本文證明了 Veo（Robotics）世界模型可以用來做安全紅隊測試。也就是說，不需要先讓機器人在真實世界中冒險，就可以在視頻模擬的世界里主動尋找策略可能出現的不安全行為。
例如合上電腦：
快速抓取紅色積木：
了解更多內容，請參考原論文。
? THE END
轉載請聯系本公眾號獲得授權
投稿或尋求報道：liyazhou@jiqizhixin.com
