近二十年來，人形機器人的發展進展緩慢，但最近我們在這一領域看到了越來越多的突破。正如我們最近所寫，一款 AI 機器人在 MWC 2024 上亮相 阿梅卡，以及另一個發展， 優樹H1，打破了人形機器人的速度記錄。現在，Figure AI 和 OpenAI 公司合作的一個驚人成果已經出現在互聯網上——一段令人驚嘆的人形機器人視頻，它現在可以與人進行對話。
新創公司Figure AI發布了一段視頻，展示了Figure 01機器人使用新的視覺語言模型（VLM）的情況。其中，人物01站在一張桌子旁，桌上有一個盤子、一個蘋果和一個杯子。左邊有一個烘乾機。當有人問機器人在他面前看到什麼時，他會詳細描述桌子上的所有東西來回答。
然後那個人問他是否可以吃點東西，機器人回答：“當然”，然後他以靈巧流暢的動作接過蘋果，遞給了那個人。接下來是另一個令人驚嘆的演示——一名男子將皺巴巴的垃圾從圖01前面的籃子裡倒出來，並要求機器人解釋他這樣做的原因，同時將籃子裡的垃圾收集起來。他一邊解釋自己的“想法”，一邊把紙放回垃圾桶。 「所以我給了你一個蘋果，因為這是我可以從桌子上給你的唯一可食用的東西，」機器人說。
公司代表解釋，圖01使用了預先訓練的多模態模型 OpenAI、VLM，能夠理解圖像和文本，並依靠語音提示來產生其回應。這與 OpenAI 的 GPT-4 等不同，後者側重於書面提示。
它還使用該公司所謂的「學習低階雙手操作」。該系統透過神經網路協調精確的影像校準（低至像素級）以進行運動控制。 「這些網路以 10 Hz 的頻率接收影像，並以 24 Hz 的頻率產生 200 自由度的動作（手腕姿勢和手指關節角度），」Figure AI 在一份聲明中表示。
該公司聲稱影片中的每一個行為都是基於系統學習，因此沒有人在幕後操縱Figure 01。當然，有一個細微差別——不知道機器人經歷了多少次這個過程。或許已經是第一百次了，這解釋了他動作的精確度。但無論如何，這個成就看起來很壯觀，有點不可思議。
圖01 現在正在完成現實世界的任務
一切都是自主的：
-自主導航和基於力的操縱
- 用於垃圾箱檢測和優先排序的學習視覺模型
-反應箱操作（穩健的姿勢變化）
-可推廣至其他拾取/放置任務 PIC。twitter.com/0wFmYnq0GC— 圖（@Figure_robot） 2024 年 2 月 26 日
另請閱讀：