西雅圖人工智能研究機(jī)構(gòu)Ai2（艾倫人工智能研究所）今日宣布發(fā)布MolmoAct 7B，這是開源D空一個(gè)突破性的開源具身AI模型，通過(guò)讓機(jī)器人在執(zhí)行動(dòng)作前進(jìn)行"思考"，模型為機(jī)器人技術(shù)帶來(lái)了智能。讓機(jī)

　　空間推理對(duì)AI模型來(lái)說(shuō)并不新鮮，器人這些模型能夠通過(guò)可視化圖像或視頻來(lái)推理世界，間″然后得出結(jié)論。規(guī)劃例如，″動(dòng)用戶可以上傳圖像或視頻到OpenAI的發(fā)布ChatGPT，詢問(wèn)如何組裝桌子的開源D空問(wèn)題并得到答案。同樣，模型機(jī)器人AI基礎(chǔ)模型可以被指示拿起杯子并放到水槽里。讓機(jī)

　　"具身AI需要一個(gè)優(yōu)先考慮推理、器人透明性和開放性的間″新基礎(chǔ)，"首席執(zhí)行官Ali Farhadi表示。規(guī)劃"通過(guò)MolmoAct，我們不僅僅是發(fā)布一個(gè)模型；我們正在為AI的新時(shí)代奠定基礎(chǔ)，將強(qiáng)大AI模型的智能帶入物理世界。"

　　大多數(shù)機(jī)器人AI模型通過(guò)推理提供給它們的語(yǔ)言來(lái)運(yùn)行，分解自然語(yǔ)言句子——比如上面的例子"拿起柜臺(tái)上的杯子放到水槽里"——并將其轉(zhuǎn)化為動(dòng)作。它們通過(guò)結(jié)合從攝像頭和其他傳感器獲得的知識(shí)以及命令來(lái)做到這一點(diǎn)。

　　Ai2表示，MolmoAct是該公司稱為動(dòng)作推理模型（ARM）的新類別AI模型中的首個(gè)，它解釋高級(jí)自然語(yǔ)言，然后推理出一系列物理動(dòng)作計(jì)劃，以在現(xiàn)實(shí)世界中執(zhí)行這些動(dòng)作。與市場(chǎng)上當(dāng)前作為視覺語(yǔ)言動(dòng)作基礎(chǔ)模型運(yùn)行的機(jī)器人模型不同，ARM將指令分解為一系列航點(diǎn)和動(dòng)作，這些航點(diǎn)和動(dòng)作考慮了模型能夠看到的內(nèi)容。

　　"一旦它看到世界，它就會(huì)將整個(gè)世界提升到3D中，然后繪制軌跡來(lái)定義其手臂將如何在該空間中移動(dòng)，"Ai2計(jì)算機(jī)視覺團(tuán)隊(duì)負(fù)責(zé)人Ranjay Krishna在接受采訪時(shí)表示。"所以，它為未來(lái)做規(guī)劃。在完成規(guī)劃后，它才開始采取行動(dòng)并移動(dòng)關(guān)節(jié)。"

　　ARM和VLA模型都充當(dāng)機(jī)器人的"大腦"，包括AI模型機(jī)器人初創(chuàng)公司Physical Intelligence的pi-zero、英偉達(dá)公司用于人形機(jī)器人的GR00T N1、學(xué)術(shù)研究人員實(shí)驗(yàn)常用的70億參數(shù)開源模型OpenVLA，以及930億參數(shù)的Octo模型。參數(shù)指的是模型用來(lái)做決策和預(yù)測(cè)的內(nèi)部變量數(shù)量。MolmoAct包含70億個(gè)參數(shù)，因此名稱中有7B。

　　該公司使用256個(gè)英偉達(dá)H100圖形處理單元集群上的1800萬(wàn)個(gè)樣本來(lái)訓(xùn)練模型，預(yù)訓(xùn)練大約在一天內(nèi)完成。微調(diào)使用64個(gè)H100大約需要2小時(shí)。相比之下，英偉達(dá)的GR00T-N2-2B使用1024個(gè)H100在6億個(gè)樣本上進(jìn)行訓(xùn)練，而Physical Intelligence使用9億個(gè)樣本和未披露數(shù)量的芯片訓(xùn)練pi-zero。

　　"很多這些公司給你這些技術(shù)報(bào)告，但這些技術(shù)報(bào)告看起來(lái)是這樣的：它們中間有一個(gè)大黑盒，上面寫著'Transformer'，對(duì)吧？除此之外，你真的不知道發(fā)生了什么，"Krishna說(shuō)。

　　與市場(chǎng)上許多當(dāng)前模型不同，MolmoAct 7B是在大約12000個(gè)來(lái)自真實(shí)環(huán)境（如廚房和臥室）的"機(jī)器人事件"精選開放數(shù)據(jù)集上訓(xùn)練的。這些演示用于映射目標(biāo)導(dǎo)向的動(dòng)作——比如整理枕頭和收拾洗衣。

　　Krishna解釋說(shuō)，MolmoAct通過(guò)完全開放克服了這個(gè)行業(yè)透明度挑戰(zhàn)，提供其代碼、權(quán)重和評(píng)估，從而解決了"黑盒問(wèn)題"。它既在開放數(shù)據(jù)上訓(xùn)練，其內(nèi)部工作原理也是透明和公開可用的。

　　為了增加更多控制，用戶可以在執(zhí)行前預(yù)覽模型的計(jì)劃動(dòng)作，其預(yù)期運(yùn)動(dòng)軌跡疊加在攝像頭圖像上。這些計(jì)劃可以使用自然語(yǔ)言或在觸摸屏上繪制修正來(lái)修改。

　　這為開發(fā)人員或機(jī)器人技術(shù)人員在家庭、醫(yī)院和倉(cāng)庫(kù)等不同環(huán)境中控制機(jī)器人提供了細(xì)粒度方法。

　　Ai2表示，該公司使用SimPLER評(píng)估了MolmoAct的預(yù)訓(xùn)練能力，這是一個(gè)使用一組模擬測(cè)試環(huán)境來(lái)測(cè)試常見真實(shí)世界機(jī)器人設(shè)置的基準(zhǔn)。使用該基準(zhǔn)，該模型實(shí)現(xiàn)了72.1%的最先進(jìn)任務(wù)成功率，擊敗了來(lái)自Physical Intelligence、谷歌、微軟和英偉達(dá)的模型。

　　"MolmoAct是我們進(jìn)入這個(gè)領(lǐng)域的第一次嘗試，表明推理模型是訓(xùn)練這些大規(guī)模機(jī)器人基礎(chǔ)模型的正確方式，"Krishna說(shuō)。"我們的使命是實(shí)現(xiàn)真實(shí)世界的應(yīng)用，所以任何人都可以下載我們的模型，然后為他們的任何目的進(jìn)行微調(diào)，或者嘗試開箱即用。"

　　Q&A

　　Q1：MolmoAct 7B是什么？它有什么特別之處？

　　A：MolmoAct 7B是由Ai2發(fā)布的突破性開源具身AI模型，屬于動(dòng)作推理模型（ARM）新類別。它的特別之處在于能夠解釋高級(jí)自然語(yǔ)言，然后推理出物理動(dòng)作計(jì)劃，在執(zhí)行前先進(jìn)行"思考"和3D空間規(guī)劃，而不是直接執(zhí)行動(dòng)作。

　　Q2：MolmoAct與其他機(jī)器人AI模型有什么區(qū)別？

　　A：與傳統(tǒng)的視覺語(yǔ)言動(dòng)作模型不同，MolmoAct會(huì)將整個(gè)世界提升到3D空間，繪制軌跡定義手臂移動(dòng)路徑，為未來(lái)做規(guī)劃后才開始行動(dòng)。它還完全開源，提供代碼、權(quán)重和評(píng)估，解決了行業(yè)中的"黑盒問(wèn)題"，用戶還可以預(yù)覽和修改機(jī)器人的計(jì)劃動(dòng)作。

　　Q3：MolmoAct的訓(xùn)練數(shù)據(jù)和性能如何？

　　A：該模型使用約12000個(gè)來(lái)自真實(shí)環(huán)境的"機(jī)器人事件"數(shù)據(jù)集訓(xùn)練，在256個(gè)英偉達(dá)H100 GPU上用1800萬(wàn)樣本預(yù)訓(xùn)練約一天完成。在SimPLER基準(zhǔn)測(cè)試中，它實(shí)現(xiàn)了72.1%的任務(wù)成功率，超越了Physical Intelligence、谷歌、微軟和英偉達(dá)的模型。

特別聲明：以上文章內(nèi)容僅代表作者本人觀點(diǎn)，不代表新浪網(wǎng)觀點(diǎn)或立場(chǎng)。如有關(guān)于作品內(nèi)容、版權(quán)或其它問(wèn)題請(qǐng)于作品發(fā)表后的30日內(nèi)與新浪網(wǎng)聯(lián)系。

(責(zé)任編輯：知識(shí))