Amikor az OpenAI, az Anthropic és a Google három nagy AI-óriásának zászlóshajó-modelljei ugyanazon a színpadon csapnak össze, melyik tudja jobban irányítani a robotokat?
Október 20-án a MeeBot Technology, a Hugging Face, az NVIDIA, a Csinghua Egyetem és közel 20 további egyetem, vállalat és kutatóintézet által közösen alapított embodied aréna, a RoboColiseum közzétette az idei értékelési eredményeket: a Claude Opus 5.5 a négy zászlóshajó-modell összesített rangsorában az első helyen végzett, szorosan mögötte a GPT-6 Astra következik.
Részterületenként vizsgálva a négy zászlóshajó-modell közül a GPT-6 Astra vezet az utasításkövetésben és az általános zavarási alkalmazkodásban, előbbi pontszáma eléri a 99,35-öt; az Opus a térbeli megértésben és az általános manipulációban teljesít jobban, és a legkevesebb teljes fordulós értékelési token felhasználásával szerezte meg a zászlóshajó-kategória összesített első helyét. A képmínőség zavarásával végzett tesztekben a GPT-6.1 Sol egyértelműen elmaradt a másik három modelltől, ami a különböző modellek vizuális információváltozásokkal szembeni stabilitásbeli különbségeit mutatja.
Az idei összesített rangsor első két helyét azonban továbbra is embodied stratégiák modelljei foglalják el, különösen az általános manipuláció dimenziójában megőrizve előnyüket.
Ez az együtteses összecsapás közvetlen referenciát nyújt az ipar számára ahhoz, hogy tisztán lássa az általános nagymodellek és az embodied stratégiák modelljeinek képességi előnyeit és hiányosságait.
A RoboColiseum az utasításkövetés, a térbeli megértés, a zavarási alkalmazkodás és az általános manipuláció köré négy képességalbajnokságot és 78 nagy hűségű szimulációs értékelési feladatot épített ki, amelyek nemcsak a modellek részterületi teljesítményét mutatják be, hanem rögzítik a feladatvégzés lépéseit és a hibák helyét is, segítve a fejlesztőket a modellek képességi hiányosságainak gyors azonosításában.
Társalapítóként a MeeBot nagy hűségű objektumeszközöket és szimulációs jeleneteket biztosít a RoboColiseum számára, támogatva a komplex robotmanipulációs feladatok értékelési környezetének felépítését, valamint alapvető erőforrásokat nyújt a különböző objektum-interakciók, térbeli elrendezések és környezeti feltételek melletti modelkképesség-tesztekhez.
Az is kulcsfontosságú az értékelés szempontjából, hogy a modellek szimulációs eredményei tükrözik-e a valós manipulációs teljesítményt. A platform által közzétett tényleges mérési eredmények szerint a RoboColiseum szimulációs értékelésének és a valós gépi telepítésnek a korrelációja eléri a 89,5%-ot, ugyanazon modell szimulációs és valós világbeli értékelési különbsége kevesebb mint 10%, ami referenciát nyújt a fejlesztők számára a valós gépi tesztelés előtti modellszűréshez és problémaazonosításhoz.
A MeeBot Technology „teljes, jó és gyors” adatellátási rendszert biztosít, amely lefedi a valós gép, a szimuláció és a test nélküli három nagy adatparadigmát. A szimuláció terén a MeeBot kétféle erőforrást kínál: objektumeszközöket és környezeti eszközöket, amelyek különféle mindennapi tárgyakat és beltéri jeleneteket fednek le, valamint jelenet-rekonstrukciós, szakértői pályaadat-beszerzési és értékelési eredményvizualizációs képességeket is nyújt, segítve a modellcsapatokat a változatos betanításban és értékelésben.
A Coliseum eredetileg az ókori római amphitheatrumot jelentette; a RoboColiseum ezt az képet használva épít többdimenziós rendszerszintű értékelési rendszert, és a valós gépi teljesítménnyel magasan konzisztens szimulációs értékeléssel nyilvános, semleges és reprodukálható „arénát” és „edzőteret” épít az embodied intelligencia modellek számára. Bármely egyetem, kutatóintézet vagy vállalati fejlesztő benyújthatja modelljét, és részt vehet egy szabványosított „vizsgán”. Augusztusi indulása óta több mint 100 hazai és nemzetközi csapat folytatott modellbetanítást és értékelést a platformon.
A RoboColiseum most már nyitott a globális fejlesztők előtt, és szeretettel várja a modellcsapatok részvételét az értékelésben.
