A YouTube robotika szenzációja, Dave Niewinski mindenhez kifejlesztett robotokat, a lovagolható La-Z-Boy székektől a mesterséges intelligenciával hajtott kukoricalyuk-lövőn át a lovas kocsiversenyig.
őt mostanában Interaktív Animatronic GLaDOS projekt kilenc nyertes közé került Hackster AI Innovation Challenge. Közel 100 versenyző versengett az NVIDIA és a Sparkfun díjak elnyeréséért nyílt forráskódú projektek létrehozásával, amelyek elősegítik az AI használatát az élvonalbeli számítástechnikában, a robotikában és az IoT-ben.
Niewinski első helyezést ért el a generatív mesterséges intelligencia alkalmazások kategóriában a játéksorozat GLaDOS útmutatóján alapuló innovatív robotjával. portálegy első személyű puzzle platformer a Valve videojáték-fejlesztőtől.
A további nyertesek között szerepelt Andrei Ciobanu és Allen Tao is, akik az élekhez készült generatív AI-modellek, az élalkalmazások kategóriájában pedig az AI-modellek első helyezést értek el. Ciobanu generatív mesterséges intelligenciát használ a ruhák virtuális felpróbálásához, míg Tao egy ROS-alapú robotot fejlesztett ki, amely feltérképezi a ház belsejét, hogy segítsen megtalálni a dolgokat.
A robotika mesterképzési programjainak kihasználása
Niewinski speciális alkalmazásokat fejleszt a robotika számára Armory Laboratories A kanadai Waterlooban (Ontario állam) folytat üzleti tevékenységet, ahol az NVIDIA Jetson platformot használja szélsőséges mesterséges intelligencia és robotika számára, nyílt forráskódú képzéseket hoz létre, és Youtube videók tapasztalatait követi.
Megépítette az interaktív GLaDOS robotot, hogy létrehozzon magának egy személyi asszisztenst a laboratóriumban. A transzformátor alapú beszédfelismerés szövegfelolvasó és beágyazott nagynyelvi modellek (LLM) segítségével kezeli a lekérdezéseket. NVIDIA Jetson AGX OrinInterfész robotkarral és kamerával az interakciók érdekében.
A GLaDOS nyomon követheti hollétét a laborban, különböző irányokba mozogva szembeszáll vele, és gyorsan válaszol a kérdésekre.
„Imádok olyan dolgokat csinálni robotokkal, amelyekre az emberek ránéznek, és azonnal azt mondják, hogy nem az, amire számítottak” – mondta.
Azt akarta, hogy az asszisztens úgy szóljon, mint az eredeti GLaDOS. portál és gyorsan reagálni. Szerencsére a Valve játékcég elkészítette az összes hangvonalat portál És 2. portál A webhely lehetővé teszi Niewinski számára, hogy hangot töltsön le, hogy segítsen egy modell képzésében.
„A Jetson használatakor az átlagos kérdezz-felelek elég gyorsak a beszélgetés terén” – mondta.
Niewinski az NVIDIA nyílt forráskódját használta NeMo A GLaDOS hangjának finomhangolására használt eszközkészlet spektrogramgenerátorok hálózatát képezi ki FastPitch És HiFiGAN Vocoder hálózat a hangminőség javítása érdekében.
Mindkét hálózatot Orinban telepítik. NVIDIA Riva Annak érdekében, hogy az optimalizált beszédfelismerés és szintézis a valós idejű beszédsebességgel többszörösen futhasson, lehetővé téve az LLM-mel való együttműködést, miközben zökkenőmentes, interaktív prezentációt tart fenn.
A GLaDOS-ból való reális válaszok generálásához Niewinski egy helyileg hosztolt OpenChat nevű LLM-et használ, amelyet a Dockerben futtat. jetson konténerek, azt mondja, hogy ez egy életképes helyettesítője az OpenAI API-nak. Mindez a mesterséges intelligencia tovább működik jetson Modul a legújabb nyílt forráskódú gépi tanulási szoftvercsomag használatával, amely a CUDA és a Jet Pack.
A GLaDOS mozgásba lendítésére Niewinski interakciókat fejlesztett ki az Unitree Z1 robotkarhoz. Van egy sztereó kamera és modellek, amelyekkel látni és követni lehet egy beszélő személyt, a kar körül pedig 3D nyomtatott GLaDOS fej és testhéj található.
Generatív mesterséges intelligencia kipróbálása a Fashion Fitért
A fődíjat a romániai győztes Ciobanu kapta projektjével, amelynek célja a virtuális ruhafelpróbálási élmény javítása produktív mesterséges intelligencia segítségével. EdgeStyle: Edge Fashion Preview.
Olyan mesterséges intelligencia modelleket használt, mint a YOLOv5, SAM és OpenPose, hogy kinyerje és javítsa az adatokat a képekből és videókból. Ezután a Stable Diffusiont használta a képek elkészítéséhez, és azt mondta, hogy ez kulcsfontosságú a pontos virtuális próbák eléréséhez.
Ez a rendszer megtanította a modellnek, hogy a ruhák hogyan illenek különböző pózokhoz az embereken, ami szerinte növelte a próbák valósághűségét.
„Nagyon hasznos, mert lehetővé teszi a felhasználók számára, hogy felpróbálás nélkül is meglássák, hogyan fognak kinézni rajtuk a ruhák” – mondta Ciobanu.
Az NVIDIA szerint a JetPack SDK minden olyan eszközt biztosít, amely az AI modellek zökkenőmentes futtatásához szükséges a Jetson Orin rendszeren.
„A stabil eszközkészlet rendkívül hasznos, különösen, ha a folyamatosan változó mesterséges intelligencia technológiával foglalkozunk” – mondta Ciobanu. “Ez valóban időt és erőfeszítést spórolt meg nekünk, fejlesztőknek, és lehetővé tette számunkra, hogy jobban összpontosítsunk azokra a nagyszerű dolgokra, amelyeket építettünk, ahelyett, hogy technikai problémákba keverednénk.”
Elveszett tárgyak keresése egy robot segítségével
A kanadai Ontarióban székelő Winner Tao egy robotot hozott létre, hogy megkönnyítse az elveszett tárgyak otthoni felkutatását. Neki Egy tárgy szeme Projektje a legmagasabb helyezést kapta a Hackster versenyen.
„A hiányzó objektumok megtalálása macerás, és a zero-shot objektumészlelés és az LLM-ek közelmúltbeli fejlődése lehetőséget kínál az automatizálásra azáltal, hogy lehetővé teszi a számítógép számára, hogy tetszőleges objektumokat észleljen számunkra szöveges vagy képi leírások alapján” – mondta Tao.
Tao elmondta, hogy robot számítástechnikai képességekre van szüksége az objektumok katalogizálásához bármilyen strukturálatlan környezetben, legyen szó nappaliról vagy nagy raktárról. Valós idejű számításokat is kellett végeznie a lokalizációhoz a navigáció elősegítése érdekében, valamint következtetéseket kellett levonnia nagyobb objektumészlelési modellekre.
“Jetson Orin kiváló választás volt a szöveges és képi lekérdezések közül NanoDBvalós idejű kilométerszámláló visszajelzés, beleértve a tőkeáttételt is Isaac ROS“A hardver felgyorsította az AprilTag észlelését az elsodródás korrekciója érdekében” – mondta.
Egyéb nyertesek A mesterséges intelligencia innovációs kihívása a következőket tartalmazza:
- George Profenza, Escalator Human Tracker, 2. hely, Generatív AI-alkalmazások kategória
- Dimiter Kendri, helyi mesterséges intelligencia asszisztenssel főz a Jetson AGX Orin segítségével, 3. hely, Generatív AI alkalmazások kategória
- Vy Phan, ClearWaters víz alatti képjavítás generatív mesterséges intelligenciával, 2. hely, Generatív AI modellek kategória
- Huy Mai, valós idejű nyelvi szegmens a Jetson Orin Everythingnél, 2. hely, Generatív AI-modellek kategória
- Fakhrur Razi, Autonomous Smart Robotic Shopping Cart, 2. hely, mesterséges intelligencia az Edge Open kategóriában
- A Team Kinetika az ellenőrzésben és minőségellenőrzésben számít a TensorRT-vel, 3. hely mesterséges intelligenciával az Edge Open kategóriában
Tudj meg többet NVIDIA Jetson Orin robotikához és szélső AI-alkalmazásokhoz. Kezdje el saját projektjeit létrehozni Jetson Mesterséges Intelligencia Laboratórium.
