A Google mesterséges intelligencia divíziója bejelentette egy új módszer létrehozását a neurális hálózatok kiképzésére, amely kombinálja a fejlett algoritmusok és a régi videojátékok használatát. A régi Atari videojátékokat tanulási környezetként használják.
A DeepMind fejlesztői (emlékezzünk rá, hogy ezek az emberek létrehozta az AlphaGo neurális hálózatot, amely többször legyőzte a go logikai játék legjobb szereplőit) úgy vélik, hogy a gépek ugyanúgy tanulhatnak, mint az emberek. A QML III-shooter és Atari arcade játékokon alapuló DMLab-30 edzőrendszer segítségével (57 különböző játékot használtak) a mérnökök új IMPALA (Importance Weighted Actor-Learner Architectures) gépi tanulási algoritmust dolgoztak ki. Ez lehetővé teszi az egyes alkatrészek számára, hogy megtanulják, hogyan kell több feladatot egyszerre elvégezni, majd egymás között cserélhetik tudásukat.
Az új rendszer sok szempontból a korábbi aszinkron színész-kritikus ügynökök (A3C) architektúra rendszerén alapult, amelyben az egyes ügynökök feltárják a környezetet, majd a folyamatot szüneteltetik és tudáscserét folytatnak a központi elemmel, a „hallgatóval”. Ami az IMPALA-t illeti, lehet, hogy több ügynöke is van, és maga a tanulási folyamat valamivel más módon zajlik. Ebben az ügynökök információt küldenek egyszerre két „hallgatónak”, akik azután adatcserét folytatnak egymással. Ezenkívül, ha az A3C-ben az veszteségfüggvény gradiensének kiszámítását (vagyis az előrejelzett és a kapott paraméterértékek közötti eltérést) maguk az ügynökök végzik, akik információkat küldenek a központi maghoz, akkor az IMPALA rendszerben ezt a feladatot „hallgatók” végzik.
Példa egy játékot átadó személyre
Az IMPALA rendszer így kezeli ugyanazt a feladatot:
Az AI fejlesztésének egyik fő kihívása az idő és a nagy számítási teljesítmény igénye. Még ha önállóak is, a gépeknek olyan szabályokra van szükségük, amelyeket be tudnak követni saját kísérleteikben és a problémák megoldásának megtalálására. Mivel nem csak robotokat építhetünk és hagyhatjuk őket tanulni, a fejlesztők szimulációkat és mélyreható tanulási technikákat használnak.
Annak érdekében, hogy a modern idegi hálózatok megtanuljanak valamit, hatalmas mennyiségű információt kell feldolgozniuk, ebben az esetben milliárd képkockát. És minél gyorsabban csinálják, annál kevesebb idő szükséges a tanuláshoz.
Promóciós videó:
Ha elegendő processzorral rendelkezik, a DeepMind szerint az IMPALA másodpercenként 250 000 képkockát, vagyis 21 milliárd képkockát képes elérni. Ez a The Next Web szerint abszolút rekord az ilyen feladatokhoz. Maguk a fejlesztők megjegyzik, hogy AI rendszerük jobban megbirkózik a feladattal, mint a hasonló gépek és emberek.
A jövőben hasonló AI algoritmusok is használhatók a robotikában. A gépi tanulási rendszerek optimalizálásával a robotok gyorsabban alkalmazkodnak a környezetükhöz és hatékonyabban működnek.
Nikolay Khizhnyak
