Az elmúlt 10 évben az úgynevezett mély tanulási módszernek köszönhetően megkaptuk a legjobb mesterséges intelligencia rendszereket - például okostelefonok beszédfelismerőit vagy a Google legújabb automatikus fordítóját. A mély tanulás valójában új tendenciává vált a már híres ideghálózatokban, amelyek már divatosak és több mint 70 éve jelennek meg. A neurális hálókat először Warren McCullough és Walter Pitts 1994-ben javasolták, a Chicagói Egyetem két kutatója. 1952-ben a Massachusetts Technológiai Intézetbe mentek dolgozni, hogy megteremtsék az alapját a Megismerés első Tanszékének.
Az ideghálózatok az egyik legfontosabb kutatási vonal volt az idegtudományban és a számítógépes tudományban egyaránt 1969-ig, amikor a legendák szerint MIT matematikusok, Marvin Minsky és Seymour Papert ölték meg őket, akik egy évvel később az MIT új mesterséges intelligencia laboratóriumának társelnökeivé váltak.
Ez a módszer újjáéledt az 1980-as években, kissé belement az árnyékba az új század első évtizedében, a második pedig fanatikusan visszatért, a grafikus chipek hihetetlen fejlődésének és feldolgozási erejüknek köszönhetően.
"Van egy felfogás, hogy a tudományban az ötletek olyanok, mint a vírus járványai" - mondja Tomaso Poggio, a MIT kognitív és agytudományi professzora. „Valószínűleg öt vagy hat fő influenzavírus törzs van, és ezek egyike irigylésre méltó 25 éves ütemben tér vissza. Az emberek megfertőződnek, immunitást szereznek és a következő 25 évben nem szenvednek. Ezután új generáció lép fel, amely készen áll arra, hogy ugyanazon vírustörzsrel megfertőződjön. A tudományban az emberek beleszeret egy ötletbe, ez mindenkit őrültté tesz, majd halálra verte és immunitást szerez rá - belefárad. Az ötleteknek hasonló gyakorisággal kell rendelkezniük."
Hatalmas kérdés
A neurális hálózatok a gépi tanulás egyik módszere, ahol a számítógép bizonyos feladatokat megtanul gyakorolni a képzési példák elemzésével. Ezeket a példákat általában kézzel előre megcímkézik. Egy tárgyfelismerő rendszer például több ezer címkézett képet képes felszívni az autókról, házakról, kávéscsészékről és így tovább, majd képeket találhat azokon a képeken, amelyek következetesen korrelálnak bizonyos címkékkel.
Egy ideghálózatot gyakran összehasonlítanak az emberi agyval, amely ilyen hálózatokkal is rendelkezik, több ezer vagy millió egyszerű feldolgozási csomópontból áll, amelyek szorosan kapcsolódnak egymáshoz. A legtöbb modern ideghálózat csomópontrétegekre van felosztva, és az adatok csak egy irányban áramolnak rajtuk keresztül. Az egyes csomópontok hozzárendelhetők az alatta levő réteg több csomópontjához, ahonnan adatokat vesz, és a fenti réteg több csomópontjával, amelyre az adatokat továbbítja.
Promóciós videó:
A csomópont számot rendel hozzá ezeknek a bejövő linkeknek - "súly". Ha a hálózat aktív, a csomópont különféle adatkészleteket kap - különféle számokat - e kapcsolatok mindegyikére, és megszorozza a megfelelő tömeggel. Ezután összeadja az eredményeket, és egyetlen számot alkot. Ha ez a szám a küszöb alatt van, a csomópont nem továbbítja az adatokat a következő rétegre. Ha a szám meghaladja a küszöböt, akkor a csomópont "felébred" a szám - a súlyozott bemeneti adatok összegének - elküldésével minden kimenő kapcsolathoz.
Egy idegi hálózat képzésekor az összes súlyát és küszöbét kezdetben véletlenszerű sorrendben állítják be. Az edzési adatokat az alsó rétegbe - a bemeneti rétegbe - továbbítják, és átjutnak a következő rétegeken, komplex módon szorozva és összeadva, amíg végül meg nem érkeznek, már átalakítva a kimeneti rétegbe. Az edzés során a súlyokat és a küszöbértékeket folyamatosan módosítják, amíg az azonos címkével ellátott edzési adatok hasonló következtetéseket vonnak le.
Elme és gépek
A McCullough és Pitts által 1944-ben leírt idegi hálózatok mind küszöbökkel, mind súlyokkal rendelkeztek, de nem voltak rétegekbe rendezve, és a tudósok nem határoztak meg konkrét tanulási mechanizmust. De McCullough és Pitts megmutatta, hogy egy idegi hálózat elvileg bármilyen funkciót kiszámíthat, mint bármelyik digitális számítógép. Az eredmény inkább az idegtudomány területéről származott, mint a számítástechnikából: azt kellett feltételezni, hogy az emberi agy számítógépes eszköznek tekinthető.
A neurális hálózatok továbbra is értékes eszközök a neurobiológiai kutatásokban. Például a hálózat egyes rétegei vagy a súlyok és küszöbök kiigazításának szabályai reprodukálják az emberi neuroanatómia és kognitív funkciók megfigyelt jellemzőit, és így befolyásolják az agy információfeldolgozását.
Az első oktatható idegi hálózatot, a Perceptront (vagy Perceptront) 1957-ben, a Cornell Egyetem pszichológusa, Frank Rosenblatt mutatta be. A Perceptron felépítése hasonló volt a modern ideghálózathoz, azzal a különbséggel, hogy egyrétegű, állítható súlyokkal és küszöbökkel rendelkezik, a bemeneti és a kimeneti rétegek között.
Az "észlelõket" 1959-ig aktívan kutatták a pszichológiában és a számítógépes tudományban, amikor Minsky és Papert kiadtak egy "Perceptrons" elnevezésû könyvet, amely kimutatta, hogy az észlelõkön történõ rendkívül szokásos számítások elvégzése idõ szempontjából gyakorlatilag lehetetlen.
"Természetesen az összes korlátozás eltűnik, ha a gépeket kissé összetettebbé teszi" például két rétegben "- mondja Poggio. De akkoriban a könyv hűvös hatással volt az ideghálózati kutatásokra.
"Ezeket a dolgokat érdemes megfontolni egy történelmi összefüggésben" - mondja Poggio. „A bizonyítékot olyan nyelveken programozták, mint Lisp. Nem sokkal azelőtt az emberek csendben analóg számítógépeket használtak. Abban az időben nem volt teljesen világos, mihez vezet a programozás. Azt hiszem, kissé eltúlzták, de mint mindig, nem lehet mindent fekete-fehérre osztani. Ha úgy gondolja, mint az analóg számítás és a digitális számítástechnika közötti versenyt, akkor harcoltak a szükségesért."
időszakosság
Az 1980-as évekre azonban a tudósok algoritmusokat fejlesztettek ki az ideghálózati súlyok és küszöbök módosításához, amelyek elég hatékonyak voltak a több rétegű hálózatok számára, megszüntetve a Minsky és Papert által azonosított korlátozásokat. Ez a terület reneszánszot élvez.
De ésszerű szempontból valami hiányzott az idegi hálózatokból. Egy elég hosszú edzés a hálózati beállítások felülvizsgálatához vezethet, amíg az adatokat nem hasznos módon osztályozzák, de mit jelentenek ezek a beállítások? A kép mely tulajdonságait nézi az objektumfelismerő, és hogyan darabolja össze őket, hogy autók, házak és csésze kávé vizuális aláírásait képezzék? Az egyes vegyületek súlyának tanulmányozása nem fog válaszolni erre a kérdésre.
Az utóbbi években a számítógépes tudósok ötletes módszereket dolgoztak ki az idegi hálózatok által alkalmazott analitikai stratégiák meghatározására. De az 1980-as években ezeknek a hálózatoknak a stratégiája érthetetlen volt. Ezért a század fordulóján a neurális hálózatokat felváltották a vektorgépek, a tiszta és elegáns matematikán alapuló gépi tanulás alternatív megközelítése.
Az idegi hálózatok iránti érdeklődés - a mélyreható tanulási forradalom - a szerencsejáték-iparnak köszönhető. A modern videojátékok bonyolult grafikája és gyors ütemezése olyan hardvert igényel, amely képes lépést tartani a tendenciával, így GPU-t (grafikus feldolgozó egységet) eredményez, amelyben egy chipen több ezer viszonylag egyszerű feldolgozómag van. A tudósok hamar rájöttek, hogy a GPU architektúra ideális a neurális hálózatokhoz.
A modern GPU-k lehetővé tették az 1960-as évek hálózatainak, valamint az 1980-as évek két- és háromrétegű hálózatainak a mai 10-, 15- és akár 50-rétegű hálózatokba történő csomópontokba történő felépítését. Ezért a "mély" szó felelős a "mély tanulásban". A hálózat mélyére. A mély tanulás jelenleg a mesterséges intelligencia kutatásának szinte minden területén a leghatékonyabb rendszerekért felelős.
A motorháztető alatt
A hálózati átláthatatlanság továbbra is aggasztja a teoretikusokat, de ezen a téren előrelépés tapasztalható. Poggio kutatási programot vezet az intelligencia elméleti alapjairól. Nemrégiben Poggio és kollégái három részből tettek közzé az ideghálózatok elméleti tanulmányát.
Az első rész, amelyet a múlt hónapban tettek közzé a International Journal of Automation and Computing-ban, a számítások körét tárgyalja, amelyeket a mélytanuló hálózatok elvégezhetnek, és amikor a mély hálózatok kihasználják a sekélyeket. Az előadások formájában megjelenő második és harmadik rész a globális optimalizálás kihívásait célozza meg, vagyis annak biztosítását, hogy a hálózat megtalálja azokat a beállításokat, amelyek a legjobban megfelelnek a képzési adatainak, valamint azokat az eseteket, amikor a hálózat annyira megérti képzési adatainak sajátosságait. amely nem képes általánosítani ugyanazon kategóriák más megnyilvánulásait.
Még sok elméleti kérdés van előttünk, amelyekre a válaszokat meg kell adni. De van remény, hogy az idegi hálózatok végre meg tudják szakítani a nemzedékek körét, amelyek melegbe és néha hidegbe merítik őket.
ILYA KHEL