Jeffrey Hinton a mély tanulás koncepciójának társalkotója, a 2019. évi Turing Award-díjas és a Google mérnöke. A múlt héten, egy I / O fejlesztői konferencián, Wired interjút készített vele és megvitatta az agyával való lenyűgöző képességét, valamint az agy idegi szerkezetén alapuló számítógépes modellezési képességét. Régóta ezeket az ötleteket szörnyűnek tartották. Érdekes és szórakoztató beszélgetés a tudatosságról, Hinton jövőbeli terveiről és arról, hogy meg lehet-e tanítani a számítógépeket az álomhoz.
Mi fog történni az idegi hálózatokkal?
Kezdjük azokkal a napokkal, amikor írta legelső, nagy befolyással rendelkező cikkeit. Mindenki azt mondta: "Ez egy okos ötlet, de igazán nem tudunk számítógépeket ilyen módon megtervezni." Magyarázza el, miért ragaszkodott a sajátjához, és miért volt olyan biztos, hogy talált valami fontosat.
Nekem úgy tűnt, hogy az agy nem működhet más módon. A kapcsolatok erősségének tanulmányozásával kell dolgoznia. És ha azt akarja, hogy az eszköz valami okosat csináljon, akkor két lehetősége van: vagy programozza, vagy megtanulja. És senki sem programozott az embereket, így tanulnunk kellett. Ennek a módszernek helyesnek kellett lennie.
Magyarázza el, mi az ideghálózat. Magyarázza el az eredeti koncepciót
Viszonylag egyszerű feldolgozási elemeket vesz fel, amelyek nagyon homályosan hasonlítanak az idegsejtekhez. Bejövő kapcsolataik vannak, minden csatlakozásnak van súlya, és ez a súly edzés közben változhat. A neuron elvégzi a műveletek elvégzését a súlyokkal megszorozott kapcsolatokra, összefoglalja őket, majd eldönti, hogy küldi-e az adatokat. Ha az összeget elég nagyra beírják, akkor kimenetet generál. Ha az összeg negatív, akkor nem küld semmit. Ez minden. Csak annyit kell tennie, hogy összekapcsolja ezeknek az idegsejteknek a felhőit a súlyokkal, és kitalálja, hogyan változtassa meg ezeket a súlyokat, és akkor megtesznek bármit. Az egyetlen kérdés az, hogy hogyan változtatja meg a súlyokat.
Promóciós videó:
Mikor rájött, hogy ez az agy működésének durva ábrázolása?
Ó, igen, mindent eredetileg szándékoztak. Úgy tervezték, hogy hasonlítson az agyra a munka során.
Tehát a karrierjének egy bizonyos pontján elkezdted megérteni, hogyan működik az agy. Lehet, hogy tizenkét éves voltál, talán huszonöt éves. Mikor döntött úgy, hogy megpróbálja modellezni a számítógépeket, mint például agyat?
Igen, azonnal. Ez volt a lényeg. Az egész ötlet az volt, hogy egy olyan tanulási eszközt hozzon létre, amely az agyhoz hasonlóan tanul, az embereknek az agyuk tanulásával kapcsolatos elképzelései szerint, a kapcsolatok erősségének megváltoztatásával. És nem ez volt az én ötletem, Turingnek ugyanez volt a gondolata. Noha Turing feltalálta a szokásos számítástechnika alapjait, úgy vélte, hogy az agy egy véletlenszerű súlyú, rendezetlen eszköz, és megerősítéses tanulást alkalmazott a kapcsolatok megváltoztatására, így bármit megtanulhat. És azt hitte, hogy ez az intelligencia legjobb útja.
És követted Turing azon gondolatát, hogy a gép készítésének legjobb módja az, ha úgy tervezi, mint az emberi agy. Így működik az emberi agy, tehát hozzunk létre egy hasonló gépet
Igen, nem csak Turing gondolta így. Sokan úgy gondolták.
Mikor jöttek a sötét idők? Mikor történt, hogy más emberek, akik azon dolgoztak, és akik úgy gondolták Turing gondolatának helyességét, visszahúzódtak, és továbbra is hajlítottad a vonalod?
Mindig volt egy maroknyi ember, akik nem számítanak benne, különösen a pszichológia területén. A számítógépes tudósok közül, azt hiszem, a 90-es években kiderült, hogy az adatkészletek meglehetősen kicsi voltak, és a számítógépek nem voltak ilyen gyorsak. És kis adatkészletekkel más módszerek, például a támogató vektorgépek, valamivel jobban teljesítettek. Nem annyira zavartak a zaj. Tehát mind szomorú volt, mert a 80-as években kifejlesztettünk egy hátsó szaporítási módszert, amely nagyon fontos az idegi hálózatok számára. Arra gondoltuk, hogy mindent meg fog oldani. És zavarban voltak, hogy nem döntött semmit. A kérdés valóban méretarányos volt, de akkor nem tudtuk.
Miért gondoltad, hogy nem működik?
Úgy gondoltuk, hogy nem működik, mert nem volt elég korrekt algoritmusunk és nem elég korrekt objektív függvényünk. Régóta gondoltam, hogy ez azért van, mert felügyelt tanulást próbáltunk csinálni, amikor az adatokat címkézzük, és felügyelet nélküli tanulást kellett végeznünk, amikor a címkézetlen adatokból tanulunk. Kiderült, hogy a kérdés többnyire skála volt.
Ez érdekes. Tehát a probléma az volt, hogy nem volt elegendő adat. Úgy gondolta, hogy megfelelő adatmennyiséggel rendelkezik, de helytelenül címkézte. Tehát tévesen diagnosztizálta a problémát?
Azt hittem, a hiba az volt, hogy egyáltalán címkéket használunk. Az edzés nagy része címkék nélkül történik, csak megpróbálja modellezni az adatok szerkezetét. Valójában még mindig úgy gondolom. Úgy gondolom, hogy mivel a számítógépek gyorsabban haladnak, ha a számítógép elég gyors, akkor egy adott méretű adatkészlethez jobb felügyelet nélkül edzeni. És ha elvégzi a felügyelet nélküli tanulást, kevesebb címkével tanulhat.
Tehát az 1990-es években folytatja kutatását, egyetemi közösségben van, továbbra is publikál, de nem old meg nagy problémákat. Volt valaha egy olyan pillanat, amikor azt mondta: „Tudod mit, az elég. Megpróbálok valami mást tenni”? Vagy csak azt mondta magának, hogy folytatja a mély tanulást [vagyis a mély tanulás, az ideghálózatok mély tanulásának fogalmát
Igen. Valami ilyesminek működnie kell. Úgy értem, az agy kapcsolatai valamilyen módon megtanulnak, csak ki kell találnunk, hogyan. És valószínűleg sokféleképpen meg lehet erősíteni a kapcsolatokat a tanulási folyamatban; az agy az egyiket használja. Lehet, hogy más módon is. De határozottan szüksége van valamire, amely megerősíti ezeket a kapcsolatokat tanulás közben. Soha nem kételkedtem benne.
Soha nem kételkedted benne. Mikor tűnt működni?
A 80-as évek egyik legnagyobb csalódása az volt, hogy ha sok rejtett réteggel rendelkező hálózatokat készítünk, akkor nem tudtuk kiképzni őket. Ez nem egészen igaz, mert viszonylag egyszerű folyamatokat, például kézírásokat is képezhet. De nem tudtuk, hogyan lehet a legmélyebb ideghálózatokat kiképzni. És 2005 körül kidolgoztam egy módszert a mély hálózatok felügyelet nélküli képzésére. Beírja az adatokat, mondjuk a pixeleket, és kiképez néhány részletdetektorot, ami csak jól magyarázta, hogy a pixelek miért voltak olyanok, ahogy vannak. Ezután ezeket az alkatrészdetektorokat adagolja az adatokra, és kiképezi egy másik alkatrészdetektorkészletet, hogy megmagyarázhassuk, miért vannak az egyes alkatrészdetektorok specifikus korrelációkkal. Folytatja a rétegek közötti edzést. De a legérdekesebb dolog az voltamelyeket matematikailag le lehet bontani, és bebizonyíthatja, hogy minden egyes új réteg kiképzésekor nem feltétlenül javítja az adatmodellt, hanem egy sor olyan kérdéssel fog foglalkozni, hogy milyen jó a modell. És ez a tartomány javult minden réteg hozzáadásával.
Hogy érti a tartományát, hogy milyen jó a modell?
Miután megszerezte a modellt, felteheti a kérdést: "Milyen szokatlannak találja ez a modell ezeket az adatokat?" Megmutatja neki az adatokat, és felteszi a kérdést: "Megtalálja-e mindezt a várt módon, vagy szokatlan?" És ezt meg lehet mérni. És egy modellt akartam elérni, egy jó modellt, amely átnéz az adatokra és azt mondja: „Igen, igen. Tudtam. Ez nem meglepő ". Mindig nagyon nehéz pontosan kiszámítani, hogy a modell milyen szokatlannak találja az adatokat. De kiszámolhatja ennek tartományát. Azt mondhatjuk, hogy a modell kevésbé szokatlannak találja ezeket az adatokat. Meg lehet mutatni, hogy mikor új rétegeket adnak a részletdetektorokhoz, kialakul a modell, és mindegyik réteggel, amikor adatait megtalálja, jobbá válik annak megértése, hogy milyen szokatlannak találja az adatokat.
Tehát 2005 körül tetted ezt a matematikai áttörést. Mikor kezdett megkapni a megfelelő válaszokat? Milyen adatokkal dolgozott együtt? Az első áttörésed a beszéd adatokkal történt, igaz?
Csak kézírásos számok voltak. Nagyon egyszerű. Ugyanebben az időben megkezdődött a grafikus feldolgozó egységek (GPU) fejlesztése. És az ideghálózatokat működtető emberek 2007-ben elkezdték a GPU-k használatát. Volt egy nagyon jó tanulóm, aki elkezdte a GPU-kat használni, hogy utat keressen a légi fényképeken. Írta a kódot, amelyet a GPU segítségével a többi hallgató elfogadott a fonémák beszédben történő felismerésére. Használták ezt az előzetes képzési ötletet. És amikor az előzetes edzés megtörtént, csak akaszták fel a címkéket a tetejére, és visszafelé használták. Kiderült, hogy nagyon mély hálózatot lehet létrehozni, amelyet korábban ilyen módon képztek. Aztán alkalmazható volt a hátsó szaporodás, és ez valóban működött. A beszédfelismerésben nagyon jól működött. Eleinte azonbannem volt sokkal jobb.
Jobban volt, mint a kereskedelemben elérhető beszédfelismerés? Megkerülte a beszédfelismerésről szóló legjobb tudományos cikkeket?
Egy viszonylag kis TIMIT nevű adatkészletnél valamivel jobb, mint a legjobb tudományos munka. Az IBM is sok munkát végzett.
Az emberek gyorsan rájöttek, hogy mindez - mivel megkerüli a 30 évig fejlesztett szabványos modelleket - csak kicsit fejlesztett állapotban működik. A diplomáim a Microsoft, az IBM és a Google felé fordultak, és a Google nagyon gyorsan létrehozott egy működő beszédfelismerőt. 2012-re ez a 2009-ben elvégzett munka elérte az Androidot. Az Android hirtelen sokkal jobb a beszédfelismerésben.
Mondj nekem egy pillanatot, amikor Ön, aki ezeket az ötleteket 40 éve tárolja, 20 éve publikálja ezt a témát, hirtelen megkerüli a kollégáit. Milyen ez az érzés?
Nos, akkoriban csak öt évig tároltam ezeket az ötleteket!
Jó jó
Nagyszerű érzés volt, hogy mindez végül valódi problémává vált.
Emlékszel, amikor először megkapta az ezt jelző adatokat?
Nem.
Oké. Tehát az az ötleted van, hogy ez a beszédfelismeréssel működik. Mikor kezdett idegi hálókat alkalmazni más problémákra?
Eleinte kezdtük alkalmazni őket mindenféle egyéb problémára. George Dahl, akivel eredetileg a beszédfelismerésen dolgoztunk, arra használta őket, hogy megjósolják, vajon egy molekula kötődik-e valamihez és jó gyógyszerré válhat-e. És volt verseny. Egyszerűen a beszédfelismerésre épített szabványos technológiánkat alkalmazta a kábítószer-aktivitás előrejelzésére, és megnyerte a versenyt. Ez volt a jele, hogy nagyon sokoldalúan csinálunk valamit. Aztán megjelent egy diák, aki azt mondta: „Tudod, Jeff, ez a dolog képes a képfelismerésre, és Fei-Fei Li létrehozott egy ehhez megfelelő adatkészletet. Van nyilvános verseny, tegyünk valamit."
Olyan eredményeket kaptunk, amelyek messze meghaladták a szokásos számítógépes látást. 2012 volt.
Vagyis ezen a három területen kiemelkedtél: vegyi anyagok modellezése, beszéd, hang. Hol kudarcod le?
Megértette, hogy a kudarc átmeneti?
Nos, mi választja el azokat a területeket, ahol az összes működik a leggyorsabban, és azokat a területeket, ahol a leghosszabb ideig tart? Úgy néz ki, hogy a vizuális feldolgozás, a beszédfelismerés és valami hasonló az emberi alapvető dolgokhoz, amelyeket az érzékszervi érzékeléssel csinálunk, tekintik az első akadályoknak, amelyeket meg kell küzdeni, igaz?
Igen és nem, mert vannak más dolgok is, amelyeket jól csinálunk - ugyanazok a motoros képességek. Nagyon jó a motorvezérlés. Agyunk erre feltétlenül fel van szerelve. És csak most kezdtek a neurális hálózatok versenyezni azért, hogy ehhez a legjobb technológiákkal járjanak. A végén nyernek, de most csak kezdnek nyerni.
Azt hiszem, gondolkodás, az absztrakt gondolkodás az utolsó, amit megtanulunk. Azt hiszem, ezek lesznek az utolsó dolgok között, amelyeket ezek az idegi hálózatok megtanulnak.
Tehát továbbra is azt kell mondanod, hogy az idegi hálózatok végül mindenhol uralkodnak
Nos, ideghálózatok vagyunk. Mindent, amit tudunk, megtehetnek.
Igaz, de az emberi agy messze van a valaha épített leghatékonyabb számítógépes géptől
Határozottan nem.
Határozottan nem az emberi agyam! Van mód olyan gépek modellezésére, amelyek sokkal hatékonyabbak, mint az emberi agy?
Filozófiai szempontból nem kifogásolom azt az elgondolást, hogy ennek mindegyike teljesen más módon működhet. Lehet, hogy ha logikával kezded, próbáld meg automatizálni a logikát, dolgozz ki valami képzeletbeli tévést, indokot, és úgy dönt, hogy az érvelés révén érzi el a vizuális észlelést, lehet, hogy ez a megközelítés nyer. De még nem. Nincs filozófiai kifogásom az ilyen győzelemre. Csak azt tudjuk, hogy az agy képes rá.
De vannak olyan dolgok is, amelyekkel az agyunk nem képes jól. Ez azt jelenti, hogy az idegi hálózatok sem lesznek képesek jól végrehajtani őket?
Valószínűleg igen.
És van egy külön probléma, azaz hogy nem értjük teljesen az ideghálózatok működését, igaz?
Igen, nem igazán értjük, hogyan működnek.
Nem értjük, hogyan működik a top-down neurális hálózatok. Ez az ideghálózatok működésének alapvető eleme, amelyet nem értünk. Magyarázza el ezt, majd engedje meg, hogy tegyem fel a következő kérdést: ha tudjuk, hogyan működik ez az egész, akkor hogyan működik ez az egész?
Ha a modern számítógépes látásrendszereket nézzük, ezek többsége többnyire előretekintő; nem használnak visszacsatoló kapcsolatot. És akkor van még valami más a modern számítógépes látásrendszerekben, amelyek nagyon hajlamosak a versenytársak hibáira. Néhány képpont kissé megváltoztatható, és ami egy panda kép volt, és pontosan úgy néz ki, mint egy panda, hirtelen struccvá válik az ideghálózat megértésében. Nyilvánvaló, hogy a képpontok cseréjének módját úgy gondolják, hogy az ideghálózatot becsapják a struccra gondolkodásba. De a lényeg az, hogy ez még mindig egy panda számodra.
Kezdetben azt hittük, hogy minden jól működik. De aztán azzal a ténygel, hogy egy pandát néztek és biztosak voltak abban, hogy ez strucc, aggódtunk. És azt hiszem, a probléma része az, hogy nem próbálnak rekonstruálni a magas szintű nézetek alapján. Megpróbálják elszigetelten tanulni, ahol csak a részletdetektorok rétegei tanulnak, és az egész cél a súlyok megváltoztatása, hogy jobban megtalálják a helyes választ. Nemrég fedeztük fel, vagy Nick Frost felfedezte Torontóban, hogy az újjáépítés hozzáadása növeli az ellenfél ellenállását. Úgy gondolom, hogy az emberi látás során az rekonstrukciót használják a tanuláshoz. Mivel oly sokat tanulunk az újjáépítés során, sokkal jobban ellenállunk az ellenfél támadásainak.
Úgy gondolod, hogy egy neurális hálózatban a későbbi kommunikáció lehetővé teszi, hogy tesztelje valami rekonstrukcióját. Ellenőrizted és megbizonyosodsz arról, hogy panda, nem strucc
Szerintem ez fontos, igen.
De az agy tudósai nem igazán értenek egyet ezzel?
Az agy tudósai nem érvelnek abban, hogy ha a kéreg két régiója van az érzékelés útján, akkor mindig fordított kapcsolatok vannak. Vitatkoznak azzal, hogy mi az. Szüksége lehet figyelmére, tanulásra vagy újjáépítésre. Vagy mindháromra.
És tehát nem tudjuk, mi a visszajelzés. Építi az új ideghálózatokat, abból a feltételezésből kiindulva, hogy … nem, még nem is - visszacsatolást épít, mert ehhez az ideghálózatok rekonstrukciójához van szükség, bár nem is igazán érti, hogy az agy működik?
Igen.
Ez nem trükk? Nos, ha valami agyat próbál megcsinálni, de nem biztos benne, hogy az agy megcsinálja?
Nem igazán. Nem vagyok a számítógépes idegtudományban. Nem próbálom modellezni az agy működését. Rá nézek az agyra, és azt mondom: "Működik, és ha valami másra is szükségünk van, amely működik, akkor figyelnünk kell és inspirálnunk kell." A neuronok inspirálnak, nem pedig egy idegi modellt építünk fel. Így az általunk használt idegsejtek teljes modelljét az a tény inspirálja, hogy az idegsejteknek sok kapcsolódása van és megváltoztatják a súlyukat.
Ez érdekes. Ha számítógépes tudósként dolgoznék az ideghálózatokon, és szeretnék megkerülni Jeff Hintont, akkor az egyik lehetőség a lefelé irányuló kommunikáció felépítése, és az agytudomány más modelljeire alapozni. Képzés, nem újjáépítés alapján
Ha jobb modellek lennének, akkor nyert volna. Igen.
Nagyon, nagyon érdekes. Érintsünk meg egy általánosabb témát. Tehát a neurális hálózatok megoldhatják az összes lehetséges problémát. Vannak olyan találós kérdések az emberi agyban, amelyeket az idegi hálózatok nem tudnak fedezni, vagy nem tudnak lefedni? Például érzelmek
Nem.
Tehát a szeretet rekonstruálható egy neurális hálózattal? A tudat rekonstruálható?
Teljesen. Miután kitalálta, mit jelent ezek a dolgok. Neurális hálózatok vagyunk, igaz? A tudatosság különösen érdekes téma számomra. De … az emberek nem igazán tudják, mit értettek ezen a szót. Sok különböző definíció létezik. És azt hiszem, ez egy nagyon tudományos kifejezés. Ezért, ha 100 évvel ezelőtt megkérdezte az embereket: mi az élet? Azt válaszolnák: „Nos, az élő dolgok életerővel rendelkeznek, és amikor meghalnak, az élet erő hagyja őket. Ez a különbség az élő és a halottak között, vagy életed van, vagy nem. Most nincs életerőnk, úgy gondoljuk, hogy ez a koncepció a tudomány előtt állt. És ha kicsit megérti a biokémiát és a molekuláris biológiát, akkor már nincs szüksége életerőre, meg fogja érteni, hogy valójában hogyan működik. És azt hiszem, hogy ugyanez történik a tudatossággal. Gondolom,ez a tudatosság egy kísérlet egy mentális jelenség magyarázatára. És erre a lényegre nincs szükség. Ha elmagyarázza, elmagyarázhatja, hogyan csinálunk mindent, ami az embereket tudatos lényekké teszi, megmagyarázhatja a tudat különféle jelentéseit anélkül, hogy bármilyen különleges entitás bevonása lenne.
Kiderül, hogy nincsenek olyan érzelmek, amelyeket nem lehetett volna létrehozni? Nincs olyan gondolat, amelyet nem lehet létrehozni? Az emberi elme nem képes arra, hogy elvileg egy teljesen működő ideghálózattal ne lehessen újra létrehozni, mihelyt megértjük, hogy működik az agy?
John Lennon valamelyikben hasonlót énekelt.
100% -ban biztos benne?
Nem, bayes vagyok, tehát 99,9% -ban biztos vagyok.
Oké, mi akkor a 0,01%?
Nos, mindannyian részt vehetnénk egy nagyobb szimulációban.
Elfogadható. Szóval mit tanulunk az agyról a számítógépeinkkel végzett munkánkból?
Nos, azt gondolom, hogy az utóbbi 10 évben megtanultuk, érdekes, hogy ha milliárd paraméterrel és objektív funkcióval rendelkező rendszert veszünk fel - például kitölteni a szóköz hiányát -, akkor jobban működik, mint kellene. Sokkal jobban fog működni, mint amire számíthat. Gondolkodhat, és sokan a hagyományos AI kutatásokban azt gondolják, hogy el tud venni egy milliárd paraméterű rendszert, véletlenszerűen futtatni, megmérni a célfüggvény gradienst, majd finomítani azt a célfüggvény javítása érdekében. Gondolhatja, hogy egy reménytelen algoritmus elkerülhetetlenül elakad. De nem, kiderült, hogy ez egy nagyon jó algoritmus. És minél nagyobb a skála, annál jobb. És ez a felfedezés lényegében empirikus volt. Természetesen mögött volt valami elmélet, de a felfedezés empirikus volt. És most,mióta ezt találtuk, valószínűbbnek tűnik, hogy az agy kiszámítja valamilyen objektív funkció gradienst, és frissíti a szinaptikus kapcsolat súlyát és erősségét, hogy lépést tartson ezzel a gradienssel. Csak meg kell tudnunk, mi ez a célfunkció és hogyan romlik tovább.
De mi nem értettük ezt az agy példájával? Nem érti az egyensúly frissítését?
Ez elmélet volt. Az emberek régen azt hitték, hogy ez lehetséges. De a háttérben mindig voltak néhány számítógépes tudós, akik azt mondták: "Igen, de az az elképzelés, hogy minden véletlenszerű és a tanulás a gradiens leszármazásnak köszönhető, milliárd paraméterrel nem működik, sok tudást össze kell kapcsolnia." Most tudjuk, hogy nem erről van szó. Csak véletlenszerű paramétereket adhat meg, és mindent megtanulhat.
Merüljünk egy kicsit mélyebben. Ahogy egyre többet megtanulunk, feltehetően egyre többet fogunk megtudni arról, hogyan működik az emberi agy, miközben hatalmas modellek tesztelését végezzük az agy működésének megértése alapján. Amint ezt jobban megértjük, lesz-e olyan pont, amikor lényegében áttesszük az agyunkat, hogy sokkal hatékonyabb gépekké váljunk?
Ha valóban megértjük, mi folyik itt, javíthatunk néhány dolgot, például az oktatást. És azt hiszem, javulni fogunk. Nagyon furcsa lenne végre megérteni, mi történik az agyadban, hogyan tanul, és nem alkalmazkodni ahhoz, hogy jobban tanuljon.
Szerinted hogyan fogunk néhány év alatt felhasználni az agyról tanultakat és az mélyreható tanulás működését az oktatás átalakítására? Hogyan változtatta meg az osztályokat?
Nem vagyok biztos benne, hogy sokat tanulunk pár év alatt. Úgy gondolom, hogy hosszabb ideig tart az oktatás megváltoztatása. De erről beszélve, a [digitális] asszisztensek nagyon okosak. És amikor az asszisztensek megértik a beszélgetéseket, beszélgethetnek és oktathatnak gyermekeket.
És elméletileg, ha jobban megértjük az agyat, programozhatjuk a segítőket, hogy jobban beszélgetjenek a gyerekekkel, már megtanultaik alapján
Igen, de nem sokat gondoltam erre. Én valami mást csinálok. De mindez meglehetősen hasonló az igazsághoz.
Megérthetjük, hogyan működnek az álmok?
Igen, nagyon érdekel az álmok. Annyira érdekel, hogy van legalább négy különböző álomelméletem.
Mondja el nekünk - az első, második, harmadik, negyedikről
Rég régen volt ilyen fajta dolog, Hopfield hálózatoknak hívták őket, és az emlékeket tanulmányozták helyi vonzóként. Hopfield úgy találta, hogy ha túl sok emléket próbál megtenni, összezavarodnak. Két helyi vonzót vesznek fel, és egyesítik őket egy vonzóvá, valahol félúton.
Aztán eljöttek Francis Crick és Graham Mitchison, akik azt mondták, hogy tanulás útján megszabadulhatunk a hamis mélységtől (azaz elfelejthetjük a megtanultakat). Kikapcsoljuk az adatbevitelt, véletlenszerű állapotba helyezzük az ideghálózatot, hagyjuk megnyugodni, mondjuk, hogy rossz, változtassuk meg a kapcsolatokat, hogy ne essen ebbe az állapotba, és így a hálózat további memóriákat tárolhat.
Aztán Terry Seinowski és én bementünk és azt mondtuk: "Nézd, ha nemcsak az emlékeket tároló neuronok, hanem egy csomó más neuron is található, találhatunk-e algoritmust, amely ezeket a többi idegsejt felhasználja az emlékek visszahívására?" … Ennek eredményeként létrehoztunk egy Boltzmann gépi tanulási algoritmust. És Boltzmann gépi tanulási algoritmusának rendkívül érdekes tulajdonsága volt: megmutatom az adatokat, és ez olyan módon megy keresztül az egységek többi részén, amíg nagyon boldog állapotba nem kerül, majd ezt követően növeli az összes kapcsolat erősségét, azon a tényen alapul, hogy két egység egyszerre aktív.
Ezenkívül kell lennie egy olyan fázisnak, amelyben kikapcsolja a bemenetet, hagyja, hogy az algoritmus "zörgjön", és olyan állapotba állítsa, amelyben boldog van, hogy fantáziáljon, és mihelyt fantáziája van, azt mondja: „Vegye ki az összes neuronpárt aktívak és csökkentik a kapcsolatok erősségét."
Elmagyarázom Önnek az algoritmust, mint egy eljárást. De a valóságban ez az algoritmus a matematika terméke és a kérdés: "Hogyan kell megváltoztatni ezeket a kapcsolati láncokat, hogy ez a neurális hálózat az összes ilyen rejtett adat egységgel ne tűnjön meglepőnek?" Szükség van egy másik fázisra is, amelyet negatív fázisnak nevezünk, amikor a hálózat adatbevitel nélkül működik, és nem jelenik meg, függetlenül attól, hogy milyen állapotba helyezted.
Minden este sok órát álmodunk. És ha hirtelen felébred, akkor azt mondhatja, hogy csak álmodott, mert az álom a rövid távú memóriában van tárolva. Tudjuk, hogy sok órán át álmokat látunk, de reggel, felébredés után csak az utolsó álomra emlékezünk, és a többiekre nem emlékszünk, ami nagyon sikeres, mert tévedhetjük őket a valóság miatt. Akkor miért nem emlékszünk álmainkra? Crick szerint ez az álmok jelentése: ezeket a dolgokat felfedezni. Te is megtanulod fordítva.
Terry Seinovski és én bebizonyítottuk, hogy ez valójában a legnagyobb valószínűségű tanulási eljárás a Boltzmann gépeknél. Ez az első elmélet az álmokról.
Tovább akarok lépni a többi elmélethez. De az a kérdésem, hogy sikerült-e képessé tenned valamelyik mély tanulási algoritmusodat, hogy valóban álmodjon?
A Boltzmann gépek voltak az első olyan algoritmusok, amelyek megtanultak a rejtett egységekkel való működést. Rendkívül hatástalanok. Később azonban találtam egy módszert a közelítésekkel való munkavégzésre, amely hatékonynak bizonyult. És ez valójában lendület volt a mély tanulással folytatott munka folytatására. Ezek voltak a dolgok, amelyek egyszerre képezték fel a detektorok egyik rétegét. És ez volt a Boltzmann korlátozó gépének hatékony formája. És így elvégezte ezt a fordított tanulást. De ahelyett, hogy elaludt, el tudott képzelni egy kicsit minden adatjel után.
Oké, tehát az androidok valójában az elektromos juhról álmodoznak. Folytassuk a második, három és négy elmélettel
A második elméletet Wake Sleep algoritmusnak hívták. Fejlesztened kell egy generációs modellt. És van egy ötlete, hogy hozzon létre egy olyan modellt, amely adatokat generál, jellemző detektorok rétegeit tartalmaz, és aktiválja a felső és az alsó réteget, és így tovább, egészen a pixelek aktiválásához - alapvetően egy kép létrehozásához. De szeretnél tanítani neki valami mást. Szeretné, ha felismeri az adatokat.
Tehát el kell készítenie egy algoritmust két fázisból. Az ébredés szakaszában az adatok bekerülnek, megpróbálja felismerni azokat, és ahelyett, hogy megismerné a felismeréshez használt kapcsolatokat, megvizsgálja a generációs kapcsolatokat. Az adatok bekerülnek, aktiválom a rejtett egységeket. Aztán megpróbálom megtanítani ezeket a rejtett egységeket ezen adatok helyreállítására. Minden rétegben megtanul rekonstruálni. De a kérdés az, hogyan lehet megtanulni a közvetlen kapcsolatokat? Tehát az ötlet az, hogy ha tudná a közvetlen kapcsolatokat, akkor megtanulhat fordított kapcsolatokat, mert megtanulhatta a fordított mérnököt.
Most azt is kiderül, hogy ha fordított csatlakozásokat használ, akkor közvetlen csatlakozásokat is megtanulhat, mivel csak a tetején indulhat, és előállíthat bizonyos adatokat. És mivel adatokat generál, ismeri az összes rejtett réteg állapotát, és közvetlen kapcsolatokat tanulmányozhat ezen állapotok visszaállításához. És itt van, mi történik: ha véletlenszerű kapcsolatokkal indul és megpróbálja mindkét fázist felváltva használni, akkor sikerrel jár. Ahhoz, hogy jól működjön, különféle lehetőségeket kell kipróbálnia, de működni fog.
Oké, mi a helyzet a másik két elmélettel? Csak nyolc perc van hátra, azt hiszem, nincs időm mindent feltenni
Adj még egy órát, és elmondom neked a másik kettőről.
Beszéljünk arról, hogy mi lesz a következő. Hol tart a kutatás? Milyen problémákat próbál megoldani most?
Végül olyan dolgokon kell dolgoznia, amelyekkel a munka még nem fejeződött be. Úgy gondolom, hogy valószínűleg azon dolgozom, amit soha nem fogok befejezni - kapszuláknak nevezzük, egy elmélet arról, hogy miként történik a vizuális észlelés az rekonstrukció segítségével, és hogyan irányítják az információkat a megfelelő helyekre. A két fő motiváló tényező az volt, hogy a szokásos idegi hálózatokban az információ, a rétegben zajló tevékenységek egyszerűen automatikusan eljutnak valahova, és nem dönt arról, hogy hova kívánja küldeni. A kapszulák mögött az a döntés született, hogy hol kell információkat küldeni.
Most, hogy elkezdtem a kapszulákkal foglalkozni, a Google nagyon okos emberei találtak fel transzformátorokat, amelyek ugyanezt teszik. Úgy döntenek, hogy hová továbbítják az információkat, és ez nagy nyeremény.
Jövőre visszatérünk, hogy a harmadik és a negyedik álomelméletekről beszéljünk.
Ilya Khel