Mesterséges intelligencia. Mennyit mondtak róla, de még nem kezdtük el még beszélni. Szinte minden, amit a mesterséges intelligencia előrehaladásáról hall, harminc éves áttörésen alapul. A haladás lendületének fenntartása érdekében súlyos és főbb korlátokat kell megkerülni. Ezután az első személyben - James Somers.
Itt állok, ahol hamarosan a világ központja lesz, vagy egyszerűen egy nagy szobában, egy fényes torony hetedik emeletén, Toronto belvárosában - melyik oldalra nézel. Jordán Jacobs kíséretével, a hely alapítójával: A Vektor Intézettel, amely ősszel nyitja meg kapuit, és megígéri, hogy a mesterséges intelligencia globális epicentruma lesz.
Torontóban vagyunk, mert Jeffrey Hinton Torontóban van. Jeffrey Hinton pedig az AI hype mögött álló "mély tanulás" atyja. "30 év múlva visszatekintünk és azt mondjuk, hogy Jeff az AI Einsteinje, mély tanulás, bármit is hívunk mesterséges intelligenciának" - mondja Jacobs. Az AI összes kutatója közül Hintont gyakrabban idézik, mint a három követõt együttesen. Egyetemi és posztgraduális hallgatói az Apple, a Facebook és az OpenAI AI laboratóriumába járnak; Maga Hinton a vezető tudós a Google Brain AI csapatában. Az AI szinte minden haladása az elmúlt évtizedben - a fordítás, a beszédfelismerés, a képfelismerés és a játék szempontjából - kapcsolódik Hinton munkájához.
A Vector Institute, amely Hinton ötleteinek emelkedése emlékművé vált, egy kutatási központ, ahol az Egyesült Államok és Kanada szerte működő vállalatok - például a Google, az Uber és az NVIDIA - szponzorálják az AI technológiák kereskedelmére irányuló erőfeszítéseket. A pénz gyorsabban merül fel, mint amennyit Jacobs kérhet; két társalapítója felkutatta a torontói térségben működő vállalatokat, és az AI-szakértők iránti kereslet tízszeresére növekedett, mint Kanada évente. A Vektor Intézet bizonyos értelemben egy kiaknázatlan szűzföld, amellyel megpróbálhatja mozgósítani a világot a mély tanulás körül: befektetni, tanítani, élezni és alkalmazni ezt a technikát. Adatközpontok épülnek, a felhőkarcolók tele vannak indulókkal, és hallgatói generációk öntik a régiót.
Amikor a Vektor padlóján állsz, az az érzésed van, hogy valami elején vagy. De a mély tanulás lényege nagyon régi. Hinton áttöréses cikke, amelyet David Rumelhart és Ronald Williams írt, 1986-ban jelent meg. A munka röviden röviden ismertette a hiba visszapótlásának módszerét (hátrányosodás). John Cohen szerint a backprop "minden, a mély tanulás alapja - minden".
A gyökere az AI manapság a mély tanulás, a mély tanulás pedig a hátsó rész. Ami elképesztő, tekintve, hogy a hátlap több mint 30 éves. Egyszerűen meg kell értenünk, hogy ez történt: hogyan tudott a technológia ilyen sokáig várni, majd robbanást okozni? Mert miután megismerte a háttámadás történetét, meg fogja érteni, mi történik az AI-vel most, és azt is, hogy valószínűleg nem vagyunk a forradalom elején. Talán egy végén vagyunk.
A Vector Institute-tól Hinton Google irodájához vezető séta, ahol időt töltenek be (jelenleg a Toronto Egyetem emeritus professzora), a városnak egyfajta élő hirdetése, legalábbis nyáron. Világossá válik, hogy miért költözött Hinton, aki eredetileg az Egyesült Királyságból származik, a 1980-as években, miután a pittsburghi Carnegie Mellon Egyetemen dolgozott.
Promóciós videó:
Lehet, hogy nem vagyunk a forradalom legelején
Toronto Észak-Amerika negyedik legnagyobb városa (Mexikóváros, New York és Los Angeles után) és minden bizonnyal sokkal változatosabb: a népesség több mint fele Kanadán kívül született. És láthatja, amikor sétálsz a városban. A tömeg multinacionális. Vannak ingyenes egészségügyi ellátás és jó iskolák, az emberek barátságosak, a politikusok viszonylag baloldaliak és stabilak; mindez vonzza az embereket, mint például Hinton, aki azt állítja, hogy az iráni kapu miatt elhagyta az Egyesült Államokat (Irán-Contra komoly politikai botrány az Egyesült Államokban a nyolcvanas évek második felében; azután megtudta, hogy az Egyesült Államok kormányának egyes tagjai titokban szervezték fegyverek szállítása Iránba, megsértve ezzel az országgal szembeni fegyverembargót). Itt kezdődik a beszélgetés ebéd előtt.
"Sokan úgy gondolták, hogy az USA valószínűleg betör a Nicaraguába" - mondja. "Valami okból azt hitték, hogy Nicaragua az Egyesült Államokhoz tartozik." Azt mondja, hogy a közelmúltban nagy áttörést tett a projektben: „Egy nagyon jó ifjúsági mérnök kezdett velem dolgozni”, Sarah Sabour nevű nő. Sabur iráni, és elutasították a vízumot az Egyesült Államokban való munkavégzéshez. A Google torontói irodája kihúzta.
Hinton 69 éves. Arca éles, vékony, vékony szája, nagy fülei és büszke orra. Wimbledonban született, és a beszélgetés során egy tudományos gyermekkönyv narrátorára emlékeztet: kíváncsi, csábító, mindent megpróbál megmagyarázni. Vicces és kicsit játszik a közönség előtt. A hátproblémák miatt fáj az ülés, ezért nem tud repülni, és a fogorvosi rendelőben egy szörfdeszkához hasonló eszközön fekszik.
Az 1980-as években Hinton, ahogy ma is, az ideghálózatok szakértője volt, az agyunkban lévő neuronok és szinapszisok hálózatának jelentősen egyszerűsített modellje. Abban az időben azonban határozottan egyetértett abban, hogy az idegi hálózatok zsákutca az AI kutatásban. Noha a legelső idegi hálózatot, a Perceptron-t az 1960-as években fejlesztették ki, és az emberi szintű gépi intelligencia felé mutató első lépésnek tekintették, Marvin Minsky és Seymour Papert 1969-ben matematikailag bebizonyították, hogy az ilyen hálózatok csak a legegyszerűbb funkciókat tudják végrehajtani. Ezekben a hálózatokban csak két neuronréteg volt: egy bemeneti és egy kimeneti. A bemenő és a kimeneti neuronok között sok réteggel rendelkező hálózatok elméletileg sokféle problémát tudnak megoldani, de senki sem tudta, hogyan kell ezeket kiképezni, tehát a gyakorlatban haszontalanok voltak. Az Perceptrons miatt néhány kivétellel szinte mindenki elhagyta az ideghálózatok gondolatát.beleértve Hintont.
Hinton 1986-ban történt áttörése azt mutatta, hogy a hátsó szaporodás képessé teheti egy mély idegi hálózat kialakítását, amely két vagy három rétegből áll. De további 26 év telt el, mire a számítási teljesítmény megnőtt. Egy 2012-es tanulmányban Hinton és két torontói hallgató megmutatta, hogy a mély ideghálózatok, amelyek hátulról vannak kiképezve, felülmúlják a legjobb képfelismerő rendszereket. A mély tanulás elkezdett vonzódni. A világ egyik napról a másikra úgy döntött, hogy reggel az AI átveszi az irányítást. Hinton számára ez üdvözlendő győzelem volt.
A valóság torzítás mezője
Egy idegi hálózatot általában szendvicsként ábrázolnak, amelynek rétegei egymásra vannak helyezve. Ezek a rétegek mesterséges idegsejteket tartalmaznak, amelyek lényegében kis számítási egységek, amelyek tűznek - mint egy igazi idegsejt tüzet okozva - és továbbadják ezt az izgalmat más idegsejtekhez, amelyekhez kapcsolódnak. A neuron gerjesztését egy szám, például 0,13 vagy 32,39 jelöli, amely meghatározza az ideg gerjesztésének fokát. És van egy másik fontos szám is, a két neuron közötti kapcsolat mindegyikén, amely meghatározza, hogy mennyi gerjesztést kell átvinni az egyikről a másikra. Ez a szám modellezi az agy neuronjai közötti szinapszisok erősségét. Minél nagyobb a szám, annál erősebb a kapcsolat, ami azt jelenti, hogy több izgalom áramlik egyikről a másikra.
A mély idegi hálózatok egyik legsikeresebb alkalmazása a képfelismerés volt. Ma vannak olyan programok, amelyek felismerik, hogy van-e hot dog a képen. Tíz évvel ezelőtt lehetetlen voltak. Ahhoz, hogy működőképesek legyenek, előbb képet kell készítenie. Az egyszerűség kedvéért tegyük fel, hogy ez egy 100 x 100 képpontos fekete-fehér kép. Az ideghálózatba továbbítja azáltal, hogy beállítja az egyes szimulált neuronok kioltását a bemeneti rétegben úgy, hogy az egyenlő legyen az egyes pixelek fényerősségével. Ez a szendvics alsó rétege: 10 000 neuron (100 x 100), amely a kép minden képpontjának fényerejét képviseli.
Akkor összekapcsolja ezt a nagy neuronréteget egy másik nagy neuronréteggel, amely már magasabb, mondjuk, több ezer, és ezek viszont egy több ezer idegrendszerré, de kevesebbel és így tovább. Végül, a szendvics felső rétege - a kimeneti réteg - két neuronból áll - az egyik a hot-dogot képviseli, a másik nem a hot-dogot. Az ötlet az, hogy a neurális hálózatot kiképezzük úgy, hogy csak az elsõ ilyen neuronból kirúgjon, ha a képen hot-dog van, és a második, ha nem. A backprop, a backpropagation technika, amelyre Hinton építette karrierjét, éppen ezt teszi.
A backprop rendkívül egyszerű, bár hatalmas adatmennyiséggel működik a legjobban. Ez az oka annak, hogy a nagy adatok olyan fontosak az AI számára - a Facebook és a Google miért olyan szenvedélyesen foglalkozik vele, és miért döntött a Vektor Intézet kapcsolatba kanada négy legnagyobb kórházával és megosztja az adatokat.
Ebben az esetben az adatok millió millió kép formájában jelennek meg, részben forró kutyákkal, mások nélkül; a trükk az, ha ezeket a képeket hot dog-okkal jelöli meg. Amikor először létrehoz egy neurális hálózatot, a neuronok közötti kapcsolatok véletlenszerű súlyokkal rendelkeznek - véletlen számok, amelyek azt mutatják, hogy mekkora gerjesztés van továbbítva minden egyes kapcsolaton keresztül. Mintha az agy szinapszái még nem lennének behangolva. A backprop célja ezeknek a súlyoknak a megváltoztatása, hogy a hálózat működjön: úgy, hogy amikor a hot-dog képet a legalsó rétegre továbbítja, a legfelső réteg hot dog-idegsejtje kirúgódik.
Tegyük fel, hogy elkészítette az első zongora bemutató képet. A 100x100 kép pixelintenzitását 10 000 számra konvertálja, egy-egy a hálózat alsó rétegében lévő minden neuronra. Ahogy az izgalom a szomszédos rétegekben lévő neuronok kapcsolatának erősségével összhangban átterjed a hálózaton, minden fokozatosan eléri az utolsó réteget, a két neuron egyikét, amely meghatározza, hogy van-e hot-dog a képen. Mivel ez egy zongora képe, a hot-dog neuronnak nullának kell lennie, a nem hot-dog neuronnak pedig nagyobbnak kell lennie. Tegyük fel, hogy a dolgok nem így működnek. Tegyük fel, hogy a hálózat hibás volt a képen. A Backprop a hálózat egyes kapcsolatai erősségének megerősítésére szolgáló eljárás, amely lehetővé teszi a hiba kiküszöbölését az adott edzési példában.
Hogyan működik? Az utolsó két neuronnal kezdődik, és kitalálja, mennyire tévednek: mi a különbség az égetési számuk és mi valójában legyen. Ezután megnéz minden egyes kapcsolatot, amely ezekhez az idegsejtekhez vezet - lemegy a rétegeken -, és meghatározza azok hozzájárulását a hibához. Addig folytatja ezt, amíg el nem éri az első kapcsolatsort a hálózat végén. Ezen a ponton tudja, hogy az egyes kapcsolatok hogyan járulnak hozzá az általános hibahoz. Végül megváltoztatja az összes súlyt az általános hiba esély csökkentése érdekében. Ez az úgynevezett "hibaterjesztési technika" az, hogy egyfajta hibát futtat vissza a hálózaton keresztül, hátulról, kiindulva.
A hihetetlen akkor kezdődik, amikor milliókat vagy milliárd képet csinálsz: a hálózat elkezdi jól meghatározni, hogy egy kép forró kutya-e vagy sem. És ami még figyelemre méltó, hogy ezeknek a képfelismerő hálózatoknak az egyes rétegei ugyanúgy "látják" képeket, mint a saját vizuális rendszerünk. Vagyis az első réteg kontúrokat érzékel - a neuronok akkor kerülnek kirúgásra, ha vannak kontúrok, és nem kerülnek ki, amikor nem; a következő réteg meghatározza az útvonalakat, például a sarkokat; a következő réteg elkezdi megkülönböztetni a formákat; a következő réteg mindenféle elemet megtalál, például a "nyitott zsemle" vagy "zárt zsemle", mert a megfelelő idegsejtek aktiválódnak. A hálózat hierarchikus rétegekbe szervezi magát anélkül, hogy ilyen módon programozott volna.
Az igazi intelligencia nincs összetévesztve, amikor a probléma kissé változik.
Ez az, ami mindenkit annyira lenyűgözött. Nem annyira, hogy az idegi hálózatok jól osztályozzák a hot-dog képeket: építik az ötletek reprezentációit. A szöveggel ez még nyilvánvalóbbá válik. A Wikipédia szöveget, sok milliárd szót, egy egyszerű ideghálózatba tudja betáplálni, megtanítva arra, hogy minden szót számozzon fel a rétegben lévő egyes neuronok gerjesztéseinek megfelelő számokkal. Ha ezeket a számokat egy összetett tér koordinátáinak tekinti, akkor a szó minden pontjára megtalál egy pontot, amelyet ebben az összefüggésben vektornak hívnak. Ezután kiképezi a hálózatot úgy, hogy a Wikipedia oldalain egymás mellett megjelenő szavak hasonló koordinátákkal legyenek felruházva - és voila, történik valami furcsa: hasonló jelentéssel rendelkező szavak egymás mellett jelennek meg ebben a térben. "Őrült" és "ideges" ott lesz; "Három" és "hét" is. Továbbá,A vektorszámítás lehetővé teszi, hogy kivonjuk a "Franciaország" vektort a "Párizsból", hozzáadjuk "Olaszország" -hoz, és megtaláljuk a "Róma" -ot a közelben. Senki sem mondta a neurális hálózatnak, hogy Róma Olaszország számára ugyanaz, mint Párizs Franciaország számára.
„Elképesztő” - mondja Hinton. "Ez sokkoló." A neurális hálózatok kísérletnek tekinthetők a dolgok - képek, szavak, beszélgetések rögzítése, orvosi adatok - elhelyezésére és a matematikusok szerint egy többdimenziós vektortérbe, amelyben a dolgok közelsége vagy távoli helyei tükrözik a való világ legfontosabb aspektusait. Hinton úgy véli, hogy ezt csinálja az agy. „Ha tudni akarod, mi az a gondolat - mondja -, egy sorozatban átadhatom neked. Azt mondhatom: "John azt gondolta:" Hoppá! " De ha azt kérdezi: mit gondolnak? Mit jelent John számára ez a gondolat? Végül is a fejében nincs nyitó idézőjel, "Hoppá", záró idézőjelek, általában ilyen nincs. A fejében valamilyen idegi tevékenység zajlik. " A neurális aktivitás nagy képeit, ha matematikus vagy, el lehet készíteni vektor térben,ahol az egyes neuronok aktivitása egy számnak felel meg, és minden szám egy nagyon nagy vektor koordinátájának felel meg. Hinton számára a gondolat a vektorok tánca.
Most már világos, hogy miért hívták ezt a Vektor Intézetet?
Hinton egyfajta valóság-torzítási mezőt hoz létre, a bizalom és lelkesedés érzése továbbadódik neked, felvetve azt a hitet, hogy a vektorok számára semmi sem lehetetlen. Végül is már önálló autók, rákot felfedező számítógépek és azonnali beszélt nyelvi fordítók készültek.
Csak amikor távozik a helyiségből, emlékszel arra, hogy ezek a mély tanulási rendszerek még mindig elég hülyednek, annak demonstrációs gondolkodási képessége ellenére. Úgy tűnik, hogy egy számítógép, amely egy halom fánkot lát az asztalon, és automatikusan „halom fánknak az asztalon” címkézi, megérti a világot; de amikor ugyanaz a program látja, hogy egy lány fogmosást végez, és azt mondja, hogy „baseball ütővel rendelkező fiú”, akkor rájössz, milyen nehéz, ha van, ez a megértés.
A neurális hálózatok csak tudatlanok és homályos mintázatfelismerők, és mennyire lehetnek hasznosak az ilyen mintázatfelismerők - mivel bármilyen szoftverbe akarják őket integrálni -, ezek a legjobb esetben korlátozottan értelmezhető fajták, amelyek könnyen becsaphatók. A képeket felismerő mély idegi hálózat teljesen összezavarható, ha megváltoztat egy pixelt, vagy hozzáad az emberek számára láthatatlan vizuális zajt. Szinte olyan gyakran, amikor új módszereket találunk a mély tanulás alkalmazására, gyakran szembesülünk annak korlátaival. Az önjáró autók nem vezethetnek olyan körülmények között, amelyeket még nem láttak. A gépek nem képesek elemezni azokat a mondatokat, amelyek megkövetelik a józan ész és a világ működésének megértését.
A mély tanulás valamilyen módon, de felületesen utánozza az emberi agyban zajló eseményeket - ami talán magyarázza, miért intelligenciája olykor felületes. Az agyba merülés során nem fedezték fel a háttámadást, és megpróbálta megfejteni a gondolatot; az állati tanulás modelljeiből nőtt ki a régimódi kísérletek kísérleti és hibás kísérleteiben. És a kezdetektől megtett fontos lépések többsége nem tartalmazott semmi újat az idegtudományról; ezek olyan technikai fejlesztések voltak, amelyeket a matematikusok és a mérnökök sokéves munkája megérdemel. Amit az intelligenciáról tudunk, az semmi ahhoz képest, amit még nem tudunk róla.
David Duvenaud, a torontói egyetem Hintonjával azonos tanszékének adjunktusa szerint a mély tanulás hasonló a mérnöki ismeretekhez a fizika bevezetése előtt. "Valaki ír egy munkát és azt mondja:" Megtettem ezt a hídot, és megéri! " Egy másik cikk írja: "Megépítettem ezt a hídot, és összeomlott, de támaszokat adtam hozzá és ez áll." És mindenki megőrül a tartók miatt. Valaki hozzáad egy boltívot - és mindenki ilyen: az ívek hűvösek! A fizika segítségével valóban kitalálhatja, mi fog működni és miért. Csak a közelmúltban kezdtük el mozogni legalább a mesterséges intelligencia megértésének felé."
És maga Hinton azt mondja: „A legtöbb konferencia kisebb változtatásokról szól, ahelyett, hogy keményen gondolkodna és kérdéseket tegyen fel:„ Miért nem működik az, amit most csinálunk? Mi az oka ennek? Fókuszáljunk erre."
Nehéz megszerezni egy külső perspektívát, ha csak az előrehaladást követő haladást látod. De az AI legújabb előrelépései kevésbé voltak tudományos és technikai jellegűek. Miközben jobban megértjük, hogy milyen változások javítják a mélyreható tanulási rendszereket, továbbra is homályos elképzelésünk van arról, hogy ezek a rendszerek hogyan működnek, és ha valaha olyan erőssé válhatnak, mint az emberi elme.
Fontos megérteni, hogy képesek volunk-e mindent kinyerni a hátlapból. Ha igen, akkor egy fennsík lesz a mesterséges intelligencia fejlesztésében.
Türelem
Ha azt szeretné látni, hogy a következő áttörés valami olyan keret legyen, mint a sokkal rugalmasabb intelligenciájú gépek számára, akkor elméletben a 80-as évek backprop-kutatásához hasonló kutatásokhoz kell fordulnia: amikor az okos emberek feladták, mert ötleteik még nem működtek. …
Néhány hónappal ezelőtt meglátogattam a Minds, Brains and Machines Központot, az MIT-nél székhellyel rendelkező többcélú intézményt, hogy megfigyeljem, hogy barátom, Eyal Dechter megvédi disszertációját a kognitív tudományban. Az előadás kezdete előtt felesége Amy, kutyája Ruby és lánya Suzanne támogatták őt, és szerencsét kívántak neki.
Eyal lenyűgöző kérdéssel kezdte beszédét: hogyan történt, hogy Suzanne, aki csak két éves, megtanulta beszélni, játszani, követni a történeteket? Mi az emberi agyban teszi lehetővé olyan jól tanulmányozni? Vajon egy számítógép megtanul valaha is ilyen gyorsan és zökkenőmentesen megtanulni?
Az új jelenségeket megértjük olyan dolgok szempontjából, amelyeket már értünk. A tartományt darabonként felosztjuk és darabonként megvizsgáljuk. Eyal matematikus és programozó, olyan feladatokra gondol, mint például a szuffle készítése, mint összetett számítógépes programok. De nem tanulja meg, hogyan készíthet egy szufflét azáltal, hogy sok száz perces műsorú utasítást megjegyez, például: "fordítsa el a könyökét 30 fokkal, nézzen az asztalra, majd nyújtsa ki az ujját, majd …". Ha ezt minden új esetben meg kellene tennie, a tanulás elviselhetetlenné válik, és abbahagyja a fejlődést. Ehelyett olyan magas szintű lépéseket látunk, mint a „fehérek megverése” a programban, amelyek maguk alprogramokból állnak, mint például „megtörik a tojást” és „szétválasztják a fehérjét a tojássárgájától”.
A számítógépek ezt nem teszik, ezért ostobanak tűnnek. A hot-dog felismerésének mély megtanulásához 40 millió hot-dog-képet kell betáplálnia. Amit Suzanne felismerte a forró kutyával, csak mutassa meg neki. És jóval azelőtt megérti a nyelvet, amely sokkal mélyebb, mint a különálló szavak együttes megjelenésének felismerése. A számítógéptől eltérően a fején van egy ötlet arról, hogyan működik a világ. "Meglepő, hogy az emberek attól tartanak, hogy a számítógépek elvégzik a munkájukat" - mondja Eyal. „A számítógépek nem tudják helyettesíteni az ügyvédeket, mert az ügyvédek valami nehézet csinálnak. De mivel az ügyvédek hallgatnak és beszélnek az emberekkel. Ebben az értelemben nagyon távol vagyunk mindentől."
Az igazi intelligencia nem zavaros, ha kissé megváltoztatja a probléma megoldásának követelményeit. És Eyal legfontosabb disszertációja elvileg pontosan ezt bizonyította, hogyan lehet ilyen módon működtetni a számítógépet: élénken alkalmaz mindent, amit már tud az új problémák megoldására, gyorsan megfogja menet közben, és egy teljesen új terület szakértőjévé válhat.
Alapvetően ezt nevezi a feltárási-tömörítési algoritmusnak. Biztosítja a számítógépnek egy programozó funkcióját, felépítve az újrafelhasználható moduláris összetevők könyvtárát, hogy összetettebb programokat lehessen létrehozni. Semmit sem tudva az új területről, a számítógép megpróbálja strukturálni a róla vonatkozó ismereteket, egyszerűen csak tanulmányozza, megerősíti azt, amit felfedezett, és tovább tanulmányozza, mint egy gyermek.
Tanácsadója, Joshua Tenenbaum az egyik leginkább idézett AI kutató. Tenenbaum neve felmerült a más tudósokkal folytatott beszélgetések felében. Néhány kulcsfontosságú ember a DeepMindnél - az AlphaGo fejlesztő csapata, amely a legendás 2016-ban legyőzte a World Go bajnokot - dolgozott vele. Egy olyan induló vállalkozásban vesz részt, amely az önvezető autók számára megpróbálja intuitív megértést adni a fizika alapjairól és a többi járművezető szándékáról, hogy jobban előre tudják látni, mi történik olyan helyzetekben, amelyekkel még nem találkoztak.
Eyal disszertációját még nem alkalmazták a gyakorlatban, azt még a programokba sem vezették be. "A problémák, amelyekkel az Eyal dolgozik, nagyon-nagyon nehézek" - mondja Tenenbaum. "Sok generációt vesz igénybe."
Amikor leültünk egy csésze kávét, Tenenbaum azt mondta, hogy inspirációt keres a backprop történetében. A backprop évtizedek óta a klassz matematika egyik formája, amely legtöbbjére semmi nem képes. Ahogy a számítógépek gyorsabban fejlődtek és a technológia nehezebb lett, a dolgok megváltoztak. Reméli, hogy valami hasonló történik a saját munkájával és a hallgatói munkájával, de "ez még néhány évtizedbe telhet".
Hinton számára meg van győződve arról, hogy az AI korlátainak leküzdése "híd létrehozását jelenti a számítástechnika és a biológia között". A backprop ebből a szempontból a biológiailag ihletett számítástechnika diadala volt; az ötlet eredetileg nem a mérnöki munkából, hanem a pszichológiából származott. Tehát Hinton megpróbálja megismételni ezt a trükköt.
Manapság a neurális hálózatok nagy, lapos rétegekből állnak, de az emberi neocortexben a valódi idegsejtek nem csak vízszintesen, hanem függőlegesen is oszlopokba sorolódnak. Hinton kitalálja, hogy mi ezek az oszlopok - a látásban például lehetővé teszik az objektumok felismerését akkor is, ha megváltoztatja a nézetet. Tehát létrehoz egy mesterséges verziót - és "kapszulának" hívja őket - ennek az elméletnek a tesztelésére. Eddig semmi sem derült ki: a kapszulák nem javították nagy mértékben hálózata teljesítményét. De 30 évvel ezelőtt ugyanez volt a backprop-lal.
"Ennek működnie kell" - mondja a kapszulaelméletről, nevetett a saját bravadójáról. "És ami még nem működik, csak átmeneti irritáció."
A Medium.com anyagai alapján
Ilya Khel