Néhány nappal ezelőtt a bioRxiv.org preprint portál közzétette a moszkvai Fizikai és Technológiai Intézet orosz kutatóinak, valamint a Neurobotics és Neuroassistive Technologies cégeknek a munkáját, amelyek idegrendszeri számítógépes interfészek készítésével foglalkoznak. A tanulmány azt állítja, hogy a tudósoknak és a fejlesztőknek sikerült valós időben megtanítani egy algoritmust egy személy által EEG-jelekkel nézett videó rekonstruálására. Nagyon jó és érdekesnek hangzik - szinte olyan, mint az elme olvasása. Valójában minden természetesen nem olyan egyszerű: a számítógépek nem tanultak meg gondolatok olvasását. Röviden: a számítógép megtanulta az EEG felvételből annak meghatározására, hogy az öt különböző korábban ismert osztály közül melyik képet látta az alany. Blogunkban elmondjuk, hogy a kísérlet hogyan épült fel, milyen feladatokat tettek a tudósok, és miért nem valószínű, hogy az elolvasás megvalósul a közeljövőben.
Általánosságban elmondható, hogy az agy elektromos jelének leolvasása és annak megfejtetése, hogy láthassa, mit gondol és mások egy adott pillanatban, figyelembe véve a jelenlegi technológiai fejlődés ütemét, nem tűnik olyan nehéznek. Itt van egy jel, és ez az, amit ez a jel jelent: adjunk hozzá kettőt és kettőt, kiképezzük az osztályozót, és kapjuk meg a szükséges eredményt.
Az eredmény az, amit a futuristák és tudatlan emberek az "elmeolvasásnak" hívnak. És úgy tűnik, hogy egy ilyen technológia számos alkalmazásban megtalálható: a tökéletes neurokomputer interfészektől kezdve, amelyek lehetővé teszik az intelligens protézisek vezérlését, egy olyan rendszer létrehozásáig, amely végül elmondja neked, mit gondol macskája ott.
A valóságban természetesen minden egyáltalán nem olyan egyszerű, és egy ilyen algoritmus létrehozásának ötlete szinte azonnal lezuhan a fő akadálytól: az agynak kell foglalkoznunk. Az agy nagyon bonyolult dolog: több mint 80 milliárd idegsejttel rendelkezik, és a közöttük fennálló kapcsolatok több ezer alkalommal vannak.
Még egy laikus ember számára is egyértelmű: ez túl sok ahhoz, hogy megértsük, miért felelős az egyes sejtek és aggregátumok. A tudósok még nem találták meg az emberi kapcsolatokat - még akkor is, ha relatív sikerrel próbálják megcsinálni.
Logikus kérdés merül fel: szükséges-e megérteni az egyes neuronok működését az agyban zajló események pontos ábrázolása érdekében? Például tényleg nincs elég funkcionális térkép?
Erre a kérdésre valóban a válasznak igennel kell lennie, de még itt sem olyan egyszerű. Ha az emberiség az összekötődés dekódolására támaszkodna, mint az egyetlen agy rejtélyének felszabadításának kulcsát, akkor nagyon közel lennünk ma. Tudunk azonban valamit az agyunk működéséről, és természetesen sikeresen felhasználhatjuk.
Promóciós videó:
Az egyik legfényesebb és legnyilvánvalóbb példa arra, hogy a tudósok az agyi munkáról összegyűjtött ismereteket felhasználják, természetesen, a neuro interfészek. Általánosságban elmondható, hogy manapság valóban vannak olyan technológiák, amelyek lehetővé teszik az agyi aktivitás leolvasását és felhasználását például egy számítógépes egér kurzorának vagy akár a protézis mozgásának ellenőrzésére.
Kétféle módon érhető el a neurális interfész hatékony működése. Az első módszer felveti a potenciálokat: megnézjük az agy bizonyos részeinek elektromos aktivitásának görbéjét, és kiválasztjuk azon jelváltozásokat, amelyek - amint bizonyosról tudjuk, egy bizonyos pillanatban megjelennek az inger bemutatása után.
A második módszer az, hogy egyáltalán nem támaszkodik a stimulációra, hanem az ember fantáziáját használja az olvasható elektromos jel generálására. Például, egy embert fel lehet kérni, hogy látja el, hogyan mozgatják a lábát vagy a karjukat.
Mindkét módszernek jelentős hátrányai vannak. Az elsőt akadályozza az a tény, hogy a számunkra ismert megbízhatóan kiváltott potenciálok száma nem olyan nagy: ezek száma nem tudja pontosan lefedni az ember által elvégzhető összes lehetséges műveletet. A második módszer hátránya, hogy legalább egy bizonyos hatás eléréséhez hosszú edzésre van szükség.
Az előzetes nyomtatás szerzői úgy döntöttek, hogy mindkét megközelítést ötvözik a neuromotoros interfészek létrehozásával, joggal véve, hogy ez mindkét módszert megmenti a jelentős korlátozásoktól, és lehetővé teszi egy új és leghatékonyabb módszer kifejlesztését a neurointerfészek kezelésére.
Azt is feltételezték, hogy ez a módszer bezáródik (zárt hurok), vagyis a segítségével kapott eredmény pedig befolyásolja az algoritmus működését. De erről később.
A legelején az algoritmus minden képet különálló komponensjelekre bontja, vektor térben elosztva, amelyek segítségével ezeket össze lehet kapcsolni az EEG segítségével rögzített bizonyos agyjelekkel.
Ebben a kezdeti szakaszban egy bináris osztályozót használnak - durván szólva, a nagyon „kettőt és kettőt”: kellően tiszta jelzésükkel (az EEG felvétel törölve volt a motoros műtermékektől) választhatunk egyet vagy a másikt egy véletlenszerű találatot meghaladó pontossággal.
Kísérleteik során a tudósok öt osztályba tartozó tárgyak videóit használtak: emberek képeit, vízeséseket, absztrakt geometriai alakzatokat, extrém sportokat és Goldberg autókat. Egyrészt egy ilyen készlet furcsanak tűnik, másrészt úgy tűnik, hogy ezek a tárgyak nagyon különböznek egymástól. Valóban van-e valami közös az emberi arcok és az absztrakt geometriai alakzatok között?
Eközben a bináris osztályozó szerint az absztrakt figurák és az emberi arcok nem különböztethetők meg egymástól: a 17 tanulmányból kilenc eredménye azt mutatta, hogy a neurális interfész nyilvánvalóan nem tudta megkülönböztetni őket. De Goldberg gépei és ugyanazon arcok, az agy szempontjából, éppen ellenkezőleg, nagyon különböznek egymástól.
Osztályozási eredmények. A - absztrakt formák, W - vízesések, HF - emberi arcok, GM - Goldberg autók, e és extrém sportok.
Első pillantásra nem túl világos, hogy miért történik ez: inkább ugyanazok a gépek és geometriai alakzatok nem különböztethetők meg egymástól. Minden kissé világosabbá válik, ha a felhasznált videók kereteit szemlélteti.
Mintaképek öt osztályból.
Valószínűleg (természetesen csak itt feltételezhetjük) az osztályozó sikere attól függ, hogy a két osztályban használt képek mennyire különböznek egymástól néhány felületes, alapvető tulajdonságban - mindenekelőtt színben. Ez szintén jól összefügg azzal a ténnyel, hogy az automatikus kódolóban a látens tér mérete 10.
Általában az öt osztályba tartozó képek osztályozásához elegendő egy öt dimenzió, de ebben az esetben a színes hisztogram segítségével maximálisan megtörténik - ez azt jelenti, hogy a 10. méret nem javul túl sokat, és tisztázza az eredményt.
Nem túl világos, hogy a szerzők miért nem használtak lineáris osztályozót öt osztályra egyszerre tíz bináris osztályozó helyett: valószínűleg jobb lett volna.
Ezután jön a kapott kép rekonstrukciója. Érthető, hogy kijött-e elkenve - ez a lényeg a rejtett tér azonos dimenziójában van. De itt két dolog összetéveszthető.
Az első az, hogy az eredeti és a rekonstruált képek nagyon hasonlóak egymáshoz. Itt természetesen nem akarok senkit felborítani (beleértve magunkat is - mindannyian a haladásért vagyunk), de ennek nem az a következménye, hogy a jelet annyira jól rögzítik és dekódolják (és még valós időben is!), Hanem annak a ténynek köszönhető, hogy az algoritmus pontosan visszaállítja a már meglévő képeket.
Sőt, ez nem mindig működik olyan jól, mint szeretnénk: ha például a rendszer videóját nézi, akkor észreveszi, hogy egy síró férfival készített videóban valamilyen oknál fogva lát egy nőt. Ennek oka az, hogy az algoritmus nem rekonstruálja a képeket, hanem egy bizonyos osztály tárgyait: még ha elég hatékonyan is megteszi, semmi sem akadályozza meg az algoritmust, hogy egy hajót motorkerékpár képében láthasson - egyszerűen azért, mert ugyanabba az osztályba tartoznak.
Ezért a rekonstrukció során a képernyőn gyakran csak az összes használt osztályobjektum átlagos képe látható.
Ami a zárt rendszer használatának értelmességét illeti, akkor nincs teljesen világos benne: egy feladat végrehajtásakor az ember látja az EEG jelek rögzítését és a fejéből fokozatosan megjelenő képet. Nehéz megmondani, hogy ez valóban segít-e - a szerzők nem hasonlították össze a felület teljesítményét megerősítéssel és anélkül. De első pillantásra úgy tűnik, hogy nem igazán. Ha ez segít, nagyon szeretném tudni, hogyan.
Általánosságban elmondhatjuk, hogy a számítógépek nem tanultak meg a gondolatok olvasását. És nem is tanultak meg, hogyan lehet újra létrehozni a videót. A tudósok munkája alapján mindössze annyit tanultak, hogy az általuk látott tárgyakat néhány alapvető kritérium alapján öt osztályba sorolják. A számítógépek képesek voltak-e ezt megtenni korábban? Természetesen megtehetik. Van itt agy? Természetesen van: de látja az agy, és nem az agy érti, amit pontosan látott.
Elizaveta Ivtushok