Az agyi aktivitás, a mesterséges intelligencia és a beszédszintetizátor szkennelésére szolgáló technológiával a Columbia University (USA) tudósai létrehoztak egy eszközt, amely az emberi gondolatokat képes artikulált beszédre fordítani. A tudományos jelentésekben közzétett kutatási eredmények fontos lépést jelentenek az agy-számítógép interfészek fejlesztésében. A jövőben ezeket az eszközöket olyan emberek használhatják, akik sérülés vagy betegség következtében elveszítették a beszédképességüket.
A beszédszintetizátor és a mesterséges intelligencia képességeit ötvöző eszköz kifejlesztésére a tanulmány szerzője, Nima Mesgarani idegtudós kutató és kollégái a mély gépi tanulás és a beszédszintézis technológiáinak legújabb fejleményeire fordultak. Munkájuk eredménye egy mesterséges intelligencián alapuló vokóder, amely képes pontosan értelmezni az agyi tevékenységet közvetlenül az agy hallókéregéből, majd azt érthető beszédre fordítani. A munka szerzői megjegyzik, hogy a beszéd ebben az esetben nagyon számítógépesnek bizonyul, ám a legtöbb esetben az emberek felismerik a szavakat.
Az alkotók szerint az eredményül kapott beszéd reprodukálására használt új eszköz ugyanazt a technológiát használja, mint a digitális asszisztensek, például az Alexa, a Siri és a Google Assistant.
Először a szakértők kiképezték az vokódert az emberi agyi tevékenység helyes értelmezéséhez. Ennek érdekében a tudósok öt önkéntest hívtak fel a kísérletbe, akik epilepsziás kezelésben részesültek. Mind az öt elektródát beültettek a hallókéregbe, hogy elolvassák az elektroencephalogramot.
„Megkértük az epilepsziás betegeket, akiknek már agyműtétük van, hogy hallgassák meg azokat a mondatokat, amelyeket a különböző emberek mondanak. Ugyanakkor elemeztük a betegek agyi aktivitásának mintáit. Az vokórt a kapott neurális modellek alapján képzték”- magyarázza Mesgarani.
A betegeket arra kérték, hogy hallgassák meg azokat a felvételeket, amelyekben a szereplők 0-tól 9-ig terjedő számsorozatokat olvasnak. Ugyanakkor a tudósok rögzítették az agyjeleket, majd átadták azokat a vokooderen keresztül. Ennek eredményeként robot hang hallatszott a beszélt számok sorozatának megismétlésével. Az eredmények értékelésére a tudósok 11 kiváló hallással rendelkező embert hívtak meg.
Kiderült, hogy az emberek az idő 75% -ában felismerik a szavakat, ami messze felülmúlja a korábbi kísérleteket. Az érzékeny vokátor és az erős ideghálózatok olyan hangokat generáltak, amelyeket a betegek hihetetlenül pontosan hallgattak”- kommentálta Mesgarani.
Promóciós videó:
A jövőben a Mesgarani csapata meg fogja tanítani az ideghálózatot összetettebb szavak, kifejezések és akár egész mondatok kiejtésére. Ezután olyan implantátumot akarnak kifejleszteni, amely az ember gondolatait teljes beszédré képes lefordítani.
„Például, ha az implantátum tulajdonosa azt gondolja:“Szükségem van egy pohár vízre”, akkor a rendszer felolvassa az agyi jeleket, és beszédre fordítja azokat. Ez mindenki számára, aki sérülés vagy betegség miatt elvesztette a beszédképességét, új lehetőséget fog biztosítani a körülvevő világgal való kommunikációra”- tette hozzá Mesgarani.
Nikolay Khizhnyak
