A mesterséges intelligencia aktívan fejlődik Oroszországban és a világban - ideértve az érzelmi képességeket is. Nagyvállalatok és ambiciózus induló vállalkozások iránt érdeklődik, amelyek új fejleményeket vezetnek be a kiskereskedelemben, a marketingben, az oktatásban, a banki szolgáltatásokban és a toborzásban. A Mordor Intelligence szerint az érzelmek felismerésének piacát 2018-ban 12 milliárd dollárra becsülték, és 2024-re 92 milliárd dollárra növekszik.
Mi az érzelmi AI?
Az Emotion AI (Emotion AI) olyan AI, amely lehetővé teszi a számítógép számára, hogy felismerje, értelmezze és reagáljon az emberi érzelmekre. Egy kamera, mikrofon vagy hordható érzékelő leolvassa az ember állapotát, és egy neurális hálózat feldolgozza az adatokat egy érzelem meghatározásához.
Az érzelmek elemzésének két fő módja van:
- Kapcsolatba lépni. Az embert olyan készülékre helyezik, amely leolvassa az impulzusát, a test elektromos impulzusát és egyéb fiziológiai mutatóit. Az ilyen technológiák nemcsak az érzelmeket, hanem a stressz szintjét vagy az epilepsziás rohamok valószínűségét is meghatározzák.
- Az érintés nélküli. Az érzelmeket video- és hangfelvételek alapján elemezzük. A számítógép megtanulja az arckifejezéseket, gesztusokat, szemmozgásokat, hangot és beszédet.
Neurális hálózat kiképzése céljából az adattudósok adatmintát gyűjtenek és manuálisan megjelölik az ember érzelmi állapotának változását. A program tanulmányozza a mintákat és megérti, hogy mely jelek mely érzelmekhez tartoznak.
A neurális hálózat különféle adatokra képezhető ki. Egyes vállalatok és laboratóriumok videókazettákat használnak, mások hangot tanulmányoznak, és mások több forrásból profitálnak. De minél változatosabbak az adatok, annál pontosabb az eredmény.
Vegyünk két fő forrást:
Promóciós videó:
Fotók és állóképek videóról
A képeket először dolgozzák fel, hogy megkönnyítsék az AI-vel való együttműködést. Az arcvonásokat - szemöldökét, szemét, ajkát és így tovább - pontokkal jelöltük. A neurális hálózat meghatározza a pontok helyzetét, összehasonlítja azokat az érzelmek jeleivel a sablonból és megállapítja, hogy mely érzelmek tükröződnek - harag, félelem, meglepetés, szomorúság, öröm vagy nyugalom.
Van egy másik megközelítés is. Az érzelem jeleit azonnal észreveszik az arcon - például egy mosoly vagy a homlokát ráncoló szemöldök. Ezután az idegi hálózat megkeresi a markereket a képen, elemzi azok kombinációit és meghatározza a személy állapotát.
Az érzelemjelzők tanulmányozása a 20. században kezdődött. Igaz, akkor az idegi hálózatoktól elkülönítve tekintették őket. Paul Ekman és Wallace Friesen tudósok 1978-ban fejlesztették ki az arckezelési kódoló rendszert (FACS). Bontja az arckifejezéseket egyéni izommozgásokra vagy akcióegységekre. A kutató megvizsgálja a motoros egységeket, és összehasonlítja azokat érzelmekkel.
Hang és beszéd
A neurális hálózat a hang számos paraméterét kivonja az akusztikus jelből - például hangot és ritmust. Megvizsgálja azok időbeli változásait és meghatározza a beszélő állapotát.
Időnként spektrogramot használnak az edzéshez - egy képet, amely megmutatja a jel erősségét és frekvenciáját az idő múlásával. Ezen felül az AI elemzi a szókincset a pontosabb eredmények elérése érdekében.
Hol van a használt technológia?
Értékesítés és reklám
Az érzelemfelismerő technológia legszembetűnőbb használata a marketingben. Ezek segítségével meghatározhatja, hogy egy reklámvideó hogyan befolyásolja az embert. Ehhez telepíthet például egy kamerát, amely megváltoztatja a reklámozást az elhaladó emberek hangulatától, nemétől és életkorától függően.
Hasonló kialakítást fejlesztettek ki a Cloverleaf és az Affectiva induló vállalkozások. Bemutattak egy, a shelfPoint nevű elektronikus polcpont-hirdetést, amely adatokat gyűjt a vásárlók érzelmeiről. Az új technológiákat a Procter & Gamble, a Walmart és más nagyvállalatok tesztelték. Cloverleaf szerint az értékesítés 10–40% -kal emelkedett, míg az ügyfelek elkötelezettsége 3–5-szeresére nőtt.
Rendkívül szokatlan lehetőség egy robot tanácsadó, mesterséges intelligenciával. Beszélgetni fog az ügyfelekkel, elolvassa az érzelmeiket és befolyásolja őket. És személyre szabott ajánlatokat is tehet.
A szervizrobotot az orosz induló Promobot mutatta be. A Neurodata Lab által kifejlesztett neurális hálózatot használ, amely egyszerre több forrásból határozza meg az érzelmeket: az arc, a hang, a mozgások rögzítése, valamint a légzés és a pulzusszám.
A Promobot aktívan értékesíti robotjait külföldön. 2018-ban az induló vállalkozás 56,7 millió dollárra szerződést írt alá az amerikai Intellitronix társasággal, majd a következő vállalkozással megállapodott eszközök szállításáról Szaúd-Arábiába, Izraelbe, Kuvaitba és Svédországba - számukra a társaság 1,1 millió dollárt kap. Promobot szerint ma 492 robot működik. a világ 34 országában útmutatók, concierge-ok, tanácsadók és promóterekként.
Banks
Az érzelemfelismerő technológiák segítenek a bankoknak az ügyfelek visszajelzéseinek felmérések nélküli megszerzésében és javítják a szolgáltatást. Az osztályokba videokamerák vannak felszerelve, és a felvétel algoritmusai meghatározzák a látogatók elégedettségét. A neurális hálózatok elemezhetik az ügyfél és az operátor hangját és beszédét a kapcsolattartó központba történő hívás során is.
Oroszországban már régóta próbálják megvalósítani az érzelmi AI-t: 2015-ben a Sberbank-ban tesztelték, és három évvel később az Alfa-Bank elindította kísérletét az érzelmek videóinak elemzésére. A kamerákról készített felvételeken kívül hívásfelvételeket is használnak. A VTB kísérleti projektet indított az érzelmi AI megvalósítására 2019-ben. A Rosbank és a Neurodata Lab együtt már tesztelték az ügyfelek érzelmeinek hangon és beszéden alapuló meghatározását. Az ügyfél felhívta a bankot, és az idegi hálózat elemezte állapotát és a beszélgetés jelentését. Ezen felül az AI észlelte a szünetet az operátor beszédében, hangerejében és kommunikációs idejében. Ez lehetővé tette nemcsak a szolgáltatással való elégedettség ellenőrzését, hanem a kapcsolattartó központ üzemeltetőinek munkáját is.
Most a Rosbank bevezette az érzelmek felismerésére szolgáló saját megoldását. A hangjelzés helyett a rendszer elemzi a szöveget, miközben a pontosság továbbra is magas.
A Beszédtechnológiai Központ részt vesz az érzelmek felismerésében is a beszédben (a Sberbank többségi tulajdonban van). A Smart Logger szolgáltatás elemzi az ügyfelek és a szolgáltatók hangját és szókincsét, a beszélgetési időt és a szünetet annak érdekében, hogy megtudja, mennyire elégedett a szolgáltatással.
Szórakoztató szféra
Az érzelemfelismerő rendszerek felhasználhatók a közönség filmre adott reakciójának felmérésére. A Disney 2017-ben, a tudósokkal együttműködésben, kísérletet végzett: kamerákat telepített egy moziban és csatlakoztatott mély tanulási algoritmusokat a nézők érzelmeinek felméréséhez. A rendszer néhány percig tartó megfigyelésével előre jelezheti az emberek reakcióit. A kísérlet során lenyűgöző adatállományt gyűjtöttünk: 68 jelölőt mindegyik 3 179 nézőből. Összesen 16 millió arckép készült.
Ugyanebből a célból a YouTube video hosting létrehozott saját AI-t, YouFirst néven. Ez lehetővé teszi a videó bloggerek és a vállalkozások számára a tartalom tesztelését a platformon való megjelenés előtt. A felhasználók egy speciális linkre kattintanak, egyetértenek egy videó készítésében és a videó megtekintésében. Ebben az időben a neurális hálózat meghatározza a reakcióikat, és elküldi az adatokat a csatorna tulajdonosának.
Az orosz vállalatok körében a videókra adott reakciókat például a Neurobotics elemzi. A cég kifejlesztette az EmoDetect programot, amely felismeri az örömöt, szomorúságot, meglepetést, félelmet, haragot, undorodást és semlegességet. A program akár 20 helyi arcvonást tanulmányozhat fagyasztott keretekben és képek sorozatában. A rendszer elemzi a motoros egységeket és FACS arckódoló technológiát használ. Videó rögzíthető webkameráról. Az EmoDetect API lehetővé teszi a termék integrálását a külső alkalmazásokba.
Az érzelmi AI-t a játékiparban kezdik alkalmazni. Ez elősegíti a játék testreszabását és a játékossal való további interakciót.
Például az amerikai érzelmi AI-társaság, az Affectiva segített létrehozni a Nevermind pszichológiai thrillert. A feszültség a játékos állapotától függ: a telek sötétebb lesz, amikor stressz alatt van, és fordítva.
Oktatás
Az érzelmek felismerése az oktatásra is vonatkozik. Használható a hallgatók hangulatának és figyelmének tanulmányozására az osztály során.
Az orosz fejlesztők érzelmi AI-t alkalmaztak Permben. A technológia fejlesztésének lendületét a tanulók általános iskolai tanulók és a tanár elleni támadása képezte. A Rostelecom és az induló New Vision fejlesztették ki az Intelligens és biztonságos iskola programot a gyermekek érzelmi állapotának figyelemmel kísérésére. Ez elősegíti az aszocialis serdülők azonosítását a tragédia előtt.
A Paul Ekman rendszerre épült. A neurális hálózat az arcon a 150 pont segítségével elemezte a legkisebb izommozgásokat. Az óra során nagy mennyiségű adat gyűjtött: 5-6 ezer képkocka minden tanuló számára. A program megvizsgálta az adatkészletet és kiszámította minden gyermek érzelmi állapotát. Az alkotók szerint a pontosság 72% volt.
HR
Az érzelmi AI hasznos lehet a személyzettel végzett munkában. Segít meghatározni a munkavállaló állapotát, észrevenni fáradtságát vagy elégedetlenségét időben, és hatékonyabban oszthatja el a feladatokat.
Ezen felül a technológia segít a toborzásban. Az érzelmi AI segítségével ellenőrizheti a munkajelöltet vagy hazudhat az interjú során.
Az amerikai HireVue cég mesterséges intelligenciát használ a jelöltek értékeléséhez. A kérelmező videointerjún megy keresztül, és a neurális hálózat kulcsszavak, hanghangzás, mozgások és arckifejezések alapján határozza meg állapotát. Az AI kiemeli a munka szempontjából fontos jellemzőket és pontokat ad, a HR menedzser pedig kiválasztja a megfelelő jelölteket.
A londoni startup Human a videót használja az érzelmek azonosítására és a jellemvonásokhoz való igazításra. A videointerjú után a toborzók jelentést kapnak arról, hogy mennyire őszinte, kíváncsi, izgatott, lelkes és magabiztos a jelölt, és hogyan válaszol a kérdésekre.
Gyógyszer
Ezen a területen nemcsak a nem érintkezés, hanem az érzelmek meghatározására szolgáló kapcsolattartási módszerek is hasznosak lesznek. Ezeket aktívan hajtják végre külföldi induló vállalkozások - például az Affectiva és a Brain Power. A vállalatok fejlesztései olyan AI szemüvegeket tartalmaznak, amelyek segítenek az autizmussal élő gyermekek és felnőttek felismerésében mások érzelmeit és társadalmi képességeik fejlesztését.
De a neurális hálózatok hordható érzékelők nélkül segítenek a betegekben. A Massachusettsi Technológiai Intézet tudósai létrehoztak egy neurális hálózatot, amely egy személy beszédének elemzése útján érzékeli a depressziót. Az eredmény pontossága 77% volt. És a Verbal túli startup az AI segítségével elemzi a betegek mentális egészségét. Ebben az esetben a neurális hálózat az audio felvételből csak a hang biomarkereket választja ki.
Cars
A Massachusettsi Technológiai Intézet egy AutoEmotive nevű AI-t dolgoz ki, amely meghatározza a sofőr és az utasok helyzetét. Nem csak figyelemmel kíséri a stressz szintjét, hanem megpróbálja csökkenteni is - lágy zene lejátszásával, a kabin hőmérsékletének beállításával vagy egy kevésbé elfoglalt útvonalon.
Az érzelmi AI korlátozásai
A neurális hálózat nem tudja figyelembe venni a kontextust
Az AI megtanulta megismerni az alapvető emberi érzelmeket és állapotokat, de eddig nem képes megbirkózni a bonyolultabb helyzetekkel. A tudósok megjegyzik, hogy az arckifejezések nem mindig mutatják meg pontosan, hogyan érzi magát az ember. Mosolya fegyelmezett vagy szarkasztikus lehet, és ezt csak a kontextus határozhatja meg.
Az NtechLab szakértői úgy vélik, hogy továbbra is nehéz pontosan meghatározni ennek az érzésnek az okát.
Az NtechLab hangsúlyozza, hogy nemcsak az arckifejezéseket, hanem az emberi mozgásokat is fel kell ismerni. A változatos adatok sokkal hatékonyabbá teszik az érzelmi AI-t. Daniil Kireev, a VisionLabs arcfelismerő termékfejlesztő cég vezető kutatója egyetért ezzel. Véleménye szerint nagy mennyiségű adat esetén az algoritmusok pontossága növekszik.
„Vannak hibák, számuk sok tényezőtől függ: az edzési minta minőségétől, a kiképzett idegi hálózattól, az adatokat, amelyeken a végső rendszer működik. Különböző forrásokból - például hangból - származó információk hozzáadásával javíthatja a rendszer minőségét. Ugyanakkor fontos megérteni, hogy az arc segítségével inkább a kifejezést, mint a végső érzetet határozzuk meg. Az algoritmus megpróbálhatja meghatározni a szimulált érzelem meghatározását, de ehhez a technológia fejlesztéséhez egy kis lépéssel kell előre lépni”- mondja Daniil Kireev.
Rossz felszerelés
A külső tényezők befolyásolják az algoritmusok minőségét. Az érzelmek felismerésének pontosságához a videokameráknak és a mikrofonoknak magas színvonalúaknak kell lenniük. Ezen felül az eredményt befolyásolja a megvilágítás és a kamera elhelyezkedése. Daniil Kireev szerint az ellenőrizetlen körülmények megnehezítik az ember állapotainak meghatározását.
Az érzelmi AI fejlődéséhez minőségi hardverre van szüksége. Ha jó felszerelést talál, és helyesen állítja be, az eredmények pontossága nagyon magas lesz. És amikor ez hozzáférhetőbbé és szélesebb körűvé válik, az érzelemfelismerő technológiákat tovább fejlesztik és aktívabban alkalmazzák.
„A rendszer pontossága sok tényezőtől függ. A legfontosabb a fényképezőgépről származó állóképek minősége, amelyeket a rendszer felismerés céljából kap. A állóképek minőségét viszont a kamera beállításai és jellemzői, a mátrix, a világítás, az eszköz elhelyezkedése, a képben lévő arcok száma befolyásolja. A hardver és a szoftver megfelelő konfigurációjával a detektált érzelem pontossága akár 90-95% -ig is elérhető”- jegyzi meg Vitaly Vinogradov, az Ivideon felhő-videó megfigyelő és videóanalitikai szolgáltatás termékmenedzsere.
Technológiai perspektíva
Most Oroszországban az érzelmi AI csak lendületet kap. Az induló vállalkozások technológiát fejlesztenek és termékeiket forgalmazzák, az ügyfelek pedig óvatosan tesztelik őket.
A Gartner becslése szerint azonban 2024-ig az online hirdetések több mint felét érzelmi AI segítségével készítik. Az érzelmek felismerésére használt számítógépes látás a következő 3-5 évben az egyik legfontosabb technológiává válik. A MarketsandMarkets azt jósolja, hogy az érzelmek elemzési piaca 2024-re megduplázódik - 2,2 milliárd dollárról 4,6 milliárd dollárra.
Ezen felül a nagyvállalatok érdeklődést mutatnak az érzelmek felismerése iránt - például a Procter & Gamble, a Walmart, a VTB, a Rosbank, a Sberbank és az Alfa-Bank. És a hazai induló vállalkozások kísérleti projekteket dolgoznak ki, amelyek a jövőben kész megoldások lesznek az üzleti vállalkozások számára.
Evgeniya Khrisanfova