A képekkel való algoritmusok létrehozása mindig is meglehetősen nehéz, de ígéretes feladat volt. Amikor még 1999-ben írtam a diplomamunkám, a "mintafelismerés" témája nagyon fontos volt az automatikus irányítási és irányítási rendszerekben.
Ezt tehetik ma. Az indiai fejlesztők olyan rendszert mutattak be, amely elmosódott képekből rövid videókat készíthet. Az algoritmus a konvolúciós és a visszatérő ideghálózatok alapján működik, és lehetővé teszi a képekben lévő mozgási melléktermékek rövid (akár tíz képkocka) videóvá alakítását.
További részletek …
Homályos kép megtekintésekor az ember mentálisan elkészítheti egy képet arról, hogy mi történik. Például, ha homályos szárnyakkal lát egy fényképet egy madárról, azt sugallja, hogy a kép elmosódása a szárnyak mozgásában rejlő tárgyak miatt alakul ki. A számítógépes látásrendszereknél azonban ez a feladat nehezebb, és az ismert módszerek többsége csak a mozgási melléktermékek és a kiegyenlítő keretek eltávolítását célozza.
Az Indiai Technológiai Intézet tudósai, AN Rajagopalan vezetésével, egy homályos képet használhattak egy teljes rövid videó elkészítéséhez: azaz az eredeti mozgás helyreállítása a képen látható tárgyaiból. Ehhez kifejlesztettek egy algoritmust, amely konvolúciós neurális hálókon alapul, amelyeket aktívan használnak az automatikus képfelismeréshez kapcsolódó feladatokhoz, valamint a visszatérő ideghálózatokhoz.
A modell nagyszámú videón képzett, amelyeket keretekre osztottak. Ezt követően a neurális hálózat egy ilyen keretet keresi, amely tárgyak a legjobban megfelelnek az edzési mintakeret tárgyainak. Ezután a dekóder "visszaállítja" az edzési mintakeret tárgyait videóra rögzített mozgásba. Így a modell az esetleges elmosódott mozgásokkal kapcsolatos adatokat tárolja az edzési mintában rendelkezésre álló minden elmosódott képkockáról.
Promóciós videó:
A munka eredményeként az idegi hálózat elmosódott képből rekonstruált, tíz képkockából álló videót készít. Az alkotók szerint a kifejlesztett algoritmus a jövőben nemcsak a homályos képek helyreállítása, hanem a videókat is javítani fogja.
A mozgási melléktermékek eltávolítása az egyes keretekben javíthatja a video streaming-t is. Eddig erre a célra elsősorban a bitrátának a videó sebességétől és pufferelésétől függő adaptálására szolgáló algoritmusokat használtak.
Elizaveta Ivtushok