A mesterséges intelligencia területét gyakran összehasonlítják az olajiparral: kinyerve és finomítva az adatok, akárcsak az olaj, nagyon jövedelmező árucikkré válhatnak. Most azonban nyilvánvalóvá válik, hogy ez a metafora bővül. A fosszilis tüzelőanyagokhoz hasonlóan a mély tanulás óriási hatással van a környezetre. Egy új tanulmányban a Massachusettsi Egyetemen az Amherst tudósai számos közös nagy AI modell tanulmányi életciklusát vizsgálták meg.
Megállapította, hogy ez a folyamat több mint 626 000 font (kb. 300 000 kg) széndioxid-ekvivalenst hozhat létre, amely öt év alatt közel ötszöröse a tipikus autók kibocsátásának (beleértve magának a gépkocsinak az előállítását is).
Hogyan fejlesztik az AI modelleket?
Ez lenyűgöző számszerűsítés annak, amit az AI kutatói régóta gyanítottak.
A természetes nyelv feldolgozása szénlábnyom
Promóciós videó:
A cikk kifejezetten a természetes nyelvfeldolgozás modelljének (NLP) képzésének folyamatával foglalkozik, amely az AI almezője, amely az emberi nyelv kezelésére szolgáló képzőgépekkel foglalkozik. Az elmúlt két évben az NLP közösség számos fontos mérföldkövet tett a gépi fordítás, a mondat befejezése és más általános osztályozási feladatok területén. Például a hírhedt OpenAI GPT-2 modellnek sikerült meggyőző hamis híreket írni.
Az ilyen előrelépésekhez azonban egyre nagyobb modellek képzésére volt szükség az internetről húzott mondatokból kinyújtott adatkészleteknél. Ez a megközelítés számítási szempontból drága és nagyon energiaigényes.
A kutatók megvizsgálták a négy olyan modellt a térségben, amely a legnagyobb teljesítmény-ugrást okozza: Transformer, ELMo, BERT és GPT-2. Mindegyiket egy GPU-n egy napra kiképzték az energiafogyasztás mérésére.
Ezután elvégezték az eredeti okmánydokumentumokban megadott edzési órák számát, hogy kiszámítsák a teljes képzési folyamat során felhasznált teljes energiát. Ezt az összeget font szén-dioxid-egyenértékre konvertálták, amely összhangban áll az Amazon, a világ legnagyobb felhő-szolgáltatója AWS energiakeverékével.
Megállapította, hogy a képzés számítási és környezeti költségei a modell méretéhez képest növekedtek, majd exponenciálisan növekedtek, amikor a modell végleges pontosságát kiigazították. Egy neurális architektúra-keresés, amely megkísérel optimalizálni a modellt azáltal, hogy a neurális hálózati struktúrát fokozatosan megváltoztatja próba-és hibajavítás révén, rendkívül magas költségekkel jár, kis teljesítménynövekedéssel. E nélkül a legdrágább BERT modell 1400 font (635 kg) szén-dioxid-lábnyomot hagyott, közel egy transz-amerikai oda-vissza úthoz.
Ezen túlmenően ezeket az adatokat csak alapvonalaknak kell tekinteni.
Összességében a tudósok becslése szerint a közzétételre méltó végleges modell létrehozásának és tesztelésének folyamata 4789 modell képzését tette szükségessé hat hónap alatt. Szén-dioxid-egyenértékben ez körülbelül 35 000 kg.
Ezeknek a számoknak a jelentõsége óriási, különös tekintettel az AI kutatásának jelenlegi tendenciáira. Általánosságban elmondható, hogy az AI kutatás elhanyagolja a hatékonyságot, mivel a nagy ideghálózatokat számos feladat szempontjából hasznosnak tekintik, és a korlátlan számítástechnikai erőforrásokkal rendelkező vállalkozások versenyelőnyhöz jutnak.
Ilya Khel