A mesterséges intelligencia elolvasta a Reddit felhasználók agresszív hozzászólásait, és megértette, hogyan beszélnek mások. Nehezebb becsapni, mint egy szokásos bot moderátornál.
Az internetet kövér és vékony trollok lakják, és csak durva emberek, akik nem szólnak a zsebükbe. Az Internet kézi moderálása nehéz és hálátlan feladat. A "tiltott listából" való szavak keresésére programozott robotok jobban teljesítenek, de nem tudhatják, mikor a kódusszavakkal kapcsolatos kauzikus megjegyzés ártalmatlan vicc, mikor pedig gonosz verbális támadás.
A kanadai kutatók megtanították a mesterséges intelligenciára, hogy különböztesse meg a durva vicceket a sértő viccektől és azt, amit a szociológusok "gyűlöletbeszédnek" hívnak.
Dana Wormsley, az AI egyik alkotója megjegyzi, hogy a "gyűlöletbeszédet" nehéz formalizálni. Valójában a formálisan sértő szavakat iróniával és enyhebb jelentéssel is lehet használni; csak néhány, az ilyen szavakat tartalmazó szöveg súlyosan felbujt és megaláz. Nem adunk példákat, mert az oroszországi internetet szabályozó kormányzati szervezetek még nem rendelkeznek mesterséges intelligenciával).
Az ideghálózatot a közösség tagjainak állításaiból vett mintákra képezték, amelyek ismertek a népesség különféle csoportjai ellenségességével kapcsolatban. A neurális hálózat a Reddit webhely üzenetéből tanulott - egy olyan platformon, ahol sokféle érdekcsoportot találhat, a polgári jogi aktivistáktól a radikális misogyistákig. A rendszerbe feltöltött szövegek leggyakrabban sértettek az afrikai amerikaiakat, a túlsúlyos embereket és a nőket.
Az ilyen módon kiképzett neurális hálózat kevesebb hamis pozitív eredményt adott, mint azok a programok, amelyek kulcsszavak alapján határozzák meg a „gyűlöletbeszédet”. A rendszert a rasszizmus fogta fel, ahol egyáltalán nem voltak mutatószavak. A jó teljesítmény ellenére az AI moderátor alkotói nem biztosak abban, hogy fejlesztéseiket széles körben alkalmazzák. Eddig sikeresen talált gyűlöletbeszédet a Redditről, de ismeretlen, hogy képes lesz-e ugyanezt tenni a Facebookon és más platformon. Ráadásul a rendszer tökéletlen, néha hiányzik a nyilvánvalóan durva rasszista kijelentésekből, amelyeket a kulcsszó keresője nem hagy ki. Az egyetlen, aki képes megkülönböztetni egy sértést az ártatlan vicctől, amíg az ember marad.