A mesterséges intelligencia szakértői, Kevin Warwick és Huma Shah komoly problémát találtak a szokásos Turing-teszt során. A teszt meghatározza, hogy a mesterséges intelligencia képes-e úgy gondolkodni, mint egy ember. A brit tudósok munkájáról szóló sajtóközlemény elérhető a TechXplore-nál. Tudományos cikk, amelyet a Journal of Experimental & Theoretical Artificial Intelligence közzétett.
A kibernetika azt találta, hogy ha a gép az ötödik módosítás (az Egyesült Államok alkotmánya) egyfajta analógjához folyamodik, azaz a teljes teszt alatt hallgat, akkor a tesztnek megfelel. Ebben az esetben a mesterséges intelligenciát, amely egyszerűen megtagadja a bíró kérdéseinek megválaszolását, gondolkodó lénynek tekintik. Azonban minden olyan primitív gép, amely nem rendelkezik intelligenciával, csendes lehet, tehát a Turing-teszt ilyen körülmények között leáll.
A mesterséges intelligencia gondolkodási képességeinek tesztelésére 1950-ben az angol matematikus és kriptográfus Alan Turing javasolta. A tudós szerint csak így lehet megtudni, hogy egy gép képes-e emberi gondolkodásra. Másik néven Imitációs játék, a teszt arra kéri az emberi bírót, hogy vakon tegyen fel írásbeli kérdéseket két alanynak: egy másik embernek és egy mesterséges intelligenciának. A kapott válaszok alapján meg kell határoznia, ki közülük ki. Ha ez nem sikerül, akkor a gépet gondolkodónak tekintik.
Warwick és Shah megvizsgálták a tényleges tesztszalagokat a Lebner versenyen, amelyben a mesterséges intelligencia nem volt hajlandó "beszélgetni" a bíróval. A bíró mindegyik esetben nem tudta meghatározni, hogy gépet vagy személyt keres-e. A tárgy lehet olyan személy, aki úgy döntött, hogy nem válaszol kérdésekre, mesterséges intelligencia, vagy olyan gép, amely egyszerűen nem képes válaszolni. A vizsgált tesztek esetében ez volt a harmadik lehetőség.
A tudósok ezt a problémát "ötödik módosításnak" nevezték az Egyesült Államok alkotmányának módosításával analóg módon, amely kimondja, hogy az embert nem szabad arra kényszeríteni, hogy maga ellen tanúskodjon.
A Lebner verseny a Turing tesztek lebonyolításának fő platformja. A csevegőbotok fejlesztőit és a virtuális beszélgetőpartnereket vonja be. A versenykritikusok megjegyezték, hogy a nyertes programokat úgy tervezték, hogy szándékosan félrevezetik a bírókat szándékosan helyesírási hibákkal és más trükkökkel.