„Senki sem tudja pontosan, hogyan működik a mesterséges intelligencia. Ebből még baj lehet” – írja Will Knight, az MIT Technology Review szerkesztője.

Ellentétben a programozók által betáplált algoritmusok alapján működő szoftverekkel, a gépi mélytanulás módszere során a mesterséges intelligencia saját maga hozza létre a szabályok és mintázatok felismeréséhez szükséges eljárások elveit. Nagyon leegyszerűsítve ez annyit tesz, hogy a gépek önmagukat programozzák. A módszer hatalmas előrelépést jelent a gépi kép- és nyelvfelismerésben.

Csakhogy a mesterséges intelligencia neurális hálózata olyan bonyolult, hogy pontosan nem is tudjuk megérteni, hogyan működik. Knight felidézi az Nvidia önvezető autójával kapcsolatos kísérleteket. Ellentétben a Google-lal, a Teslával és a General Motorsszal, az Nvidia mesterséges intelligenciával akarja megoldani az autók vezérlését. A tesztelés szépen halad, csakhogy a mesterséges intelligencia működése a programozók számára sem mindig érthető: mivel nem előre betáplált algoritmusok alapján dönt, nem mindig lehet tudni, hogy miért hozott meg egy-egy döntést. Vagyis a rendszer jól működik, de nem tudjuk, hogyan. Hasonló megfigyelést tettek a New York-i Mount Sinai kórház orvosai, amikor mesterséges intelligencián alapuló adatelemzést vezettek be. A szoftver minden korábbinál pontosabban állította fel a diagnózist. Sőt, az orvosok nagy meglepetésére meglepően jól képes előre jelezni bizonyos pszichiátriai betegségek kialakulásának kockázatát. De hogy minek alapján, azt az orvosok a mai napig nem tudták kideríteni.

A mesterséges intelligencia túlzott önállósága súlyos problémákat vet fel. Ha nem férünk hozzá a döntési és megismerési szabályokhoz, nehéz megérteni és megszüntetni az esetleges hibák okát. Márpedig ez nagyon fontos lenne mind az önvezető autók, mind az orvosi diagnosztika esetében. És akkor a mesterséges intelligenciára alapozott katonai alkalmazásokról még nem is beszéltünk.

Minél hasonlóbbá válik a mesterséges intelligencia az emberi elme működéséhez, annál nehezebb lesz belelátni a gépek logikájába. Ahogyan az emberi cselekvés mozgatórugói, a mesterséges intelligencia bonyolult folyamatai is egyre inkább ösztönösnek, tudat alattinak tűnnek. Mint arra Daniel Dennett elmefilozófus legújabb könyvében is felhívja a figyelmet, a fejlett mesterséges intelligencia éppoly bonyolulttá és nehezen megmagyarázhatóvá válik, mint az emberi gondolkodás és cselekvés.

Ha nem vagyunk képesek megérteni és előre jelezni a mesterséges intelligencia döntési mechanizmusait, akkor csak a bizalmi elv alapján hagyatkozhatnánk a gépekre – jegyzi meg Knight. Csakhogy pont azért szeretnénk kiváltani az embereket a gépekkel, mert azt reméljük, hogy az ő ítéleteik következetesebbek, kiszámíthatóbbak.