Az MI önállóságának határa a visszafordíthatóság

Röviden

• Az MI autonómiája csak visszafordítható döntéseknél ésszerű.
• Pénz, kockázat és reputáció miatt emberi felügyelet kell.
• A vezetés küszöbökkel és eszkalációval szab kereteket.

„Az igazgatói üléseken ugyanez zajlik. Annyi különbséggel, hogy nem hívják be az IT-t.”

A megjegyzést Személyi László tette a Digit Podcastban. Ha a vezetés az adattörlést, az izolációt vagy egy rendszerleállítást puszta technikai lépésnek néz, a költség és a kockázat kiszaladhat a keretből. Erről beszélgetett Bakos Róbert, a Delta Technology Zrt. vezérigazgatója és Tóth István, rendszerintegrációs és IT-szolgáltatási igazgató. A tét ma a magyar cégeknél is kézzelfogható, pénz, idő és reputáció. A határ nem ízlés kérdése, hanem azé, hogy a döntés visszafordítható-e.

A vendégek szerint az MI önállósága ott ésszerű, ahol a hiba olcsón javítható és a megbízhatóság bizonyított. Ahol egy döntést nehéz vagy nem lehet visszacsinálni, ott emberi felügyelet és eszkaláció kell. A gép valószínűségekkel dolgozik, a következményt viszont ember viseli, hangzott el a beszélgetésben. Emiatt a határvonalnál szabályok, naplózás és előre meghatározott megállítási pontok nélkül nem indokolt autonómiát adni.

Visszafordíthatóság és felelősség

Bakos három működési modellt sorolt. Teljes autonómia akkor, ha a döntés sebessége kritikusabb a tévedésnél, és a hiba ára csekély. Emberi jóváhagyásos működés, amikor a rendszer javasol, az ember dönt. Kivételalapú működés, amikor a rendszer viszi a rutint, az ember pedig eltérésnél avatkozik be. A megbízhatósági küszöb legyen világosan meghatározott és mérhető, „például 99,9 százalék”, mondta a műsorban. Amit nem lehet gyorsan visszacsinálni, oda ember kell.

Tóth szerint az MI értéke ma nem elsősorban a „jobb döntés”, hanem a látómező bővítése. Több mintát vesz észre, hamarabb jelez, és javítja a döntéselőkészítést. A felelősséget azonban nem viselheti, ezért marad az ember a folyamatban, eszkalációval és naplózott kontrollal. A beszélgetésben elhangzott utalás szerint a szabályozás a magas kockázatú rendszereknél az emberi felügyeletet erősíti, a részletek pedig rendszertől és környezettől függenek.

Sebesség és zaj az üzemeltetésben

Az üzemeltetésben a gyors reakció versenyelőny, de nem mindegy, milyen zaj árán. Elhangzott: az álpozitív fárasztó, az álnegatív viszont láthatatlanná teszi a problémát. A „csend” veszélyesebb. Visszafordítható esetekben érhet többet a gyorsaság, nagy horderejű, visszafordíthatatlan döntéseknél a kontroll felülír mindent. Ez a gondolkodás jelenjen meg az eszkalációs rendben is, ahol rögzítik, mikor és hova emelkedik egy döntés.

A gazdasági hatás kézzelfogható. Bakos elmondta, hogy a szerződéses és a kiszámlázott munka adatai alapján rendszeresen felülvizsgálják a megállapodásokat. Ha tartós a túlteljesítés, jöhet a szerződésmódosítási javaslat. Szerinte ezt közel 2000 szerződésüknél évről évre megteszik, részben indexáláskor, részben akkor, ha jelentős eltérést látnak a vállalt és a valós munka között. Itt az adatgyűjtés ad sebességet, a végső döntés mégis vezetői felelősség marad.

Bizalom, magyarázhatóság és készségváltás

A fekete doboz élmény valós. Szabályalapú rendszereknél pontosan tudjuk, mi történik, az MI viszont tanult minták alapján dolgozik. A bizalom forrása így nem a teljes belátás, hanem a működési feltételek és korlátok ismerete. A megmagyarázhatóság (explainability) segít érteni, miért születik egy kimenet, de nem visz át felelősséget. A bizalmat a felelősségi lánc, a naplózás, a leállítási pontok és a humán felügyelet építi. Olyan rendszerre lehet bizalmat építeni, amelynek működési feltételei ismertek, és amely felett megvan a beavatkozás lehetősége.

„Egyre kevesebb a gombnyomás, és egyre több az értelmezés”, mondta Tóth. Felértékelődik a kritikus gondolkodás és a kontextus ismerete. Nem az a nehéz, hogy felismerjük, amikor jól működik a rendszer, hanem az, hogy mikor nem. A vezetésnek ezért belső szabályokban célszerű rögzíteni, mely folyamatokban használható MI, hol kötelező az ember a folyamatban, és hogyan zajlik az eszkaláció, ha az algoritmus és a szakember mást mond. Ez már vállalatirányítási kérdés, nem egyszerű beállítás.

A DIG‑IT olvasata szerint a jó közelítés az, ha az MI autonómiája a visszafordítható, olcsón javítható döntésekre korlátozódik, minden másnál emberi felügyelet és dokumentált eszkaláció szükséges. Ez helyzet-, iparág- és rendszerspecifikus, ezért a küszöbök és a leállítási pontok kijelölése legyen mérhető és átlátható, akár pilótaprojekttel (pilot) validálva. Aki így ad keretet, gyorsulhat, miközben nem engedi el a felelősséget. A beszélgetés teljes terjedelmében a Digit Podcastban hallgatható meg.

DIG-IT Podcast szerkesztőség - All rights Reserved.