A Zseni, a Tanító és a Rabszolga

Egy gépi tanulási modell háromféle szerepet tölthet be egy cégnél. A Zseni dönt helyettünk, mert olyan mintázatot lát, amit ember nem. A Tanító megértet velünk valamit, a döntés viszont marad emberi kézben. A Rabszolga azt végzi el, amit mi is tudnánk, csak túl sokszor kellene. A szerep dönti el, mit mérünk a modellen, és mennyibe kerül a tanítása.

Ez a felosztás más síkon mozog, mint a data science projektek négy típusa. Ott az a kérdés, milyen üzleti kérdésre válaszolunk, itt pedig az, hogy a válasszal mit kezd a modell és mit az ember. A kettő együtt adja ki, hogyan érdemes egy projektet felépíteni.

A három szerep egy táblázatban

A Zseni: a modell dönt, mi az eredményt nézzük

Ebben a szerepben a modell címkézett tanítóadatot kap, magyarázatot viszont nem. Azt várjuk tőle, hogy maga fedezze fel a mintázatot, és az új esetekre is megadja a helyes címkét.

Klasszikus példa a lemorzsolódás előrejelzése. Egy jól betanított modellnél az ember tipikusan nem tud jobb tippet adni arra, melyik ügyfél fog elpártolni, mert a döntés több tucat gyenge jel együttállásán múlik. Hasonló a helyzet az energiakereskedésben, ahol a termelési és fogyasztási előrejelzésre épül az előrejelzésre automatikusan kereskedő rendszer.

A Zseni szerep akkor vállalható, ha a hibának van ára, de az ár kezelhető, és ha az eredmény gyorsan visszamérhető. Ha egyetlen rossz döntés súlyos következménnyel jár, vagy ha az eredmény csak hónapok múlva derül ki, érdemes inkább a Tanító szerepnél maradni.

A Tanító: a modell megért valamit helyettünk

Itt is mintázatot keresünk, de a besorolás kontrollját nem adjuk ki a kezünkből, mert túl sok múlik rajta. A modell kimenete nem a döntés, hanem a felismerés, amire aztán emberi szabály épül.

Tipikus példa a hitelbírálat. A pontrendszert emberek alakítják ki, de az összefüggéseket, amelyekre épül, a modell tárja fel. Ennek a szerepnek az is sajátja, hogy a döntés helyessége csak később derül ki, ezért a modellt nem lehet folyamatosan az eredményhez igazítani.

Ugyanez a logika működik akkor is, amikor egy folyamatról akarjuk megtudni, mi mozgatja valójában. Egy logisztikai pilot projektben például az volt a kérdés, hogy a fogyasztásból és a késésből melyik tényező mennyit magyaráz. Az eredmény nem egy automata döntés lett, hanem egy tervezési szempont, ami beépült a mindennapi működésbe.

A Tanító szerepnél a magyarázhatóság nem kényelmi kérdés, hanem a termék maga. Ha a modell nem tudja megmutatni, mire alapoz, az eredménye használhatatlan.

A Rabszolga: a modell azt csinálja, amit te is tudnál

A harmadik esetben pontosan tudjuk, mi a feladat, és bármelyik kollégánk el tudná végezni. Csak éppen nincs annyi ember és annyi óra, amennyi kellene hozzá.

Az eredeti példa a hangulatelemzés: bárki meg tudja mondani egy bejegyzésről, hogy pozitív vagy negatív, de több tízezret senki nem fog végigolvasni. A modell itt nem okosabb az embernél, hanem kitartóbb. Ugyanide tartozik a dokumentumok besorolása, a beérkező üzenetek irányítása vagy a képek előszűrése.

Rokon eset, amikor nem is modell kell, csak automatizálás: egy médiaügynökségnél a havi, kézzel összeállított riportok helyét vette át egy dashboardrendszer, vagyis megtörtént a kézi riportálás kiváltása. Érdemes ezt tisztázni a projekt elején: ha a feladat szabállyal leírható, akkor olcsóbb és stabilabb megoldás a szabály, mint a modell.

Mennyibe kerül a tanítás?

A szerepválasztásnak közvetlen költségvonzata van, mert eldönti, mennyi emberi munkára van szükség a tanításhoz.

• Ki címkéz? A Rabszolga szerepnél a modellnek pont azt kell megtanulnia, amit az ember tud, tehát valakinek kézzel meg kell mutatnia. Ez a valaki gyakran drága szakértő, például orvosi adatoknál.
• Mennyi adatot címkéztessünk fel? Ez az egyik legnehezebb tervezési kérdés. Túl kevés címkével a modell használhatatlan, túl sokkal a projekt költsége szalad el.
• Lehet okosabban is? Igen, aktív tanulással: a modell maga jelzi, mely eseteknél bizonytalan, és csak azokat adjuk oda a szakértőnek. Így a címkézési költség töredékéből is elérhető a kívánt pontosság.

A Zseni és a Tanító szerepnél más a kérdés: ott többnyire létezik a tanításhoz használható múltbeli kimenet, például az, hogy az ügyfél végül elpártolt-e. Ha ilyen nincs, a projekt első fázisa nem a modellezés, hanem az, hogy legyen mérhető kimenet.

Hogyan válassz szerepet?

Négy kérdés általában elég a döntéshez.

1. Mekkora a tét egy hibás döntésen? Ha nagy, a modell inkább Tanító legyen.
2. Kell indoklás a kimenet mellé? Ha egy döntést meg kell magyarázni az ügyfélnek, a hatóságnak vagy a saját kollégáknak, a magyarázhatóság nem opcionális.
3. Van olyan ember, aki ma is elvégzi ezt a feladatot? Ha igen, jó eséllyel Rabszolga szerepről van szó, és a kérdés a címkézés megszervezése.
4. Mérhető, hogy jó döntés született? Ha a visszacsatolás gyors, a Zseni szerep vállalható. Ha lassú, maradjon emberi kézben a döntés.

Nálunk ez a négy kérdés a use-case kidolgozása során kerül elő, még a fejlesztés megkezdése előtt. Sok projekt azért csúszik félre, mert a szerepről nem született döntés, és menet közben derül ki, hogy a megrendelő magyarázatot várt volna, a modell viszont csak egy számot ad.

Gyakori kérdések

Mi a különbség a Zseni és a Rabszolga között, ha mindkettő automatizál? A Zseni olyan döntést hoz, amit ember nem tudna meghozni, a Rabszolga olyat, amit tudna, csak nincs rá kapacitás. Ebből következik a mérce is: az elsőnél a pontosság, a másodiknál a kapacitás és a hibaarány.

Melyik szerephez kell magyarázható modell? Elsősorban a Tanítóhoz, mert ott a feltárt összefüggés maga az eredmény. A Zseni szerepnél is jól jön a magyarázhatóság, ott viszont inkább a bizalom és az ellenőrizhetőség miatt.

Mennyi címkézett adat kell? Ez a feladat nehézségétől függ, ezért a legjobb módszer a fokozatos építkezés: kevés címkével kezdünk, mérjük a pontosságot, és aktív tanulással csak ott címkézünk tovább, ahol a modell bizonytalan.

Melyik szerep a legjobb kezdés egy cégnél? Gyakran a Tanító, mert ott az ember kezében marad a kontroll, az eredmény pedig azonnal hasznos, még akkor is, ha a modell később nem kerül éles üzembe.