Razlika između impresivne AI demonstracije i sistema kome možete verovati u produkciji nije kvalitet modela. To su zaštitni mehanizmi.
Nikada nije bilo lakše napraviti AI demonstraciju koja oduševljava prostoriju. I dalje je teško napraviti AI na koji biste se kladili svojim poslovanjem. Razlika je gotovo u potpunosti u odgovornosti, a odgovornost je odluka o dizajnu, a ne podešavanje modela.
Jaz između demonstracije i produkcije
Demonstracije se izvode na primerima srećnog toka u kontrolisanom okruženju. Produkcija se izvodi na neurednim stvarnim podacima, graničnim slučajevima i posledicama. AI koji je u pravu 90% vremena zvuči sjajno dok ne shvatite da tih 10% uključuje uplatu koja je otišla na pogrešan račun. Zaštitne ograde su način da taj jaz zatvorite odgovorno.
Četiri zaštitne ograde koje ugrađujemo
1. Čovek u petlji
Radnje sa visokim ulogom upućuju se čoveku na pregled. AI obavlja težak posao i predlaže; čovek odobrava slučajeve koji su važni. Ovo nije neuspeh automatizacije, to je ono što uopšte čini automatizaciju bezbednom za primenu.
2. Tragovi revizije
Svaka odluka koju AI donese se beleži, ulaz, izlaz i obrazloženje su dostupni. Kada nešto izgleda pogrešno, možete tačno da ispratite šta se desilo i zašto, umesto da sležete ramenima pred crnom kutijom.
3. Evaluacija u odnosu na stvarni testni skup
Pre lansiranja merimo tačnost na reprezentativnom skupu vaših stvarnih slučajeva, a ne na utiscima iz demonstracije. Posle lansiranja nastavljamo da merimo, kako bi se opadanje kvaliteta uhvatilo rano.
4. Privatnost i granice
Vaši podaci se ne koriste za obučavanje javnih modela, pristup je kontrolisan, a dozvole AI-ja su ograničene tačno na ono što njegov posao zahteva, ništa više.
Ključni zaključci
- AI sa 90% tačnosti i dalje treba plan za onih preostalih 10%.
- Radnje sa visokim ulogom uputite čoveku; ostalo automatizujte.
- Beležite svaku odluku kako ništa ne bi bilo neobjašnjiva crna kutija.
- Merite tačnost na stvarnim slučajevima pre i posle lansiranja.
Odgovornost je funkcija, a ne porez
Timovi ponekad tretiraju zaštitne ograde kao trenje koje usporava AI. U stvarnosti, one su ono što vam uopšte omogućava da se krećete brzo, jer možete da primenjujete sa pouzdanjem, bezbedno proširujete obim i na neizbežno pitanje „kako znamo da je tačno?“ odgovorite dokazima. To je temelj na kojem je izgrađen svaki AI projekat koji isporučujemo.
