Miks AI-tooted ebaõnnestuvad, kui treeningandmed ei vasta tegelikule maailmale

Sissejuhatus

Kui ma esimest korda nägin, kuidas AI-toode pärast paljulubavat turuletoomist kokku varises, ei olnud probleemiks kasutajaliides, infrastruktuur ega isegi mudel ise. Süsteem oli sisemiste testide käigus hästi toiminud. Näitajad olid head, demod avaldasid sidusrühmadele muljet ja turuletoomine kulges kindlalt. Siis hakkasid reaalsed kasutajad sellega kontrollimata keskkondades suhtlema ja peaaegu kohe ilmusid esimesed praod. See kogemus muutis minu arusaama AI arendamisest. Täna, kui meeskonnad hakkavad arutama sünteetilisi andmeid arvutinägemise jaoks, näen ma seda tavaliselt vähem eksperimentaalse tehnoloogiana ja rohkem vastusena palju sügavamale probleemile: enamik AI-süsteeme on treenitud maailmades, mis on palju puhtamad ja kitsamad kui reaalsus.

Tehisintellekti süsteemid pärivad oma koolituskeskkondade piirangud

Üks suurimaid väärarusaamu tehisintellekti kohta on uskumus, et mudelid muutuvad intelligentseteks laiemas, inimlikus mõttes. Praktikas sõltuvad enamik süsteeme suuresti keskkondadest, millest nad õpivad.

Kui mudelit treenitakse peamiselt puhtatel näidetel, õpib see ootama puhtaid sisendandmeid. Kui mudel puutub harva kokku mitmetähenduslikkusega, on tal hiljem sellega raskusi. Kui treeningu ajal puuduvad olulised ääreolukorrad, ei ole mudelil mõistlikku võrdluspunkti, kui need olukorrad tootmises esile kerkivad.

Sellepärast näevad paljud AI-tooted kontrollitud demonstratsioonidel muljetavaldavad välja, kuid käituvad pärast kasutuselevõttu ebajärjekindlalt. Probleem ei ole alati selles, et mudel on nõrk. Sageli tegutseb süsteem lihtsalt väljaspool piire, mille tõlgendamiseks see ette valmistati.

Reaalsed tingimused on raskemad, kui meeskonnad ootavad

Toote varajane testimine toimub tavaliselt soodsates tingimustes.

Pildid on suhteliselt selged. Kasutajate käitumine on mõnevõrra ettearvatav. Stsenaariumid on teadlikult koostatud. Andmevoogud on veel piisavalt väikesed, et neid hoolikalt hallata.

Tegelikud keskkonnad on teistsugused. Valgustingimused muutuvad. Seadmed käituvad ebajärjekindlalt. Sisendid muutuvad müraisemaks. Inimeste käitumine muutub vähem struktureerituks. Haruldased tingimused esinevad oodatust sagedamini. Muutujad mõjutavad üksteist kombinatsioonides, mida keegi otseselt testinud ei ole.

See lõhe kontrollitud testimise ja tegeliku töökeskkondade vahel on koht, kus paljud AI-süsteemid hakkavad ebaõnnestuma.

See probleem on eriti märgatav arvutinägemise toodete puhul, kuna visuaalsed keskkonnad on oma olemuselt ebastabiilsed. Väikesed muutused, mida inimesed vaevu märkavad, võivad radikaalselt mõjutada mudeli usaldusväärsust ja ennustuste kvaliteeti.

Rohkem andmeid ei lahenda probleemi automaatselt

Kui ilmnevad jõudlusprobleemid, on tavaline reaktsioon tavaliselt lihtne: koguda rohkem andmeid.

Esmapilgul tundub see mõistlik. Rohkem näiteid peaks õppimist parandama. Kuid praktikas laienevad reaalmaailma andmekogud sageli ebaühtlaselt. Meeskonnad koguvad rohkem seda, mida on lihtne jäädvustada, jättes samas kõrvale olulisimad tingimused.

Tulemuseks on mastaap ilma sisuka katvuseta.

Tehisintellekti süsteem võib töödelda miljoneid näiteid ja ikkagi ebaõnnestuda teatud keskkonnatingimustes, kuna need tingimused on endiselt alaesindatud. Organisatsioon tõlgendab seda modelleerimisprobleemina, kuigi tegelikult on tegemist andmekeskkonna probleemiga.

See on üks põhjus, miks paljud tehisintellekti algatused jõuavad ummikseisu. Lisapingutused toovad kaasa väiksemaid parandusi, sest süsteem õpib maailmast, mis jääb struktuuriliselt puudulikuks.

Demo versioonid hindavad viimistletust, tootmine aga vastupidavust

Üks põhjus, miks see probleem püsib, on see, et demod ja tegelikud rakendused on optimeeritud erinevate asjade jaoks.

Demo versioonid hindavad sujuvust. Meeskonnad näitavad loomulikult keskkondi, kus süsteem toimib hästi. Eesmärk on usaldus ja hoog.

Tootmiskeskkonnad hindavad vastupidavust. Süsteemid peavad käituma ettearvatavalt isegi siis, kui tingimused halvenevad, kasutajad käituvad ootamatult või sisendid muutuvad ebajärjekindlaks.

Viimistletud demo võib varjata hapraid eeldusi andmete kohta, millest süsteem sõltub. Need eeldused jäävad sageli nähtamatuks, kuni mastaap toob kaasa muutlikkuse, mis ei olnud kunagi osa koolitusest.

Sellepärast tunnevad organisatsioonid end mõnikord pärast turule toomist ootamatult tabatuna. Nende vaatenurgast „töötas” toode enne kasutuselevõttu. Tegelikkuses töötas see hoolikalt piiratud keskkonnas.

Tehisintellekti tooted riknevad järk-järgult, enne kui rike silmaga nähtavaks muutub

Üks huvitavamaid asju AI usaldusväärsuse probleemide juures on see, et need ilmnevad sageli aeglaselt.

Esialgu märkavad kasutajad aeg-ajalt ebajärjekindlust. Meeskonnad võtavad kasutusele käsitsi kontrollimise etapid. Usaldusväärsuse künniseid kohandatakse. Äärmuslikud juhtumid suunatakse inimestele.

Aja jooksul kasvab varjatud operatiivne hõõrdumine. Töötajad lakkavad automaatsust täielikult usaldamast. Kliendid kogevad ettearvamatuid olukordi. Tugimeeskonnad kulutavad rohkem aega erandite käsitlemisele.

Toode toimib tehniliselt endiselt, kuid sellega seotud operatiivne koormus suureneb pidevalt.

Selline järkjärguline usalduse kadumine on palju levinum kui katastroofiline rike ning selle põhjuseks on tavaliselt sama alusprobleem: süsteem ei ole kunagi õppinud piisavalt representatiivsest keskkonnast.

Miks sünteetilised keskkonnad muutuvad üha olulisemaks

Siin muutuvad sünteetilised andmed strateegiliselt kasulikuks.

Ma ei näe sünteetilisi keskkondi reaalsuse asendajatena. Ma näen neid vahenditena, mis laiendavad seda, mida reaalsus üksi pakkuda ei suuda. Meeskonnad saavad kasutusele võtta kontrollitud variatsioone, simuleerida haruldasi tingimusi ja testida äärejuhtumeid tahtlikult, selle asemel et oodata, kuni need loomulikul teel ilmnevad.

See muudab arendusprotsessi oluliselt.

Selle asemel, et tugineda täielikult passiivse andmekogumise peale, saavad organisatsioonid aktiivselt kujundada tingimusi, milles AI-süsteemid õpivad. Nad saavad struktureeritud viisil uurida valgustuse variatsioone, keskkonnamüra, objektidevahelisi interaktsioone ja ebatavalisi stsenaariume.

Väärtus ei seisne ainult kunstlikus realismis. Väärtus seisneb kontrollitud katvuses.

Usaldusväärsus sõltub tahtlikust variatsioonist

Tugevad AI-süsteemid ei ole lihtsalt treenitud suurte andmehulkade põhjal. Nad on treenitud tähendusrikaste variatsioonide põhjal.

See erinevus on oluline, sest reaalmaailma keskkondades on palju peeneid erinevusi. Kaameranurgad muutuvad. Ilm mõjutab nähtavust. Kasutajate käitumine areneb. Riistvara kvaliteet varieerub.

Kui need variatsioonid puuduvad koolituse ajal, muutub rakendamine ettearvamatuks.

Sünteetilised keskkonnad võimaldavad meeskondadel neid erinevusi teadlikult modelleerida. Selle asemel, et loota, et olulised tingimused ilmnevad kogutud andmetes loomulikult, saavad nad neid süstemaatiliselt lisada ja hinnata, kuidas süsteem käitub.

See muudab töökindluse mõõdetavaks, mitte juhuslikuks.

Tehisintellekti arendamine on muutumas infrastruktuuri distsipliiniks

Kogu tööstuses toimub laiem muutus.

Varases AI arenduses keskenduti tugevalt mudeli arhitektuurile ja eksperimenteerimisele. Üha enam on keerulised probleemid seotud infrastruktuuriga. Andmete kvaliteet, reprodutseeritavus, keskkonna kontroll ja valideerimise protsessid mõjutavad tulemusi nüüd sama palju kui algoritmide valik.

Organisatsioonid hakkavad mõistma, et AI-süsteemid ei ole lihtsalt tarkvaratooted. Need on õppivad süsteemid, mille usaldusväärsus sõltub keskkondadest, mida nad koolituse ajal kogevad.

See arusaam muudab seda, kuidas meeskonnad andmestrateegiat käsitlevad.

Koolituskeskkondi ei käsitleta enam ajutiste varadena, vaid operatiivse infrastruktuurina.

Reprodutseeritavus on olulisem, kui enamik meeskondi arvab

Üks põhjus, miks kontrollitud keskkonnad on olulised, on reprodutseeritavus.

Kui tulemuslikkus muutub ootamatult, peavad meeskonnad mõistma, miks. See muutub äärmiselt raskeks, kui andmekogumid arenevad kontrollimatult või keskkonna muutused on halvasti dokumenteeritud.

Sünteetilised keskkonnad muudavad kontrollitud eksperimenteerimise lihtsamaks. Tingimusi saab taastada, parameetreid kohandada ja süsteemi käitumist võrrelda korratavates stsenaariumites.

See vähendab oletuste tegemist ja võimaldab meeskondadel nõrkusi süstemaatilisemalt diagnoosida.

Suuremahuliste AI-toodete puhul muutub selline operatiivne selgus üha väärtuslikumaks.

Miks kasutajate usaldust on raske taastada

Võib-olla on ebausaldusväärsete AI-süsteemide suurimaks väljakutseks see, et usaldus on habras.

Kasutajad võivad taluda traditsioonilise tarkvara aeg-ajalt esinevaid vigu, sest loogika tundub arusaadav. AI-vead tunduvad sageli ebajärjekindlad ja raskesti ennustatavad. See ettearvamatus muudab seda, kuidas inimesed tootega suhtlevad.

Kui kasutajad hakkavad ootama ebausaldusväärset käitumist, aeglustub toote kasutuselevõtt. Käsitsi kontrollimine suureneb. Usaldus väheneb isegi siis, kui süsteem hiljem paraneb.

Seetõttu on tugevad koolituskeskkondad nii olulised. Usaldusväärsus ei ole pelgalt tehniline näitaja. See kujundab seda, kuidas inimesed emotsionaalselt tootega suhtlevad.

Järgmise põlvkonna AI-tooted

Järgmise põlvkonna edukad AI-tooted erinevad tõenäoliselt paljudest varasematest süsteemidest.

Need ei tugine lihtsalt suurematele mudelitele või suuremale arvutusvõimsusele. Need sõltuvad paremini kontrollitud õpikeskkondadest, tugevamatest valideerimisstrateegiatest ja läbimõeldumatest lähenemisviisidest variatsioonide ja äärejuhtumite katmisele.

Organisatsioonid, kes seda mõistavad, on juba oma prioriteete muutmas. Nad investeerivad rohkem andmeinfrastruktuuri, simulatsioonipipeliinidesse ja kontrollitud testimiskeskkondadesse, sest nad mõistavad, et mudeli kvaliteedist üksi ei piisa.

Lõppmõte

Enamik AI-tooteid ei ebaõnnestu sellepärast, et tehnoloogia oleks ebapiisav. Need ebaõnnestuvad, kuna nende koolitamiseks kasutatavad keskkonnad on liiga kitsad võrreldes keskkondadega, millega nad lõpuks kokku puutuvad.

Kui see ebakõla ilmneb, muutuvad töövood ebastabiilseks, kasutajate usaldus kahaneb ja tegevuskulud tõusevad vaikselt taustal.

Organisatsioonid, kes ehitavad usaldusväärsemaid süsteeme, on tavaliselt need, kes on valmis suhtuma koolituskeskkondadesse sama tõsiselt kui koodi, infrastruktuuri ja kasutuselevõtu protsessidesse.

See muutus ei pruugi olla nii nähtav kui uue mudeli väljalase, kuid praktikas on see sageli see, mis määrab, kas AI-toode jääb muljetavaldavaks ainult demo-versioonides või töötab usaldusväärselt ka päris maailmas.