Integracija umjetne inteligencije

Dodati jezični model u proizvod zadatak je integracije, a ne istraživački projekt. Model je udaljena usluga: spora, povremeno nedostupna i naplaćena po tokenima. Ako se prema njoj odnosite kao prema platnom pristupniku, ponaša se predvidljivo.

Počinjemo zadatkom čiji se ishod da izmjeriti: sažeti dolazne upite, izvući polja iz poruka i dokumenata, pripremiti opise za katalog, odgovoriti na pitanja podrške iz vaše baze znanja, prevesti sadržaj na jezike stranice. Svaki se od njih može isporučiti u nekoliko dana i ocijeniti po rezultatu.

Kako to gradimo:
— API ključ ostaje na serveru, nikad u pregledniku i nikad u repozitoriju;
— poziv ide kroz red, da nitko ne čeka stranicu deset sekundi;
— timeouti, ponavljanja i predmemorija, da spor ili ponovljen zahtjev ne stoji ništa dodatno;
— čvrsta ograničenja na tokene i na to koliko ih jedan korisnik može potrošiti;
— bilježenje potrošnje i cijene, da račun nikad ne bude iznenađenje;
— strukturiran izlaz koji provjerava vaš kod — odgovor modela je korisnički unos, a ne istina.

I ono što obično nedostaje: plan za slučaj kad model pogriješi. Generirani tekst dolazi kao nacrt koji odobrava čovjek, izvornik ostaje uz njega, a kad je API nedostupan sve se vraća na prijašnje ponašanje. Integracija koja se ne može isključiti jednom će povući proizvod sa sobom.