Integrácia AI

Pridať jazykový model do produktu je úloha integrácie, nie výskumný projekt. Model je vzdialená služba: pomalá, občas nedostupná a účtovaná za tokeny. Ak sa k nej správate ako k platobnej bráne, správa sa predvídateľne.

Začíname úlohou s merateľným výsledkom: zhrnúť prichádzajúce požiadavky, vytiahnuť polia zo správ a dokumentov, pripraviť popisy do katalógu, odpovedať na otázky podpory z vašej znalostnej bázy, preložiť obsah do jazykov webu. Každá z nich sa dá nasadiť za pár dní a posúdiť podľa výsledku.

Ako to staviame:
— API kľúč zostáva na serveri, nikdy nie v prehliadači a nikdy v repozitári;
— volanie beží vo fronte, aby nikto nečakal na stránku desať sekúnd;
— timeouty, opakovania a cache, aby pomalá či opakovaná požiadavka nestála navyše;
— tvrdé limity na tokeny aj na to, koľko toho vyvolá jeden používateľ;
— logovanie spotreby a ceny, aby faktúra nikdy nebola prekvapením;
— štruktúrovaný výstup overovaný vaším kódom — odpoveď modelu je používateľský vstup, nie pravda.

A to, čo väčšinou chýba: plán pre prípad, že sa model pomýli. Vygenerovaný text prichádza ako koncept, ktorý schvaľuje človek, originál zostáva vedľa neho a pri nedostupnom API sa všetko vráti k pôvodnému správaniu. Integrácia, ktorú sa nedá vypnúť, raz stiahne produkt so sebou.