Tari Mihály.

Miért nem éli túl a legtöbb ágensdemó a valódi kódbázist, és mi kell ahhoz, hogy túlélje

A demóban az ágens megválaszol egy kérdést. Élesben ehhez egy gateway, egy deploy-pipeline és egy bejelentkezési szolgáltatás is kell, amelyekre előre senki nem számított, és többnyire ezeken múlik, hogy egy AI-funkció élesbe kerül-e.

Sok ágensdemót láttam már, és a legtöbbjük tényleg jól működik. AI-ágensnek azt a programot hívják, amely a válaszhoz maga fordul más rendszerekhez, például lekérdez egy adatbázist. Egy jellemző demóban van egy chatablak, néhány ilyen hívás és egy pontos válasz, amely elsőre sikerül. A demóra emlékszik mindenki, pedig ez a projekt könnyebbik része.

A nehezebb rész akkor kezdődik, amikor az ágenst be kell illeszteni egy valódi cég rendszereibe. A modell ettől nem lesz rosszabb. A különbség az, hogy a demó olyan környezetben fut, amelyet a készítője teljesen kézben tart, az éles rendszerben viszont hálózati határok, más csapatok eszközei és valódi felhasználók vannak. Alább három akadályt írok le, amelyekbe az egyik ágensprojektem ütközött, mielőtt élesbe került. Egyik akadály sem az ágensből fakadt, mégis mindhármon múlt, hogy lesz-e belőle bármi.

Az ágens nem érte el az adatot

A demóban minden egy helyen volt. Az ágens, az adat, amit lekérdezett, és a hozzáférések egyetlen gépen voltak, így mindegyik elérte a többit.

Élesben ez szétvált. Az ágens egy internetről elérhető szerveren futott, az adat viszont, amelyre szüksége volt, egy belső API mögött volt. Az API az a felület, amelyen keresztül más programok adatot kérhetnek egy rendszertől, és ez a felület szándékosan nem fogad kéréseket a publikus internetről. Ezért amikor az ágens először próbálta elvégezni azt a feladatot, amelyet a demó egyszerűnek mutatott, nem kapott vissza semmit. A modellel nem volt baj, egyszerűen nem vezetett út az adathoz.

Ezen egy jobb prompt, vagyis a modellnek adott jobb utasítás, nem segített volna. Egy API gatewayt kellett üzembe helyeznem, ami egy ellenőrzött átjáró a két hálózat között. Úgy állítottam be, hogy hitelesítse az ágens kéréseit, csak azt a néhány végpontot engedje elérni, amelyhez az ágensnek joga van, és minden mást utasítson el. Ez infrastruktúra-munka, és a demókban sosem látszik, pedig enélkül az ágens egyetlen olyan kérdésre sem tud válaszolni, amelyhez belső adat kell.

Mivel a gateway üzembe helyezése komoly munka volt, nem csak ehhez az ágenshez használtam. Regisztráltam rajta egy közös szervezetet, amelyen keresztül más csapatok is elérhetővé tehetik a saját szolgáltatásaikat, és dokumentáltam a connectort, vagyis a két hálózatot összekötő elemet. Így a következő csapatnak, amelynek ugyanezek a belső rendszerek kellenek, nem kell mindezt újra kitalálnia.

A kézi telepítés csak egyszer működik

Az első telepítés, amit a fejlesztők deploynak hívnak, kézzel ment. Ez egyszer működik, de a harmadik változtatásnál már könnyen kimarad egy lépés, rossz beállítás megy ki, vagy olyan változat kerül élesbe, amelyet senki nem tud újra előállítani. Onnantól a telepítés hibáit kell keresni a funkció építése helyett. A megoldás az, hogy a telepítés automatikusan történjen, mert egy gép minden alkalommal ugyanazokat a lépéseket végzi el, ugyanabban a sorrendben.

A cégnél erre már volt egy deploy-pipeline, vagyis egy eszköz, amely a telepítést automatikusan elvégzi, és amelyet egy másik csapat épített. Ez könnyű feladatnak látszott, mégsem az lett, mert az eszközt nehéz volt használni, és alig volt dokumentálva. Ahhoz, hogy az ágens rákerüljön, meg kellett keresnem azokat, akik építették, és tőlük kellett megtudnom, hogyan működik, mert leírva szinte semmi nem volt. A deploy automatizálásának nagy része így abból állt, hogy összegyűjtöttem ezt a tudást.

Az ilyen munka, vagyis az ágens beillesztése abba a félig dokumentált rendszerbe, amelyen a cég többi része már fut, egy demóban sosem jelenik meg. Egy valódi szervezetben mégis többnyire ezt jelenti az, hogy „tegyük élesbe az ágenst”.

A felületnek tudnia kellett, ki kérdez

Az utolsó akadály akkor jött elő, amikor egy chatkomponens bekerült egy alkalmazás felületére. Ez egy doboz a képernyőn, a projekt legdemószerűbb része. Egy valódi felület előtt azonban valódi felhasználók ülnek, ezért a mögötte lévő ágens nem válaszolhat bárkinek, aki beír valamit. Tudnia kell, ki kérdez, és hogy az illető kérdezhet-e egyáltalán.

Ehhez a chatkomponensnek azonosítania kellett magát az ágens előtt, az ágensnek pedig meg kellett bíznia ebben az azonosításban. Ehhez építettem egy kis auth-szolgáltatást, vagyis egy külön programot, amely a felhasználók azonosítását egy helyen kezeli. Újrahasználhatóra készítettem, így minden csapat, amelyik a saját felületét ugyanehhez az ágenshez köti, ezt használhatja, és nem kell saját megoldást írnia. A gatewayhez hasonlóan a modell itt sem változott, csak a körülötte lévő rendszer bővült.

Az ágens volt a könnyebbik rész

Ha a három akadályt együtt nézi, látszik, hogy egyik sem AI-munka. A gatewayt megosztottam, hogy más csapatok is használhassák, a belső deploy-pipeline működését vissza kellett fejtenem, mielőtt használni tudtam, az auth-szolgáltatás pedig újrahasználhatónak készült. Mindhárom hétköznapi full-stack rendszermunka, amely a hálózatról, a telepítésről és a felhasználók azonosításáról szól. Ezt a munkát a demó szándékosan elrejti, mert a demó dolga az, hogy megmutassa azt a 20%-ot, amely látványos, és kihagyja azt a 80%-ot, amelyen az egész nyugszik.

Ezért nem lesz semmi sok jól sikerült ágensdemóból. A demó azt bizonyítja, hogy a modell képes elvégezni a feladatot, arról viszont nem mond semmit, hogy a megoldás túléli-e a hálózati határt, a második telepítést vagy egy valódi felhasználót. Azok a funkciók kerülnek élesbe, amelyeknél valaki az ágenst egy nagyobb rendszer egyik részeként kezelte, és elvégezte azt a kevésbé látványos munkát, amellyel a helyére illesztette.

Ha Ön ilyen funkciót épít, érdemes azt nézni, mennyi mindenhez kell miatta hozzányúlni a rendszer többi részében, és kevésbé azt, milyen hibátlanul futott a demó. A demó egy feltevést igazol, és a körülötte lévő munka mutatja meg, hogy a feltevés kibírja-e az éles környezetet.

Ha pedig olyan embert keres, aki AI-funkciókat visz élesbe, akkor ez az a munka, amiért felveszi. Egy promptot könnyű lemásolni, a körülötte lévő rendszert viszont valakinek meg kell építenie. Ha úgy építi meg, hogy a következő csapat is használhassa, a rendszer egy év múlva is működni fog.

Ha van egy feladat, amit meg kell építeni vagy rendbe tenni, írja le röviden, és két munkanapon belül válaszolok.

Kapcsolat

← Összes írás