- Mākslīgā intelekta ietvari nodrošina nepieciešamo infrastruktūru, tostarp smilškastes un noturīgu stāvokli, kas pārveido neapstrādātus tiesību zinātnes (LLM) par funkcionāliem aģentiem.
- Dževs ievieš System One lēmumu modeli, kas piedāvā ātrdarbīgu un lētu alternatīvu tradicionālajām tiesību zinātņu metodēm (LLM) strukturētai klasifikācijai.
- Jev integrācija ar LangChain un LangGraph ļauj izstrādātājiem veidot “produkta, nevis dieva” sistēmas, atdalot spriešanu no lēmumu pieņemšanas.
Kad mēs runājam par mākslīgā intelekta aģentiem, lielākā daļa cilvēku koncentrējas uz smadzenēm — lielo valodu modeli. Taču lieta tāda: modelis pats par sevi ir tikai iedomāts teksta prognozētājs. Lai reālajā pasaulē paveiktu lietas, jums ir nepieciešama tā sauktā iejūgs . Iedomājieties iejūgu kā ķermeni un rīkus, kas ļauj smadzenēm mijiedarboties ar pasauli, pārvaldot visu, sākot no atmiņas līdz pat koda faktiskai izpildei.
Nesen situācija ir mainījusies, pateicoties Dževa ierašanās brīdim no TypeSafe AI . Tā vietā, lai katru sīko lēmumu uztvertu kā filozofisku debati, kam nepieciešama apjomīga tiesību zinātņu maģistra (LLM) izglītība, Dževs tiek galā ar strukturētām, ātrām izvēlēm. Apvienojot to ar LangChain un LangGraph , izstrādātāji beidzot var pāriet no dārgām, lēnām arhitektūrām uz kaut ko vienkāršu, efektīvu un ražošanai gatavu.
Aģenta instalācijas arhitektūras izpratne
Ja jūs neesat tas, kurš apmāca modeli, jūs būtībā esat inženieris ar iejūgu. Iejūgs ir viss koda, konfigurācijas un loģikas kopums , kas aptver modeli. Tas pārvērš neapstrādātu tiesību zinātnes materiālu (LLM) par darba dzinēju, nodrošinot stāvokli, piekļuvi rīkiem un stingrus ierobežojumus. Bez šī slāņa modelis nevar atcerēties, ko tas darīja pirms divām minūtēm, vai faktiski noklikšķināt uz pogas tīmekļa vietnē.
Viens no svarīgākajiem datu apvienojuma elementiem ir failu sistēma . Piešķirot aģentam darba telpu, tas var noņemt datus, kas neietilpst konteksta logā, un saglabāt noturīgu stāvokli dažādās sesijās. Tas novērš bieži sastopamo "konteksta sabrukšanas" problēmu, kad aģents zaudē izpratni par sižetu, sarunai kļūstot pārāk garai. Uzlaboti datu apvienojumi izmanto saspiešanu un rīku izsaukumu noņemšanu , lai saglabātu visatbilstošāko informāciju priekšplānā, bet pārējo saglabājot diskā.
Lai aģenti būtu patiesi autonomi, ieviešanas rīki bieži ietver bash rīku un drošas smilškastes . Tā vietā, lai iekodētu visus iespējamos rīkus, aģentam tiek piešķirts termināls. Tas ļauj tam rakstīt savus skriptus, lai risinātu problēmas acumirklī. Tomēr aģenta ģenerēta koda palaišana ir riskanta, tāpēc izolētas izpildes vides nav apspriežamas nevienā ražošanas līmeņa sistēmā.
Iepazīstieties ar Dževu: Sistēmas vienas lēmumu modelis
Lielākā daļa izstrādātāju ir izmantojuši robežas līmeņa tiesību zinātnes visam, kas ir līdzīgi kā ar superauto braukt desmit pēdas līdz pastkastītei. Tā ir pārspīlēta prakse. Dževs to maina, darbojoties kā Pirmās sistēmas modelis . Tas neģenerē tekstu; tas pieņem drukātus lēmumus . Neatkarīgi no tā, vai tā ir atbilde “jā”/“nē”, izvēle no saraksta vai skaitlisks vērtējums, Dževs sniedz atbildes ar saistītām varbūtībām.
Veiktspējas lēciens patiesībā ir milzīgs. Mēs runājam par secinājumu ātrumu līdz pat 200 reizēm un izmaksām, kas ir 400 reizes zemākas nekā tradicionālajiem tiesību maģistriem (LLM) klasifikācijai. Tā kā Dževs var vienlaikus novērtēt vairākus jautājumus vienam un tam pašam štata elementam, tas ir ideāli piemērots triāžas uzdevumiem, piemēram, lai izlemtu, vai klientu atbalsta pieprasījums ir steidzams, vai identificētu personu apliecinošu informāciju juridiskā dokumentā.
Jev ieviešana LangChain ekosistēmā
Jev integrēšana LangChain ir vienkārša, izmantojot TypeSafeClassifier . Tērzēšanas atbildes vietā jūs saņemat strukturētu klasifikāciju. Tas ļauj jums izveidot lēmumu slāni , kas atrodas jūsu galvenā aģenta priekšā. Piemēram, jūs varat ieviest pieprasījumu maršrutētāju , kas analizē vaicājumu un nosūta vienkāršus uzdevumus lētam modelim, piemēram, GPT-4o-mini, un sarežģītas arhitektūras uzdevumus jaudīgam modelim, piemēram, GPT-4o.
Vēl viens lielisks lietošanas gadījums ir Tool Gate . Pirms aģents izpilda potenciāli bīstamu komandu, piemēram, dzēš datubāzi, drošības jostas var izmantot Jev, lai novērtētu riska līmeni . Ja risks ir pārāk augsts, drošības jostas var bloķēt zvanu vai aktivizēt cilvēka iesaistes eskalāciju. Tas rada drošības tīklu, kas ir daudz uzticamāks nekā vienkārši lūgt LLM “būt uzmanīgam” sistēmas uzvednē.
Orķestrēšana ar LangGraph un intelekta atdalīšana
Kamēr Dževs pieņem lēmumus, LangGraph nodrošina orķestrēšanu . Tas ļauj definēt aģenta plūsmu kā mezglu un šķautņu grafu. Tas nozīmē, ka spriedums nāk no modeļa, bet plūsma paliek kodā , padarot sistēmu novērojamu un testējamu. Varat izmantot kontrolpunktus , lai nodrošinātu, ka procesa kļūmes gadījumā tas var atsākties tieši tur, kur tas tika pārtraukts, netērējot žetonus.
Šīs pārmaiņas eksperti sauc par Lielo intelekta atdalīšanu . Tā vietā, lai viens milzīgs modelis darītu visu, mēs virzāmies uz modeli, kas ir “lēts pēc noklusējuma, robeža pēc izņēmumiem”. Pārlūkprogrammas automatizācijas scenārijā Dževs var ātri izvēlēties, uz kura elementa noklikšķināt; ja ticamības rādītājs nokrītas zem noteikta sliekšņa (piemēram, 0.7), sistēma automātiski nodod uzdevumu spējīgākam intelekta menedžerim padziļinātai spriešanai.
Sinerģija starp stabilu iejūgu, ātru lēmumu modeli, piemēram, Jev, un strukturētu izpildlaiku, piemēram, LangGraph, nodrošina ilgtermiņa autonomiju . Izmantojot tādus modeļus kā Ralph Loop, kas atkārtoti ievieto sākotnējās uzvednes tīros konteksta logos, aģenti var viegli paveikt sarežģītus, daudzpakāpju projektus, nezaudējot saskaņotību. Galīgais mērķis ir sistēma, kurā modelis nodrošina intelektu, un iejūgs padara šo intelektu noderīgu un drošu reālai izvietošanai.
