- Daudzslāņu novērtēšanas vārtu ieviešana, kas apvieno deterministiskas pārbaudes, LLM vērtētājus un cilvēku veiktu pārskatīšanu, lai novērstu kvalitātes novirzes.
- Nedeterministiskas dispersijas mazināšana, izmantojot N-skrējienu vidējošanu un vārtēšanu, izmantojot regresijas deltas, nevis absolūtos sliekšņus.
- Cauruļvadu strukturēšana ar divu ātrumu pieeju, kur ātrās pārbaudes tiek veiktas katrā izmaiņu veikšanas reizē, bet pilnas pārbaudes tiek veiktas apvienošanas un nakts ciklu laikā.
- Izmantojot virzīta acikliska grafika (DAG) metrikas, lai pārveidotu sarežģītus, subjektīvus kritērijus strukturētos, deterministiskos lēmumu kokos.
Iegūt LLM darbību demonstrācijas vidē ir nieks, bet tā stabilitātes nodrošināšana ražošanas vidē rada sarežģījumus. Lielākā daļa komandu iekrīt "uz noskaņojumu balstītas inženierijas" slazdā, kur tās pielāgo uzvedni, palaiž to vairākas reizes un pieņem, ka tā ir labāka, jo rezultāts izskatās labi. Tomēr LLM ir pazīstama ar savu nepastāvību , un paļaušanās uz dažām manuālām pārbaudēm ir katastrofas recepte, ja jūs strādājat ar tūkstošiem lietotāju.
Lai patiesi atmestu minējumus, jums ir jāuztver mākslīgā intelekta novērtējumi kā pirmās klases CI/CD infrastruktūras pilsoņi. Tas nozīmē atteikties no vienkāršas virkņu salīdzināšanas un pāriet uz daudzslāņainiem novērtēšanas vārtiem , kas faktiski var pamanīt novirzes un regresijas, pirms tās nonāk ražošanas vidē. Runa ir par māņticīga procesa pārvēršanu stingrā, zinātniskā kontroles sistēmā, kas nodrošina, ka jūsu modelis nedarbojas tikai vienreiz, bet gan laika gaitā saglabā uzticamību.
CI/CD novērtēšanas vārtu arhitektūra
Pareizi novērtēšanas vārti nav tikai viens skripts; tas ir versiju kontrolpunkts, kas izlemj, vai izmaiņas uzvednē, modelī vai datu kopā ir drošas reklamēšanai. Atšķirībā no tradicionālajiem binārajiem vienības testiem (sekmīgi vai nesekmīgi), LLM izejas dati ir sadalījumi . Tas nozīmē, ka viena un tā pati ievade var dot atšķirīgus rezultātus dažādās palaišanas reizēs, padarot vārtu darbu daudz grūtāku. Lai ar to tiktu galā, sistēmai jābūt slāņotai, sākot ar deterministiskām pārbaudēm (piemēram, shēmas validāciju vai regulāro izteiksmi), kam seko pārvaldīts LLM vērtētājs un visbeidzot ar izlases veida cilvēka pārskatīšanu.
Lai šī sistēma būtu uzticama, ir jāpiesprauž katrs mainīgais. Nevar vienkārši pateikt “GPT-4”; jums ir nepieciešams precīzs modeļa kontrolpunkts, temperatūra un sākumvērtība . Tas pats attiecas uz jūsu pamatpatiesības datu kopām un vērtētāju izmantotajām rubrikām. Kļūmes gadījumā jums vajadzētu būt iespējai atjaunot precīzu vidi, lai saprastu, kāpēc modelis regresēja. Versiju veidoti artefakti ir vienīgais veids, kā nodrošināt, ka “izturēts” šodien nozīmē to pašu, ko “izturēts” nākamajā mēnesī.
Četru cilpu cauruļvada ieviešana
Pilna novērtēšanas komplekta palaišana katrā atsevišķā izmaiņu reizē ir lielisks veids, kā iztērēt API budžetu un radīt izstrādētāju neapmierinātību ar lēnu būvēšanas laiku. Tā vietā divu ātrumu cauruļvads ir daudz efektīvāks. Pirmais cikls notiek pieprasījuma izvilkšanas posmā, koncentrējoties uz “robežšķērsgriezumu” — nelielu, stingru datu apakškopu, kas paredzēta zināmu kļūmju režīmu aktivizēšanai. Tas nodrošina, ka latentums nepārsniedz trīs minūtes , nodrošinot, ka inženieri neapiet testus.
Otrais cikls tiek aktivizēts, apvienojoties ar galveno atzaru. Šeit notiek pilnīga pamatpatiesības pārbaude, pārbaudot katru rubrikas dimensiju. Treškārt, “canary” izvietošana novirza nelielu daļu no tiešraides datplūsmas uz jauno versiju, novērtējot to reāllaikā. Visbeidzot, nepārtraukts ražošanas cikls uzrauga kluso novirzi , konstatējot problēmas, ko rada augšupējā avota pakalpojumu sniedzēja izmaiņas vai lietotāju uzvedības izmaiņas, kuras jūsu statiskās datu kopas, iespējams, nav palaidušas garām.
Trokšņa problēmas risināšana ar N-skrējienu vidējošanu
Viens no lielākajiem CI uzticības slāpētājiem ir "nestabila pārbaude". Ja izstrādātājs atkārtoti palaiž neveiksmīgu novērtēšanu un tā pēkšņi ir veiksmīga, viņš sāks visas sarkanās pārbaudes uzskatīt par troksni. Tas notiek tāpēc, ka gan LLM, gan tiesnesis nav deterministiski. Risinājums ir pārtraukt vērtēšanu pēc absolūtiem sliekšņiem . Stingras līnijas iestatīšana uz 0.85 ir bezjēdzīga, ja dabiskā trokšņa minimums ir 0.04; viens palaišanas mēģinājums tīras veiksmes dēļ var nonākt jebkurā šīs līnijas pusē.
Tā vietā katrs testa gadījums jāpalaiž N reizes (parasti 3 līdz 5) un jāaprēķina vidējais rezultāts . Vēl svarīgāk ir tas, ka jums ir jāvērtē deltas vērtība attiecībā pret bāzes līniju . Veidošana netiek veikta tikai tad, ja regresija pārsniedz noteiktu pielaidi — parasti divas trokšņa joslas standartnovirzes. Salīdzinot PR rezultātus ar svaigi izmērītu bāzes līniju tajā pašā uzdevumā, jūs atceļat kopīgo dispersiju, nodrošinot, ka “neizdošanās” faktiski norāda uz patiesu kvalitātes kritumu.
Paplašināts determinisms, izmantojot DAG metrikas
Lai gan tiesību zinātņu maģistra (LLM) pieeja ir spēcīga, tā var būt pārāk subjektīva sarežģītiem uzdevumiem. Piemēram, pārbaudot, vai kopsavilkumā ievads, pamatteksts un secinājums ir pareizā secībā, vienai uzvednei ir grūti konsekventi novērtēt. Šeit noder virzītā acikliskā grafika (DAG) metrika . Vienas lielas uzvednes vietā jūs sadalāt novērtējumu lēmumu kokā ar konkrētiem mezglu veidiem: uzdevumu mezgli ekstrakcijai, binārie sprieduma mezgli jā/nē pārbaudēm un sprieduma mezgli galīgajam vērtējumam.
Šī strukturētā pieeja padara novērtējumus pilnībā deterministiskus un ļauj pat mazākiem, lētākiem modeļiem veikt augstas kvalitātes vērtēšanu, jo tie apstrādā tikai uzdevuma atomārās vienības. Tas arī padara atkļūdošanu vienkāršu; jūs varat izsekot precīzu ceļam, ko tests veica caur grafiku, lai precīzi redzētu, kur tas neizdevās. Apvienojot šos DAG ar semantisko līdzību , nevis precīzu virkņu saskaņošanu, jūs izvairāties no pareizo atbilžu atzīmēšanas tikai tāpēc, ka formulējums nedaudz atšķiras no atsauces.
Datu kopas operacionalizācija
Jūsu novērtējums ir tikpat labs, cik labi ir jūsu dati. Bieži pieļauta kļūda ir “zelta atbilžu” iekodēšana testa failos, kas padara tos neredzamus salīdzinošajai pārskatīšanai. Labāks veids ir glabāt datu kopas kā versijuotus JSON Lines failus jūsu repozitorijā. Tas ļauj izsekot katram papildinājumam vai izmaiņai, izmantojot pieprasījumu “pull”. Lai novērstu datu kopas novecošanu, jums nepārtraukti jāatgriež pamatinformācija par ražošanas kļūmēm un cilvēku pārskatītiem paraugiem.
Ja datu ir maz, negaidiet, lai apkopotu tūkstošiem piemēru. Koncentrējieties uz dimensiju plašumu , nevis apjomu. Daži labi izvēlēti gadījumi, kas pārbauda zemējumu, instrukciju ievērošanu un drošību, var aptvert veselas kļūmju klases. Koncentrējoties uz robežgadījumiem — tiem, kas atrodas tieši uz atbilstības un atteices robežas —, jūs maksimāli palielināt sava komplekta signāla blīvumu, neizmantojot milzīgu datu kopu.
LLM testēšanas pārveidošana no manuāla uzdevuma par stingru CI procesu prasa domāšanas maiņu no bināriem apgalvojumiem uz statistiskiem sadalījumiem. Izmantojot daudzpakāpju cauruļvadus, vairāku izmēģinājumu vidējo vērtību aprēķinot, lai mazinātu troksni, un strukturētus DAG rādītājus, komandas var piegādāt tūlītējas izmaiņas un modeļu jauninājumus ar patiesu pārliecību. Mērķis nav padarīt LLM deterministisku, bet gan padarīt novērtēšanas vārtus paredzamus , nodrošinot, ka katra zaļā atzīme cauruļvadā atspoguļo pārbaudāmu kvalitātes standartu.
