Valodu modeļi no nulles: no žetoniem līdz lokāliem tiesību matemātikas modeļiem

Sākums » Pitons » Valodu modeļi no nulles: no žetoniem līdz lokāliem tiesību matemātikas modeļiem

Kad rakstāt savā tālrunī un redzat, ka tastatūra min nākamo vārdu, jūs iegūstat nelielu ieskatu tajā, ko dara lielais valodas modelis (LLM).Atšķirība ir mērogā: tiesību maģistra (LLM) metode neizmanto tikai pēdējās dažas rakstzīmes vai vārdus, bet gan paļaujas uz modeļiem, kas apgūti no milzīgas internetā pieejamā teksta daļas, saspiestā milzu neironu tīklā. Ja jūs tai jautājat par Japānas galvaspilsētu, tā neatver ģeogrāfisku datubāzi; tā vienkārši aprēķina, ka pēc jūsu uzrakstītās vārdu secības marķierim, kas atbilst "Tokijai", ir astronomiski liela varbūtība būt nākamajam izvades failam.

Izpratne par to, kā šie modeļi darbojas no pašiem pamatiem, ir ļoti svarīga, ja vēlaties tos veidot, izvēlēties, izvietot vai vienkārši izmantot inteliģenti.Šajā ceļvedī mēs vienkāršā valodā aplūkosim visu mūsdienu tiesību matemātikas (LLM) pamatprincipu klāstu: žetonus, transformatorus, parametrus, konteksta logus, temperatūru, žetonu veidotāju dizainu, atvērtas un slēgtas ekosistēmas, kvantizāciju, aparatūras kompromisus, apmācību, precizēšanu un reālās pasaules ierobežojumus un priekšrocības, kā arī resursus par… atvērtā pirmkoda valodu modeļu novērtēšanas platformasMērķis ir demistificēt žargonu, lai jūs varētu spriest par valodas modeļiem kā praktiķis, nevis izturēties pret tiem kā pret melno maģiju.

No vārdiem līdz žetoniem: kā tiesību maģistranti patiesībā lasa tekstu

Lai arī cik dabiskas izskatās viņu atbildes, tiesību valodas speciālisti nedarbojas ar burtiem vai pilniem vārdiem tā, kā to dara cilvēki; viņi darbojas ar žetoniem.Tokens ir neliela teksta vienība, ko definē tokenizers: tas var būt pilns īss vārds, piemēram, “kaķis”, apakšvārda prefikss, piemēram, “un-”, sufikss, pieturzīme vai pat atstarpe. Precīza segmentācija ir atkarīga no tā, kā ir veidota tokenizera vārdu krājums.

Šis uz marķieriem balstītais skatījums izskaidro daudzas šķietami dīvainas valodu modeļu uzvedības.Apsveriet klasisko jautājumu: “Cik “r” burtu ir vārdā “strawberry”?”. Daudzi modeļi atbildēs ar 2 nevis tāpēc, ka tie nevarētu skaitīt, bet gan tāpēc, ka iekšēji tie var uztvert vārdu kā divus atomārus simbolus, piemēram, “strawberry” + “berry”. Šajā līmenī atsevišķi burti nav redzami. Ja vien jūs nepārprotami nepiespiežat modeli izrunāt vārdu pa burtiem, tas nevar droši saskaitīt “r”, jo katrs simbols tiek uzskatīts par nedalāmu simbolu.

Tokenizācijas kvalitātei ir pārsteidzoši spēcīga ietekme uz to, cik patiess un datu ziņā efektīvs var būt modelis.Pētījumi, piemēram, TokenMonster eksperimenti, kuros 16 modeļi no aptuveni 90 miljoniem līdz 354 miljoniem parametru tika apmācīti no nulles ar dažādām vārdnīcām, liecina, ka rūpīga tokenizeru izstrāde pārspēj vecākas shēmas, piemēram, GPT-2 tokenizeru vai tiktoken p50k_base, vairākos etalonos. Šajos eksperimentos efektīvāki tokenizeri uzlaboja faktu precizitāti kvalitātes nodrošināšanas etalonos (piemēram, SMLQA un SQuAD), nepadarot tekstu obligāti “plūstošāku” vai daiļrunīgāku.

Viena no galvenajām atziņām ir tāda, ka validācijas zudums un F1 vērtējums var kļūt maldinoši, salīdzinot modeļus, kas izveidoti ar dažādiem tokenizeriem.Validācijas zudumi mēdz ārkārtīgi spēcīgi korelēt ar saspiešanas pakāpi (vidējo rakstzīmju skaitu uz vienu marķieri). Ja marķierizētājs katrā marķierī ievieto vairāk rakstzīmju, zudumi uz vienu marķieri dabiski izskatās atšķirīgi, pat ja pamatā esošā valodas modelēšanas kvalitāte ir līdzīga. Saprātīgāks salīdzinājums ir zudumi uz vienu rakstzīmi. Tāpat F1 vērtējums ievērojami soda garākas atbildes, tāpēc modeļi, kas sniedz detalizētākas atbildes, var izskatīties sliktāk pēc F1, pat ja tie praksē ir noderīgāki.

Transformatora dzinējs un uzmanības maģija

Zem pārsega mūsdienu LLM gandrīz pilnībā balstās uz transformatoru arhitektūru, kas tika ieviesta 2017. gadā.Burts “T” tādos nosaukumos kā GPT apzīmē “Transformer” (Transformators). Šis dizains aizstāja agrākās rekurentās un konvolucionālās arhitektūras, jo tas daudz labāk mērogojas un daudz efektīvāk uztver liela attāluma atkarības tekstā.

Transformeru galvenā inovācija ir pašnovērošanas mehānisms, kas ļauj modelim vienlaikus aplūkot visus secīgus žetonus.Iepriekšējie modeļi apstrādāja tekstu stingri no kreisās uz labo pusi un mēdza “aizmirst” garu teikumu sākumu, kad tie sasniedza beigas. Turpretī pašpietiekamības modelis piešķir apgūtu svaru katram simbolu pārim, tāpēc modelis var tieši savienot, piemēram, teikuma priekšmetu ar darbības vārdu daudzus vārdus vēlāk.

Lai tas darbotos skaitliski, katrs marķieris vispirms tiek kartēts blīvā vektorā, ko sauc par iegulšanu.Iegulšana ir apgūta reprezentācija, kas semantiski saistītus vienumus novieto tuvu vienu otram vektoru telpā. Esejā par suņiem vārdu “riešana” un “suns” vektori atradīsies daudz tuvāk nekā vārdu “riešana” un “koks”, jo modelis apmācības laikā ir redzējis tos kopā līdzīgos kontekstos. Transformatori pievieno arī pozicionālās kodēšanas, lai katrs marķieris zinātu savu relatīvo pozīciju secībā.

Katrā uzmanības slānī katra iegulšana tiek projicēta trīs dažādos vektoros: vaicājumā (Q), atslēgā (K) un vērtībā (V).Intuitīvi vaicājums izsaka, ko pašreizējais marķieris “meklē” citos marķieros, atslēga attēlo, ko katrs marķieris “piedāvā” citiem, un vērtība ir faktiskā informācijas slodze, kas tiek iekļota. Uzmanības rādītāji tiek aprēķināti kā vaicājumu un atslēgu līdzība, pēc tam normalizēti svaros. Šie svari kontrolē, cik daudz no katra vērtību vektora ieplūst atjauninātajā marķiera attēlojumā.

Daudzu pašnovērošanas un atgriezeniskās saites slāņu sakraušana rada bagātīgas kontekstuālas reprezentācijas, kas kodē gramatiku, faktus un spriešanas modeļus.Transformatori atbalsta spēcīgu paralēlizāciju, kas ļāva apmācīt masīvus teksta korpusus. Laika gaitā miljardiem apgūto parametru — būtībā tīkla iekšējie svari — kodē visu, sākot no sintaktiskajiem noteikumiem līdz pasaules zināšanām un pat abstraktām problēmu risināšanas stratēģijām.

Parametri, konteksta logs un temperatūra: LLM glosārijs

Ikreiz, kad pārlūkojat mākslīgā intelekta platformas vai modeļu krātuves, jūs sastapsieties ar šifrētām virknēm, piemēram, “70B”, “8B-Instruct” vai “temp=0.8”.Šie nav kodolu kodi; tie ir vienkārši saīsinājumi galvenajām īpašībām, kas nosaka, kā darbojas LLM un kāda aparatūra tam ir nepieciešama. To izpratne ļaus izvairīties no daudzām neskaidrībām un nepareizām konfigurācijas izvēlēm.

Parametri ir aptuvens neironu vai sinapšu analogs bioloģiskajās smadzenēsTie ir skaitliskie svari, ko apmācības process pielāgo, lai samazinātu prognozēšanas kļūdu. Modelim ar 7 miljardiem parametru (7B) ir daudz mazāka reprezentācijas jauda nekā modelim ar 400+ miljardiem, tāpat kā niecīgam neironu tīklam ir mazāka elastība nekā milzīgam. Tipiski neformāli diapazoni izskatās šādi:

• 7B–9B: mazāki modeļi, piemēram, Llama-3 8B vai Gemma-2 9B. Tie ir pietiekami viegli, lai darbotos uz pienācīga patērētāju datora, taču, ja tos piespiež sarežģītu spriešanu vai nišas zināšanu apguvi, tie ir vairāk pakļauti "halucinācijām" — tas ir, rada ticami skanošu, bet nepareizu tekstu.
• 70B: vidēja lieluma giganti, piemēram, Llama-3 70B. Šeit tiek panākts spēcīgs līdzsvars starp spriešanas dziļumu un praktisku lietojamību. Tiem bieži vien ir nepieciešamas jaudīgas grafiskās kartes vai izvietošana mākonī, un daudzos uzdevumos tie var sasniegt vai pārsniegt eksperta līmeņa veiktspēju.
• 400B un tālāk: īpaši lieli robežmodeļi, piemēram, hipotētiski GPT-5 klases vai augstas klases Gemini varianti. Tie nodrošina milzīgu zināšanu un spriešanas apjomu, taču tos faktiski nav iespējams darbināt lokāli; tie atrodas datu centros un tiek apkalpoti, izmantojot API.

Vairāk parametru ne vienmēr nozīmē “labākas atbildes” katrā scenārijā.Lielākiem modeļiem parasti ir stabilāka spriešana, taču kvalitāte ir atkarīga arī no datiem, apmācības receptēm, tokenizeru efektivitātes un precizēšanas. Domājiet par parametru skaitu vairāk kā par potenciālu kognitīvo kapacitāti, nevis kā par absolūtu kvalitātes rādītāju.

Konteksta logs ir modeļa īstermiņa atmiņa: cik daudz žetonu tas var vienlaikus apsvērt.Agrīnajām tiesību maģistrālēm (LLM) bieži bija konteksta logi aptuveni 4,000 žetonu apmērā, kas aptuveni atbilst ~3,000 angļu valodas vārdiem. Mūsdienu sistēmas var apstrādāt simtiem tūkstošu vai pat miljoniem žetonu. Tas nozīmē, ka jūs varat tām sniegt veselu grāmatu, vairākas tehniskās rokasgrāmatas un koda bāzi, pēc tam uzdot jautājumus, kas balstās uz to visu, modelim "neaizmirstot" ievades iepriekšējās daļas.

Temperatūra kontrolē kompromisu starp determinismu un radošumu izlases veidošanas posmā.Ar temperatūru 0.0 modelis vienmēr izvēlas vienīgo visticamāko nākamo marķieri, kas ir ideāli piemērots koda ģenerēšanai, matemātikai vai strukturētu datu ieguvei, kur svarīga ir konsekvence. Temperatūrā aptuveni 0.8–1.0 paraugu ņemšanas rīks biežāk pēta mazāk ticamus marķierus, kas var radīt oriģinālākus vai pārsteidzošākus rezultātus — noderīgi prāta vētrām, stāstu stāstīšanai vai poētiskai rakstīšanai. Pārāk augsta temperatūra (piemēram, virs 1.5) padara modeļa rezultātu nestabilu un bieži vien nesakarīgu, līdzīgi kā cilvēks, kas maldās bez filtra.

Tokenizera dizains un kāpēc tas ir svarīgs patiesuma nodrošināšanai

Lai gan tokenizācija izklausās pēc ieviešanas detaļas, tā spēcīgi ietekmē to, cik efektīvi modelis mācās un cik precīzi tas atceras faktus.Eksperimenti ar TokenMonster vārdnīcām liecina, ka salīdzināmos modeļos pielāgoti tokenizeri var pārspēt standarta GPT-2 vai tiktoken vārdnīcas dažādos etalonos, pat nemainot arhitektūru.

Šo pētījumu galvenais rezultāts ir tāds, ka vidēja lieluma vārdu krājums aptuveni 32 000 žetonu bieži vien ir vislabākais.Mazākām vārdnīcām ir vienkāršāka struktūra un tās apmācības laikā var ātrāk konverģēt, taču tās var piespiest modeli sadalīt vārdus daudzos apakšmarķos, kas palielina secības garumu un apmācības izmaksas. Ļoti lielas vārdnīcas var pārāk labi atbilst retiem modeļiem un padarīt apmācību mazāk stabilu, bez atbilstoša galīgās kvalitātes uzlabojuma.

Interesanti, ka augstāka saspiešanas pakāpe — vairāk rakstzīmju vienā marķierī — pēc būtības neietekmē modeļa kvalitāti.Svarīgākas ir tokenizera īpatnības vai defekti, kas apgrūtina noteiktu modeļu attēlošanu. Piemēram, vairāku vārdu tokeni var panākt lielu saspiešanu, taču tie var izraisīt izmērāmu kritumu (aptuveni 5% dažos testos) faktiskajos kvalitātes nodrošināšanas etalonos, piemēram, SMLQA, pat ja rakstzīmju un tokenu attiecība uzlabojas par ~13%.

Pētījumā arī uzsvērts, ka tokenizeri galvenokārt ietekmē modeļa spēju uzglabāt un izgūt faktuālu informāciju, nevis tā virsmas plūdumu.Tā kā gramatikas modeļus atpakaļizplatīšanas laikā ir vieglāk labot nekā trauslas faktuālas asociācijas, jebkura izšķērdēta kapacitāte vai neefektivitāte simbolu līmenī vispirms mēdz pazemināt patiesumu. Secinājums ir vienkāršs: labāks simbolizētājs sniedz uzticamāku modeli, pat ja prozas stils izskatās līdzīgs.

LLM veidi: slēgtie, atvērtie, atvērtā pirmkoda un nišas

Mākslīgā intelekta ekosistēma ir sadalījusies vairākās nometnēs, pamatojoties uz to, kā modeļi tiek izplatīti un ko ar tiem drīkst darīt.Izpratne par šīm kategorijām palīdzēs jums izvēlēties pareizo rīku un izvairīties no negaidītām juridiskām vai privātuma problēmām.

Slēgtie jeb patentētie modeļi ir lielie komerciālie nosaukumi, ko pazīst lielākā daļa cilvēku.Iedomājieties lielus GPT laidienus, Gemini, Claude un līdzīgus piedāvājumus. To priekšrocības ir acīmredzamas: vismodernākā veiktspēja, milzīgi konteksta logi, uzlabota spriešanas spēja, multimodālas iespējas un ļoti optimizēta apkalpošanas infrastruktūra. No otras puses, šie modeļi jums nekad faktiski "nepieder"; jūsu uzvednes un dati nonāk trešās puses serverī, jūsu lietošanu regulē viņu politikas un cenas, un drošības filtri var bloķēt vai pārveidot atbildes veidos, kurus jūs nevarat pilnībā kontrolēt.

Atvērtā svara modeļi (bieži vien nepareizi saukti par “atvērtā pirmkoda” LLM) izvēlas vidusceļuUzņēmumi un pētniecības laboratorijas publicē apmācītos svarus, lai jūs varētu lejupielādēt un palaist modeļus lokāli vai savos serveros, taču parasti viņi patur apmācības kodu, hiperparametrus un neapstrādātus datu kopumus īpašumā. Tādas saimes kā Llama-3, Mistral un Qwen ir šīs pieejas simboli. Kad svari ir jūsu datorā, varat tos palaist bezsaistē, aizsargāt savus datus, pielāgot tos un apiet cenzūru — protams, ievērojot licences noteikumus.

Pilnībā atvērtā pirmkoda modeļi iet tālāk, publicējot ne tikai svarus, bet arī apmācības kodu un datu kopas.Šajā kategorijā ietilpst tādi projekti kā Allena institūta OLMo, un tie ir īpaši vērtīgi stingriem zinātniskiem pētījumiem un atkārtojamībai. Jūs varat precīzi pārbaudīt, kā modelis tika izveidots, pārkvalificēt variantus vai pielāgot recepti savai jomai.

Nišas vai konkrētai jomai specifiski modeļi maina plašumu pret dziļumu konkrētā jomāTās ir mazākas tiesību zinātņu maģistra programmas (LLM), bieži vien pat desmit reizes vieglākas nekā vispārējas nozīmes giganti, kas pielāgotas tādām specialitātēm kā medicīna, jurisprudence vai programmatūras inženierija. Savā nišā tās var pārspēt daudz lielākas vispārīgās LLM, jo visa to jauda ir koncentrēta uz vienu zināšanu daļu. Tās ir arī vieglāk izvietot uz pieticīgas aparatūras, kas padara tās pievilcīgas uzņēmumiem, kuriem nepieciešama spēcīga veiktspēja šaurā uzdevumu kopumā.

Izlasiet modeles vārdu kā profesionālis

Modeļu krātuves, piemēram, Hugging Face, ir pilnas ar nosaukumiem, kas izskatās pēc nejaušas alfabēta zupas.Kad zināt, kā tos parsēt, šie nosaukumi kodē gandrīz visu nepieciešamo: izmēru, mērķi, formātu un to, cik agresīvi svari ir saspiesti.

Apsveriet šo piemēru: “Llama-3-70b-Instruct-v1-GGUF-q4_k_m”Katram gabalam ir īpaša nozīme:

1. Lama-3: modeļu saime un arhitektūra, šajā gadījumā Meta Llama-3 līnija.
2. 70b: aptuveni 70 miljardi parametru. Šis lielums uzreiz norāda, ka jums būs nepieciešama nopietna aparatūra — iedomājieties lielas VRAM GPU iekārtas vai augstas klases Apple datoru.
3. Norādīt: norāda, ka modelis ir precīzi noregulēts, lai izpildītu dabiskās valodas norādījumus un sazinātos ar cilvēkiem. Ja vēlaties vispārīgu palīgu, vienmēr meklējiet variantus ar “Instrukcijas” vai “Tērzēšana”; neapstrādāti bāzes modeļi var reaģēt tā, it kā tie vienkārši turpinātu sarakstu vai secību, nevis atbildētu uz jūsu jautājumu.
4. GGUF: faila formāts. GGUF ir optimizēts darbībai procesoros (CPU) un Apple silicon procesoros, un to izmanto tādi rīki kā LM Studio. Citi izplatīti formāti ir EXL2, GPTQ vai AWQ GPU centriskām izvietošanām (parasti NVIDIA) un “safetensors” neapstrādātiem svariem, kuriem var būt nepieciešama papildu konvertēšana.
5. q4_k_m: kvantēšanas birka, kas paskaidro, kā svari tika saspiesti. “4” nozīmē 4 bitu precizitāti, kas ir vidējas kvalitātes kompromiss; “k_m” attiecas uz konkrētu K-kvantu metodi, kas mēģina agresīvāk samazināt mazāk svarīgus neironus, vienlaikus saglabājot kritiskos.

Spēja atšifrēt šīs etiķetes ļauj nekavējoties novērtēt, vai modelis atbilst jūsu aparatūrai un lietošanas gadījumam.Uzreiz var pateikt, vai tā ir orientēta uz tērzēšanu, aptuveni cik vieda tā ir, vai tā ir draudzīga centrālajam procesoram vai grafiskajam procesoram, un cik daudz precizitātes esat zaudējis, izmantojot kvantizāciju.

Kvantēšana: milzu smadzeņu saspiešana, lai tās atbilstu reālai aparatūrai

Mūsdienīgas, pilnīgas precizitātes LLM metodes var būt absurdi lielas — simtiem gigabaitu neapstrādātu svaru.Standarta 16 bitu peldošā komata (FP16) precizitātes 70 B parametru modelis var viegli pārsniegt 140 GB, kas ir krietni vairāk nekā to spēj apstrādāt viens patērētāja GPU. Šeit noder kvantizācija kā galvenā metode, kas padara lokālu izvietošanu praktisku.

Konceptuāli kvantēšana nozīmē mazāka bitu skaita izmantošanu katra svara glabāšanai, uz zināmas skaitliskās precizitātes rēķina.Tā vietā, lai saglabātu vērtību, piemēram, 0.123456 ar daudzām zīmēm aiz komata, varat saglabāt kaut ko līdzīgu 0.12 kompaktā attēlojumā. FP16 versijā katram svaram ir 16 biti; 4 bitu shēma izmanto tikai ceturto daļu no šīs atmiņas. Jaunāko pētījumu (tostarp 2025. gada pētījumu) pārsteigums ir tas, ka daudzos sarunu un kopsavilkuma uzdevumos pāreja no 16 bitiem uz 4 bitiem izraisa tikai nelielu uztvertā intelekta kritumu.

Dažādi kvantēšanas līmeņi un metodes ir vērstas uz dažādiem aparatūras ierobežojumiem un kvalitātes kompromisiem.Populāra konfigurācija vispārējiem lietotājiem ir Q4_K_M. “Q4” apzīmē 4 bitus uz svaru, un “K_M” norāda uz uzlabotu stratēģiju, kas priekšroku dod mazāk izteiktu neironu saspiešanai. Tas var samazināt modeli par aptuveni 70%, vienlaikus saglabājot aptuveni 98% no tā spriešanas spējām ikdienas tērzēšanai, skaidrojumiem un satura ģenerēšanai.

Pārāk liela saspiešana var efektīvi lobotomizēt modeli.Q2 vai IQ2 shēmas, kas samazina svaru līdz 2 bitiem, ļauj ielādēt milzīgus modeļus ļoti ierobežotā GPU, taču izmaksas ir augstas: biežas cilpas, atkārtotas frāzes, loģiskās struktūras zudums un ievērojama matemātikas vai kodēšanas uzdevumu degradācija. Ar tām joprojām var būt jautri eksperimentēt, taču tās reti ir piemērotas nopietnam darbam.

Kvantizācija tīru spriešanu ietekmē spēcīgāk nekā virspusējas rakstīšanas kvalitāti2025. gada rakstā “Kvantizācija kaitē spriešanas spējai?” tika konstatēts, ka, lai gan kvantēts modelis joprojām var radīt plūstošu prozu, tas zaudē vairāk pozīcijas loģikas ziņā sarežģītos etalonos, piemēram, matemātikā un progresīvā programmēšanā. Ja jūsu galvenās vajadzības ietver stingru spriešanu, fizikas problēmas vai ražošanas līmeņa kodu, jums vajadzētu izmantot augstāko precizitāti, ko jūsu aparatūra ērti atbalsta — lokāliem iestatījumiem bieži vien Q6 vai Q8.

Ērts īkšķa noteikums palīdz novērtēt, vai konkrētais GPU var uzņemt kvantizētu modeli.Reiziniet miljardu parametru skaitu ar aptuveni 0.7 GB, lai iegūtu aptuvenu VRAM prasību Q4 modelim. Piemēram, 8B modelim ar Q4 būs nepieciešami aptuveni 5.6 GB VRAM (8 × 0.7), kas labi iederas daudzās vidējas klases GPU. Turpretī 70B modelim ar Q4 ir nepieciešami aptuveni 49 GB VRAM, kas ir vairāk nekā vienam patērētāja GPU; jums būtu nepieciešamas vairākas augstas klases kartes vai specializēts serveris.

LLM lokāla palaišana: NVIDIA un Apple ceļi

Nopietnas LLM programmas vadīšana savā datorā var šķist kā aparatūras mīkla, un ekosistēma ir apvienojusies ap divām galvenajām aparatūras filozofijām.Viens veids balstās uz NVIDIA GPU un CUDA, lai nodrošinātu neapstrādātu ātrumu; otrs izmanto Apple vienoto atmiņas arhitektūru, lai nodrošinātu milzīgu ietilpību.

NVIDIA pusē RTX 3000, 4000 un 5000 sērijas GPU ir neapstrīdami līderi caurlaidspējas ziņā.CUDA paātrinātā secinājumu tehnoloģija var ģenerēt marķierus ātrāk, nekā tos var nolasīt, īpaši mazākiem modeļiem 7B–13B diapazonā. Ja jūsu prioritāte ir ātra interaktivitāte, piemēram, kodēšanas aģentiem vai reāllaika asistentiem, tas ir ārkārtīgi pārliecinoši. Negatīvā puse ir tā, ka VRAM ir dārga un ierobežota: vadošā RTX 4090 joprojām piedāvā “tikai” 24 GB, kas ierobežo jūs līdz aptuveni 30–35 B parametriem ērtos kvantēšanas līmeņos. Mērogošana līdz pilnam 70 B modelim var prasīt vairākas kartes vai profesionālas klases aparatūru.

Apple stratēģijas centrā ir Mac datori ar M sērijas mikroshēmām un lieliem vienotas atmiņas pūliem.Šajās sistēmās viena un tā pati atmiņa kalpo gan kā RAM, gan kā VRAM, kas nozīmē, ka Mac Studio ar 192 GB vienoto atmiņu var mitināt gigantiskus kvantizētus modeļus, par kuriem lielākā daļa patērētāju grafisko karšu procesoru var tikai sapņot. Lietotāji ir ziņojuši par tādu modeļu kā Llama-3.1 405B (stipri kvantēts) vai DeepSeek 67B darbināšanu tieši šādās ierīcēs. Caurlaidspēja ir lēnāka nekā augstākās klases NVIDIA kartēm — teksts tiek ģenerēts cilvēkam lasāmā tempā, nevis tūlītējos impulsos —, taču pētniekiem un izstrādātājiem, kuri neapstrādātu modeļu ietilpību vērtē augstāk par ātrumu, šis bieži vien ir vispieejamākais veids, kā lokāli darbināt “GPT-4 klases” sistēmas.

Abas ekosistēmas atbalsta lietotājam draudzīgi rīki, kas padara vietējos tiesību zinātņu speciālistus pieejamusDivas no populārākajām ir LM Studio un Ollama. LM Studio piedāvā izsmalcinātu grafisko saskarni, kas līdzīga ChatGPT, ar integrētu modeļu meklēšanu (izmantojot Hugging Face), lejupielādēm ar vienu klikšķi un slīdņiem konteksta lieluma, temperatūras, GPU un CPU slodzes un citu funkciju pielāgošanai. Ollama, ko plaši iecienījuši izstrādātāji, nodrošina gan vienkāršu grafisko lietotāja saskarni, gan jaudīgu komandrindas vadību, atvieglojot lokālo modeļu savienošanu ar redaktoriem, piezīmju veikšanas rīkiem un pielāgotām lietotnēm, izmantojot. API.

Lokālās izvietošanas galvenā priekšrocība ir kontrole: jūsu uzvednes un dokumenti nekad nepamet jūsu datoru, un neviens ārējs pakalpojums nevar klusi ierobežot vai bloķēt saturu.Jūs iegūstat privātumu, reproducējamību un bieži vien zemākas robežizmaksas, īpaši, ja veicat lielas darba slodzes, kas būtu dārgas, izmantojot mitinātās API.

No iepriekšējas apmācības līdz precizēšanai un pamudināšanai

Katrs LLM iziet cauri vismaz divām konceptuālām fāzēm, pirms jūs tam nosūtāt kaut vienu uzdevumu: iepriekšējai apmācībai un adaptācijai.Priekšapmācības laikā modelis apgūst vispārīgus valodas modeļus; adaptācijas (precīzas pielāgošanas vai tūlītējas pielāgošanas) laikā tas kļūst noderīgs konkrētiem uzdevumiem.

Priekšapmācības laikā modelis apstrādā milzīgus teksta korpusus, bieži vien iekļaujot tādus avotus kā Wikipedia, grāmatas, tīmekļa lapas un publiskas koda krātuves.Tā veic nekontrolētu mācīšanos, atkārtoti mēģinot paredzēt nākamo marķieri secībā un mērot tā kļūdu, izmantojot zaudējumu funkciju. Izmantojot atpakaļizplatīšanos un gradienta nolaišanos, tā pielāgo miljardiem svaru, lai samazinātu šos zaudējumus. Ar triljoniem marķieru palīdzību tā pakāpeniski internalizē gramatiku, semantiku, pasaules faktus, kodēšanas idiomas un pamata spriešanas veidnes.

Precīza regulēšana specializē iepriekš apmācītu modeli šaurākai aktivitāteiPiemēram, jūs varat precīzi pielāgot LLM paralēlos korpusos tulkošanai, marķētos noskaņojuma analīzes piemēros vai juridiskos dokumentos, kas anotēti ar pareizām atbildēm. Modelis turpina apmācību ar šiem uzdevumam specifiskajiem datu kopumiem, nedaudz mainot savus parametrus, lai tas labāk darbotos šajā nišā, pilnībā neaizmirstot savas plašās iespējas.

Uz uzvednēm balstīta adaptācija (dažu kadru un nulles kadru uzvedne) piedāvā vieglāku alternatīvu precīzai regulēšanai.Dažu kadru iestatījumā jūs ieguldāt mazas tabulas vai piemērus tieši uzvednē, piemēram, pāris klientu atsauksmes, kas atzīmētas kā pozitīvas vai negatīvas, un pēc tam lūdzat modelim klasificēt jaunas atsauksmes tādā pašā stilā. Nulles kadra režīmā jūs vienkārši aprakstāt uzdevumu dabiskajā valodā (“Noskaņojums “Šis augs ir briesmīgs” ir…”) un paļaujaties uz modeļa iepriekšējo apmācību, lai izdomātu, kas jādara. Mūsdienu tiesību maģistra (LLM) speciālisti bieži vien var pārsteidzoši labi darboties nulles kadra režīmā, pateicoties savām “mācīšanās kontekstā” spējām.

Liela valodas modeļa galvenās sastāvdaļas

Arhitektoniski LLM ir dziļi relatīvi vienkāršu pamatelementu kaudzes, kas atkārtojas daudzas reizes.Izpratne par galvenajām detaļām paskaidro, ko var pielāgot vai nomainīt, projektējot vai izvēloties modeli.

Iegulšanas slānis kartē diskrētos marķierus nepārtrauktos vektorosKatrs vārdu krājuma marķiera indekss tiek pārvērsts blīvā vektorā, kas kodē gan semantisko, gan sintaktisko informāciju. Šie iegulumi pārvietojas tīklā un tiek pakāpeniski pilnveidoti ar uzmanības un atgriezeniskās saites slāņiem.

Uzmanības mehānisms ir transformatora sirdsKā aprakstīts iepriekš, pašuzmanība ļauj katram marķierim nosvērt visus pārējos atbilstoši apgūtiem kritērijiem, ļaujot uztvert tālas attāluma atkarības un kontekstuālas norādes. Vairāku galvu uzmanība paplašina šo iespēju, ļaujot paralēli pievērsties vairākiem dažādiem “skatiem” vai apakštelpām, kas bagātina reprezentācijas.

Tiešās saites jeb “MLP” slāņi piemēro nelineāras transformācijas apstrādātajām reprezentācijām.Pēc tam, kad uzmanība ir noteikusi, kas katram marķierim ir svarīgs, tiešās atgriezeniskās saites slāņi sajauc un pārveido šo informāciju, izmantojot pilnībā savienotus slāņus un aktivizācijas funkcijas. Daudzu šādu bloku sakraušana veido sarežģītas hierarhiskas iezīmes.

Pielāgojot šo komponentu apvienošanas un mērogošanas veidu, jūs iegūstat dažāda veida modeļus.Vienkārši “bāzes” modeļi tikai paredz nākamo marķieri; instrukcijām pielāgoti modeļi iemācās ievērot dabiskās valodas direktīvas; dialogam pielāgoti modeļi ir optimizēti, lai vairāku pavērsienu sarunas būtu saskaņotas un noderīgas.

LLM pret ģeneratīvo mākslīgo intelektu kopumā

Ir viegli sajaukt “lielus valodu modeļus” ar “ģeneratīvajiem mākslīgajiem intelektiem”, taču pēdējais ir plašāks vispārīgs termins.Ģeneratīvais mākslīgais intelekts ietver jebkuru sistēmu, kas var ģenerēt saturu — tekstu, attēlus, audio, video vai kodu. LLM ir īpaši uz tekstu orientēti ģeneratīvie modeļi, kas apmācīti ar valodas datiem un optimizēti teksta satura ģenerēšanai vai pārveidošanai.

Daudzi slaveni rīki neietilpst LLM kategorijā, lai gan tie ir ģeneratīvi.Attēlu ģeneratori, piemēram, DALL-E vai MidJourney, veido attēlus, nevis rindkopas. Mūzikas modeļi, video sintēzes sistēmas un olbaltumvielu struktūras ģeneratori arī ir ģeneratīvais mākslīgais intelekts, taču tie darbojas ļoti dažādās ievades un izvades telpās. Galvenā kopīgā ideja ir tāda, ka tie visi mācās kartēt no kādas reprezentācijas (bieži vien uzvednes) uz reālistiskām izvades sistēmām savā jomā.

Reālās pasaules lietošanas gadījumi: kur LLM izceļas

Pateicoties elastīgajai teksta izpratnei un ģenerēšanas spējām, tiesību zinātnes (LLM) ir kļuvušas par galvenajiem dzinējspēkiem plašam lietojumu klāstam.Daudzas no tām kādreiz bija atsevišķas NLP apakšnozares, bet tagad tām ir kopīgs pamatmodelis.

Meklēšana un informācijas iegūšana ir viens no redzamākajiem ieguvējiemMeklētājprogrammas var papildināt tradicionālo uz atslēgvārdiem balstīto indeksēšanu ar semantisko izgūšanu un LLM ģenerētām atbildēm, iegūstot kodolīgus kopsavilkumus vai sarunvalodas atbildes, nevis tikai saišu sarakstu. Tādi rīki kā Elasticsearch Relevance Engine (ESRE) ļauj izstrādātājiem apvienot transformatoru modeļus ar vektoru meklēšanu un izkliedētās meklēšanas arhitektūras lai izveidotu savas konkrētai jomai specifiskas semantiskās meklēšanas pieredzes.

Teksta analīze un noskaņojuma analīze arī dabiski iederasUzņēmumi izmanto tiesību zinātņu pārvaldības (LLM) rīkus, lai apkopotu klientu atsauksmes, ierakstus sociālajos tīklos un atbalsta pieprasījumus, automātiski atzīmējot noskaņojumu, steidzamību un tēmas. Uz uzvednēm balstīti vai precīzi pielāgoti klasifikatori var aizstāt vecākus mašīnmācīšanās kanālus ar vienkāršākiem, pielāgojamākiem iestatījumiem.

Satura un koda ģenerēšana, iespējams, ir vispopulārākie ikdienas lietojumiSākot ar e-pastu un mārketinga tekstu rakstīšanu un beidzot ar dzejas radīšanu konkrētu autoru “stilā”, tiesību zinātņu speciālisti var ģenerēt saskaņotu, kontekstuāli atbilstošu tekstu plašā mērogā. Līdzīgi, uz kodu orientēti modeļi palīdz izstrādātājiem, iesakot papildinājumus, rakstot standarta tekstus, izskaidrojot fragmentus vai pat ģenerējot veselas funkcijas no dabiskās valodas aprakstiem, kā parādīts… LLM apguve SwiftUI ar automatizētas atgriezeniskās saites palīdzību.

Sarunu aģentus un tērzēšanas robotus mūsdienās gandrīz vienmēr darbina kāda veida tiesību zinātņu maģistra (LLM) sistēma.; to veidošanai bieži nepieciešama rūpīga orķestrēšana — sk. mākslīgā intelekta aģentu komandu projektēšana un izveideKlientu apkalpošanā, veselības aprūpes triāžā, personīgajā produktivitātē un izglītībā sarunu modeļi interpretē lietotāja nodomu un reaģē veidā, kas tuvojas cilvēka dialogam. Tie var atcerēties iepriekšējos ziņojumus konteksta logā, sekot norādījumiem un pielāgot toni un stilu.

Šīs iespējas vienlaikus ietekmē daudzas nozaresTehnoloģiju jomā tiesību zinātņu maģistra grāds (LLM) paātrina kodēšanu un atkļūdošanu; veselības aprūpē un dzīvības zinātnēs tie palīdz analizēt pētniecības darbus, klīniskās piezīmes un pat bioloģiskās sekvences; mārketingā tie atbalsta kampaņu ideju ģenerēšanu un tekstu rakstīšanu; juridiskajā un finanšu jomā tie palīdz dokumentu sagatavošanā, apkopošanā un modeļu noteikšanā; banku un drošības jomā tie palīdz pamanīt potenciāli krāpniecisku rīcību teksta žurnālos un ziņojumos.

Ierobežojumi, riski un atklāti izaicinājumi

Neskatoties uz iespaidīgajām spējām, tiesību zinātņu maģistranti (LLM) nav viszinoši vai nekļūdīgi, un izturēties pret viņiem kā pret tādiem var būt bīstami.Tie pārmanto daudzus trūkumus no saviem datiem un arhitektūras, un jauni rodas no tā, kā mēs tos izvietojam.

Halucinācijas — pārliecināti pausti meli — joprojām rada nopietnas bažasTā kā tiesību zinātņu maģistra (LLM) pamatā ir nākamā žetona prognozētājs, kas apmācīts, pamatojoties uz modeļiem, nevis pamatotu patiesību, tas var safabricēt ticami skanošas detaļas, avotus vai pieredzi. Tas var “izskaidrot” API, kas neeksistē, vai apgalvot juridiskus faktus, kas vienkārši ir nepareizi. Margas, atgūšanas papildinātā ģenerēšana (RAG) un cilvēka pārskatīšana ir ļoti svarīgas situācijās ar augstām likmēm.

Arī drošības un privātuma riski ir nozīmīgiSlikti pārvaldīti modeļi var nopludināt sensitīvus apmācības datus vai konfidenciālas uzvednes, un uzbrucēji var izmantot juridiskās pārvaldības metodes (LLM) pikšķerēšanai, sociālajai inženierijai, surogātpastam vai dezinformācijas kampaņām. Uzvedņu injekcijas uzbrukumi un datu noplūde, izmantojot modeļu rezultātus, ir aktīvi pētījumu temati.

Neobjektivitātes un taisnīguma problēmas ir cieši saistītas ar apmācības datu sastāvu— lasīt par LLM atkarības slazdsJa korpusi pārāk daudz pārstāv konkrētas demogrāfiskās grupas vai viedokļus, modelis pastiprinās šīs neobjektivitātes savos rezultātos, potenciāli marginalizējot citas grupas vai perspektīvas. Rūpīga datu kopu apstrāde, neobjektivitātes novērtēšana un mazināšanas stratēģijas ir nepieciešamas, taču tās joprojām ir nepilnīgas.

Arī piekrišanas un intelektuālā īpašuma jautājumi ir aktuāli.Daudzas lielas apmācību datu kopas tika apkopotas, nokopējot publisku saturu bez skaidras autoru atļaujas, radot jautājumus par autortiesībām, datu aizsardzību un ētisku izmantošanu. Tiesas prāvas par attēlu vai tekstu nelicencētu izmantošanu jau ir nonākušas tiesās, un noteikumi šajā jomā strauji attīstās.

Visbeidzot, mērogošana un izvietošana ir resursietilpīga.Lai apmācītu un apkalpotu robežas šķērsojoša mēroga tiesību zinātņu speciālistus (LLM), ir nepieciešama specializēta aparatūra, izkliedētu sistēmu zināšanas, nepārtraukta uzraudzība un ievērojams enerģijas patēriņš. Pat mazākiem modeļiem latentuma, izmaksu un uzticamības pārvaldība ražošanas mērogā nav triviāla.

Kad saliek kopā visas šīs daļas — žetonus un žetonizētājus, transformatorus un uzmanību, parametrus un kontekstu, kvantizāciju un aparatūru, apmācību un izvietošanu —, iegūst skaidru priekšstatu par tiesību zinātņu speciālistiem kā spēcīgiem modeļu apguvējiem, nevis maģiskiem orākuliem.Izmantojot pareizo tokenizeru, arhitektūru, saspiešanas stratēģiju un aparatūras iestatījumu, jūs varat lokāli palaist pārsteidzoši jaudīgus modeļus, pielāgot tos savam domēnam un integrēt meklēšanas, analītikas, satura veidošanas vai sarunu darbplūsmās, vienlaikus apzinoties to ierobežojumus attiecībā uz patiesumu, neobjektivitāti, drošību un juridiskajiem ierobežojumiem.