- Word2Vec pārveido vārdus augstas dimensijas vektoros, pamatojoties uz sadalījuma hipotēzi, kur nozīme tiek atvasināta no konteksta.
- Modelis izmanto divas galvenās arhitektūras: CBOW mērķa vārda prognozēšanai no konteksta un Skip-Gram konteksta prognozēšanai no mērķa vārda.
- Semantiskās attiecības tiek uztvertas kā lineāras nobīdes vektoru telpā, ļaujot veikt lingvistiskas analoģijas, izmantojot matemātiskas darbības.
Vai esat kādreiz domājuši, kā mašīna patiesībā "saprot", ko mēs domājam, kad runājam? Mēs nevaram vienkārši iedot datoram vārdnīcu un sagaidīt, ka tas sapratīs nianses. Ilgu laiku mašīnas uztvēra vārdus tikai kā atsevišķus simbolus , kas nozīmēja, ka "suns" bija tikpat atšķirīgs no "kaķa" kā no "mikroviļņu krāsns". Tas viss mainījās līdz ar Word2Vec parādīšanos — revolucionāru dabiskās valodas apstrādes tehnoloģiju, kas ļauj datoriem kartēt vārdus matemātiskā telpā , kur nozīmi nosaka tuvums.
Pēc būtības Word2Vec pamatā ir sadalījuma hipotēze , kas ir izsmalcināts veids, kā pateikt, ka vārdu var saprast pēc tā pavadoņa, kurā tas atrodas. Ja divi vārdi bieži vien atrodas blakus, tiem, iespējams, ir līdzīga nozīme. Analizējot milzīgu teksta apjomu, Word2Vec pārvērš vārdus daudzdimensionālos vektoros , izveidojot semantisko karti, kurā lingvistiskās attiecības kļūst par vienkāršu ģeometriju.
Vecā skola: uz skaitīšanu balstītas pieejas
Pirms Word2Vec pārņēma vadību, mēs paļāvāmies uz skaitīšanas metodēm. Visvienkāršākā versija ietvēra līdzāsparādīšanās matricas , kur vienkārši skaitīja, cik reižu vārds A parādījās blakus vārdam B. Lai gan šīs matricas bija vienkāršas, tās kļuva ārkārtīgi lielas un piepildītas ar nullēm, padarot to aprēķināšanu par murgu. Lai to labotu, pētnieki izmantoja tādas metodes kā pozitīvās punktuālās savstarpējās informācijas (PPMI) metode , lai labāk izmērītu asociāciju, vai latentās semantiskās analīzes (LSA) metode , kas izmanto singulārās vērtības dekompozīcijas (SVD) metodi, lai samazinātu datus un atklātu slēptās "tēmas" dokumentos.
Kā Word2Vec patiesībā darbojas
Word2Vec mainīja skriptu, apstrādājot problēmu kā paredzēšanas uzdevumu , nevis skaitīšanas uzdevumu. Tā vietā, lai vienkārši saskaitītu vārdus, tas izmanto seklu, divslāņu neironu tīklu, lai apgūtu iegultos vārdus. Modelis slīd logu pāri milzīgam teksta korpusam, koncentrējoties uz centrālo vārdu un tā apkārtējo kontekstu. Iteratīvi pielāgojot vektorus, lai palielinātu pareizo kaimiņu paredzēšanas varbūtību , modelis dabiski nobīda semantiski līdzīgus vārdus tuvāk vienu otram vektoru telpā.
Divi apmācības veidi: CBOW pret Skip-Gram
- Nepārtraukta vārdu maisa (CBOW): Uztveriet to kā "tukšo vietu aizpildīšanas" vingrinājumu. Modelis aplūko apkārtējos konteksta vārdus un mēģina paredzēt trūkstošo centrālo vārduParasti to ir ātrāk apmācīt, un tas lieliski darbojas bieži lietotiem vārdiem.
- Skip-Gram: Šī ir apgrieztā pieeja. Modelis ņem vienu centrālo vārdu un mēģina paredzēt apkārtējo kontekstuLai gan tas aizņem vairāk laika, Skip-Gram ir daudz labāks apstrādāšanas ziņā. reti sastopami vārdi un retu semantisko attiecību tveršana.
Apmācības efektivitātes uzlabošana: negatīva izlase
Katru reizi, kad pārvietojat logu, katra atsevišķa vārda varbūtības aprēķināšana milzīgā vārdu krājumā būtu neticami lēna . Lai no tā izvairītos, Word2Vec izmanto negatīvo izlasi . Tā vietā, lai atjauninātu katru vārdu vārdnīcā, modelis atjaunina tikai mērķa vārdu un nelielu skaitu nejauši izvēlētu "negatīvu" piemēru . Tas ievērojami samazina skaitļošanas slodzi, neupurējot apgūto iegulšanas kvalitāti, bieži vien atlasot vārdus, pamatojoties uz to biežuma sadalījumu, lai nodrošinātu, ka modelis nekļūst slinks.
Semantiskās telpas maģija
Kad apmācība ir pabeigta, rezultāts ir semantiska telpa , kurā jūs faktiski varat veikt matemātiskas darbības ar vārdiem. Viens no iespaidīgākajiem atklājumiem ir tas, ka šīs attiecības bieži vien ir lineāras . Piemēram, ja ņemat vektoru, kas apzīmē "karali", atņemat "vīrieti" un pievienojat "sievieti", iegūtais telpas punkts ir neticami tuvu vektoram, kas apzīmē "karalieni". Tas parāda, ka modelis ir uztvēris abstraktu dzimuma un karaļnama jēdzienu, izmantojot vienkāršu vektoru aritmētiku.
Vairāk nekā tikai pamatvārdi: paplašinājumi un varianti
Word2Vec panākumi iedvesmoja veselu paplašinājumu saimi. Doc2Vec paplašināja ideju, lai attēlotu veselas rindkopas vai dokumentus kā atsevišķus vektorus, nodrošinot uzlabotu dokumentu klasifikāciju. Pēc tam parādījās Top2Vec , kas apvieno dokumentu iegulšanu ar klasterizācijas algoritmiem, piemēram, HDBSCAN , lai automātiski atklātu tēmas, neizmantojot marķētus datus. Pat bioloģijas zinātnes ieguva savu daļu no šī procesa ar BioVec , piemērojot šos principus DNS un olbaltumvielu sekvencēm, lai izprastu bioķīmiskos modeļus.
Rezultātu novērtēšana
Kā mēs varam zināt, vai modelis patiešām ir “vieds”? Ir divi galvenie veidi. Iekšējā novērtēšana aplūko iekšējās īpašības, izmantojot etalonus, lai noskaidrotu, vai modeļa līdzības rādītāji atbilst cilvēka spriedumam vai vai tas var atrisināt analoģijas testus . Ārējā novērtēšana ir praktiskāka; tā ietver iegulto elementu pievienošanu reālam uzdevumam, piemēram, noskaņojuma analīzei vai teksta klasifikācijai, lai redzētu, vai kopējā veiktspēja uzlabojas. Lai gan jaunāki modeļi, piemēram, BERT vai ELMo, nodrošina kontekstuālus iegultos elementus (tas nozīmē, ka vārda vektors mainās atkarībā no teikuma), Word2Vec joprojām ir statisku vārdu attēlojumu pamats.
Pārveidojot cilvēku valodas haosu strukturētā ģeometriskā ainavā , šīs metodes ļauj mašīnām orientēties nozīmē, izmantojot kosinusa līdzību un vektoru nobīdes. Sākot ar negatīvās izlases efektivitāti un beidzot ar Skip-Gram un CBOW daudzpusību, spēja kartēt lingvistiskos kontekstus matemātiskās koordinātēs ir fundamentāli mainījusi to, kā mēs veidojam visu, sākot no meklētājprogrammām līdz tulkošanas rīkiem.
