- Atzarošana samazina modeļa sarežģītību, noņemot liekos svarus un neironus, lai nodrošinātu efektīvu izvietošanu perifērijas aparatūrā.
- Izvēle starp strukturētu un nestrukturētu apgriešanu nosaka, vai prioritāte ir pilnīga parametru samazināšana vai tūlītēja aparatūras paātrināšana.
- Apvienojot atzarošanu ar precizēšanu un kvantizāciju, tiek radīti efektīvi, augstas veiktspējas modeļi, neupurējot paredzēšanas precizitāti.
Vai esat kādreiz jutuši, ka jūsu dziļās mācīšanās modeļi ir pārāk uzpūsti? Tā ir bieži sastopama problēma; mūsdienu neironu tīkli bieži vien ir pārāk parametrizēti, kas nozīmē, ka tiem ir milzīgs liekā svara daudzums, kas patiesībā nepalīdz prognozēt. Šeit noder neironu tīkla apgriešana , kas darbojas kā digitālais dārznieks, kas apgriež modeļa nevajadzīgos zarus, lai padarītu visu modeli vienkāršāku un vienkāršāku.
Atbrīvojoties no savienojumiem vai neironiem, kas tik tikko veicina gala rezultātu, mēs varam pārveidot resursus patērējošu ierīci par kompaktu, efektīvu dzinēju . Šeit nav runa tikai par dažu megabaitu diska vietas ietaupīšanu; runa ir par mākslīgā intelekta praktisku izmantošanu reālajā pasaulē, īpaši, ja nepieciešams ietilpināt jaudīgu modeli viedtālrunī vai nelielā iegultā mikroshēmā, kur atmiņa un akumulators ir zelts.
Kas īsti ir apgriešana mākslīgajā intelektā?
Pēc būtības, atzarošana ir optimizācijas stratēģija, ko izmanto, lai vienkāršotu neironu tīklu, likvidējot daļas, kurām nav lielas slodzes. Mēs runājam par savienojumu, atsevišķu neironu vai veselu filtru noņemšanu , kuriem ir maza vai nekāda ietekme uz rezultātu. Galvenais mērķis šeit ir samazināt modeļa sarežģītību, vienlaikus saglabājot precizitāti gandrīz nemainīgu. Šis process rada "retu" modeli , kas būtībā ir tīkla versija, kurā daudzi svari ir nulle, padarot to daudz ātrāku.
Šī metode ir lielā mērā iedvesmota no smadzeņu bioloģiskās atzarošanas, kur neizmantotie sinaptiskie savienojumi tiek dzēsti, lai stiprinātu kopējo struktūru. Atkarībā no jūsu vajadzībām to var pielietot apmācības fāzē vai kā pēcapstrādes soli pēc tam, kad modelis jau ir apmācīts.
Kāpēc mums tas vispār ir vajadzīgs?
Būsim reāli: dziļās mācīšanās modeļi mūsdienās ir absolūti milzīgi. Tie prasa neticami daudz RAM un apstrādes jaudas, kas padara tos pilnīgi nepraktiskus perifērijas skaitļošanai vai mobilajām lietotnēm. Ja kādreiz esat pamanījis aizturi reāllaika mākslīgā intelekta lietotnē, tas bieži vien ir tāpēc, ka modelis ir pārāk smags, lai aparatūra varētu ātri apstrādāt secinājumus.
Atzarošana atrisina šo problēmu, samazinot modeļa izmēru, kas tieši nozīmē zemāku latentumu un ātrāku reakcijas laiku . Papildus ātrumam tas ir ieguvums planētai un makam, jo tas samazina enerģijas patēriņu . Ja ir mazāk aprēķināmu parametru, tiek patērēts mazāk enerģijas, kas ir ļoti svarīgi ilgtspējīgam mākslīgajam intelektam un ierīcēm, kas darbojas ar akumulatoru.
Atzarošanas veidu sadalīšana
Ne visas apgriešanas metodes ir vienādas. Atkarībā no vēlamā rezultāta varat izvēlēties dažādas iespējas:
- Nestrukturēta atzarošana: Šī ir ķirurģiskā pieeja. Tā noņem atsevišķus svarus, pamatojoties uz to lielumu, neatkarīgi no to atrašanās vietas. Lai gan tas ir lieliski piemērots kopējā parametru skaita samazināšanai, tas rada neregulāras, retas matricas, kas standarta GPU un CPU bieži vien cīnās ar paātrinājumu bez specializētas programmatūras.
- Strukturēta atzarošana: Uztveriet to kā "sledgehammer" pieeju. Tā vietā, lai izmantotu atsevišķus svarus, tiek dzēsti veseli kanāli, neironi vai slāņiTā kā tas saglabā tenzoru ģeometrisko struktūru, tas ir daudz saderīgāks ar standarta aparatūru, kas noved pie tūlītējs secinājumu ātruma pieaugums.
- Globālā un lokālā atzarošana: Globālā atzarošana aplūko visu tīklu, lai izlemtu, kas tiek iekļauts, savukārt lokālā atzarošana apstrādā procesu. slāni pa slānim.
Kā mēs izlemjam, ko apgriezt? (Atzarošanas kritēriji)
Nevar vienkārši izdzēst nejaušus neironus un cerēt uz labāko; ir nepieciešama stabila stratēģija. Visizplatītākā metode ir uz lielumu balstīta atzarošana , kur tiek atmesti svari ar zemākajām absolūtajām vērtībām, pieņemot, ka tie ir vismazāk svarīgi. Tomēr ir arī sarežģītāki veidi, kā to izdarīt:
Daži izstrādātāji izmanto svarīguma rādītājus (IS), lai novērtētu, cik lielu ieguldījumu galīgajā lēmumā sniedz konkrēts komponents. Citi paļaujas uz kļūdu jutīguma analīzi , kas būtībā jautā: "Ja es noņemšu šo konkrēto savienojumu, cik lielā mērā palielinās zudumu funkcija?". Uzlabotas metodes pat izmanto ievades signālus , lai novērtētu svarīgumu, kas palīdz automātiski noteikt, cik savienojumu ir jāizdzēš, neminot hiperparametrus.
Dinamiskais duets: apgriešana un precīza regulēšana
Te ir āķis: izgriežot daļas no tīkla, gandrīz garantēta precizitātes samazināšanās. Lai to labotu, mēs izmantojam precizēšanu . Tas ir īss pārapmācības process, kurā atlikušie parametri tiek pielāgoti, lai kompensētu trūkstošās daļas. Tas ļauj tīklam pielāgoties jaunajai, plānākajai arhitektūrai . Bez šīs darbības apgriezts modelis parasti ir tikai oriģināla bojāta versija.
Atzarošana salīdzinājumā ar citiem optimizācijas trikiem
Atzarošana ir lieliska metode, taču tā bieži vien ir daļa no plašāka instrumentu komplekta. Ir svarīgi zināt, kā tā atšķiras no citām metodēm:
- Kvantēšana: Kamēr apgriešana noņem savienojumus, kvantēšana samazina svaru precizitāti (piemēram, pāreja no 32 bitu peldošā komata uz 8 bitu veseliem skaitļiem). Faktiski, lai iegūtu absolūti maksimālu efektivitāti, var izmantot abus kopā.
- Zināšanu destilācija: Destilācija ietver nevis modeļa griešanu, bet gan a mazs “studentu” modelis lai atdarinātu liela “skolotāja” modeļa uzvedību. Atzarošana modificē oriģinālu, savukārt destilācija no nulles izveido jaunu, kompaktu modeli.
Lietošanas gadījumi reālajā pasaulē
Tas nav tikai teorētiski; Edge AI ir iespējams, pateicoties datu pārraides samazināšanai. Piemēram, autonomiem droniem, ko izmanto meklēšanas un glābšanas operācijās, video plūsmas ir jāapstrādā lokāli reāllaikā, lai izvairītos no avārijām. Tie nevar gaidīt turp un atpakaļceļu uz mākoni, tāpēc paļaujas uz datu pārraides samazināšanas modeļiem. Līdzīgi, rokas medicīnas ierīces izmanto datu pārraides samazināšanas tīklus, lai analizētu ultraskaņas attālos apgabalos, kur nav piekļuves internetam, nodrošinot, ka pacientu dati paliek privāti un diagnostika notiek nekavējoties.
Instrumentu tirdzniecības
Jums šie algoritmi nav jākodē no nulles. PyTorch nodrošina torch.nn.utils.prune modulis dažādām pielāgotām vai iepriekš definētām metodēm. TensorFlow ir aprīkots ar modeļu optimizācijas rīku komplektu, kas vienkāršo procesu gan apmācības laikā, gan pēc tās. Tiem, kas izvieto dažādās platformās, ONNX izpildlaiks un Ultralytics platforma piedāvā racionalizētas darbplūsmas optimizētu modeļu eksportēšanai tādos formātos kā TensorRT.
Raugoties nākotnē: Slim AI nākotne
Nozare virzās uz retu apmācību , kur modelis tiek izveidots jau no paša sākuma, nevis vēlāk tiek saīsināts. Liela ažiotāža ir arī ap loterijas biļešu hipotēzi , kas liecina, ka katrā milzīgā tīklā ir niecīgs apakštīkls, ko var apmācīt, lai sasniegtu tādu pašu precizitāti kā oriģinālam. Ieviešot arvien vairāk mākslīgā intelekta lietu internetā (IoT) , spēja izveidot augstas veiktspējas, mazas ietekmes modeļus būs galvenais, lai demokratizētu piekļuvi mākslīgajam intelektam ikvienam.
Stratēģiski likvidējot liekos parametrus un pilnveidojot atlikušo struktūru, izmantojot precīzus pielāgojumus, izstrādātāji var ievērojami samazināt dziļās mācīšanās modeļu atmiņas patēriņu un enerģijas patēriņu. Šī optimizācija ļauj izvietot sarežģītas arhitektūras uz ierobežotas aparatūras, nodrošinot, ka ātrdarbīgas secināšanas un samazinātas latentuma priekšrocības ir pieejamas reāllaika lietojumprogrammās dažādās nozarēs.
