- QR sadalījums uzlabo skaitlisko stabilitāti OLS, izvairoties no matricas nosacījumu skaita kvadrātā celšanas, kas raksturīga normālvienādojumiem.
- Mājsaimniecības refleksijas nodrošina stabilu mehānismu dizaina matricas pārveidošanai augšējā trīsstūrveida formā, veicinot efektīvu atpakaļejošu aizstāšanu.
- Lai apstrādātu sistēmas ar rangu deficītu, ir nepieciešamas tādas uzlabotas metodes kā kolonnu pagriešanās vai SVD, lai nodrošinātu precīzu mazāko kvadrātu risinājumu.
Vai esat kādreiz domājuši, kāpēc profesionāla statistikas programmatūra vienkārši neievada skaitļus mācību grāmatas OLS formulā? Lai gan klasiskā pieeja uz papīra izskatās eleganti, patiesībā tā ir neliels murgs datora precizitātei . Strādājot ar reāliem datiem, īpaši kvadrātregresijā, kur prognozētāji var būt ļoti korelēti, standarta matricu invertēšanas metode bieži vien rada milzīgas kļūdas, kas var padarīt jūsu rezultātus pilnīgi bezjēdzīgus.
Tieši šeit spēlē lomu QR sadalījums, kas darbojas kā slepenais dzinējspēks tādu rīku kā R lm() funkcijas pārsegā. Tā vietā, lai kvadrātētu problēmas grūtības pakāpi, šī metode sadala projektēšanas matricu divās vienkāršākās daļās, padarot ceļu uz koeficientiem daudz vienmērīgāku un stabilāku . Iedziļināsimies šīs metodes darbības mehānikā un tajā, kāpēc tā ir zelta standarts mazāko kvadrātu problēmu risināšanā.
Problēmas ar normāliem vienādojumiem
Tipiskā mazāko kvadrātu (OLS) metodē mēs cenšamies samazināt kvadrātveida atlikumu summu. Mācību grāmatas risinājums ir normālais vienādojums: β = (XᵀX)⁻¹Xᵀy . Galvenais āķis šeit ir termins XᵀX. Reizinot matricu ar tās transponēto vērtību, jūs būtībā kāpat nosacījuma skaitli kvadrātā . Nosacījuma skaitlis būtībā ir mērs tam, cik lielā mērā niecīgs troksnis jūsu datos tiek pastiprināts, radot milzīgu kļūdu izvadē.
Ja jūsu projektēšanas matrica jau ir nedaudz “jutīga” (tas nozīmē, ka tai ir gandrīz kolineāras kolonnas), šīs nestabilitātes kvadrātā celšana var izraisīt peldošā komata kļūdas , kas samazina precizitāti. Jūs varat zaudēt vairākus nozīmīgos ciparus, tāpēc priekšroka tiek dota QR ceļam — tas darbojas tieši ar X un novērš bīstamo apvedceļu cauri krustreizinājumu matricai.
QR dekompozīcijas analīze
Galvenā ideja ir sadalīt projektēšanas matricu X divās konkrētās matricās: X = QR. Šeit Q ir ortogonāla matrica , kas nozīmē, ka tās kolonnas ir perpendikulāras un to garums ir viens. Matrica R ir augšējā trīsstūra matrica , kas nozīmē, ka viss zem galvenās diagonāles ir nulle. Šī transformācija maina spēles noteikumus, jo ortogonālas matricas ir neticami viegli invertēt — to inversā matrica ir vienkārši to transponēšana (Q⁻¹ = Qᵀ).
Kad mēs to ievietojam mazāko kvadrātu problēmā, viss sabrūk daudz vienkāršākā sistēmā: Rβ = Qᵀy . Tā kā R ir augšējais trīsstūris, mums nav jāveic dārga un nestabila matricas inversija. Tā vietā mēs izmantojam metodi, ko sauc par atpakaļejošo aizvietošanu , vispirms atrisinot pēdējo koeficientu un pēc tam to pievienojot atpakaļ, lai atrastu pārējo. Tā ir ātra, vienkārša un skaitliski nevainojama.
Mājsaimnieces pārdomas pret Grama-Šmita teoriju
Ir pāris veidu, kā faktiski aprēķināt Q un R. Jūs, iespējams, esat redzējuši Grama-Šmita procesu lineārās algebras klasē; tas ir intuitīvs veids, kā atņemt projekcijas, lai padarītu vektorus ortogonālus. Tomēr klasiskajā versijā var rasties atcelšanas kļūdas, ja vektori ir gandrīz paralēli. Pat modificētais Grama-Šmita process (MGS) ir labāks, taču tas joprojām nav labākais.
Reālās pasaules bibliotēkas, piemēram, LAPACK, izmanto Householder refleksijas . Iedomājieties, ka paņemat vektoru un atspoguļojat to pāri plaknei, lai to izlīdzinātu ar noteiktu asi. Pielietojot virkni šo refleksiju, mēs varam sistemātiski nullēt elementus zem X diagonāles. Šī pieeja pēc savas būtības ir stabilāka galīgas precizitātes aritmētikā, nodrošinot, ka Q ortogonālās īpašības tiek saglabātas pat ar nekārtīgiem datiem.
Ranga deficīta un kolinearitātes problēmas risināšana
Kas notiek, ja jūsu dati ir “bojāti”? Dažos gadījumos viena no jūsu kolonnām var būt perfekta lineāra citu kolonnu kombinācija — tā ir ranga deficīts . Standarta OLS risinājumā tas padarītu matricas singulāro vērtību un inversiju neiespējamu. QR metode to apstrādā elegantāk, it īpaši, ja to apvieno ar kolonnu pagriešanu.
Pivotēšana ietver kolonnu maiņu vietām, pamatojoties uz to svarīgumu (to normu), lai matricas "informatīvākās" daļas pārvietotu uz augšējo kreiso stūri. Ja matricai patiešām ir ranga deficīts, QR process to atklās, atstājot nulles uz R diagonāles . Ārkārtīgi sarežģītos gadījumos singulārās vērtības dekompozīcija (SVD) ir galīgais ierocis, jo tā var nodrošināt minimālās normas risinājumu pat tad, ja sistēma ir pilnīgi nepietiekami noteikta.
Praktiskās ieviešanas loģika
Lai to ieviestu praksē, vispirms izveidojiet savu dizaina matricu, iekļaujot vieninieku kolonnu krustpunktam. Pēc tam jūs pielietojat Householder transformācijas , lai iegūtu R, un uzkrātās refleksijas, lai veidotu Q. Kad tās ir iegūtas, jūs reizinat Qᵀ ar savu atbildes vektoru y. Pēdējais solis ir atpakaļejošās atrisināšanas funkcija , kas atkārtojas no R apakšējās rindas uz augšu, lai izolētu katru koeficientu β.
Viss šis cauruļvads nodrošina, ka mēs nepastiprinām troksni. Neatkarīgi no tā, vai jūs to ieviešat Python valodā, izmantojot NumPy, vai R iekšējos primitīvus, loģika paliek nemainīga: par katru cenu izvairīties no XᵀX un ļaut Q ortogonalitātei paveikt smago darbu. Tāpēc jūsu regresijas modeļi saglabājas precīzi pat tad, ja prognozētāji ir viltīgi un ļoti korelēti.
Pārejot no naivajiem normālajiem vienādojumiem uz QR-Householder pieeju, mēs nedaudz samainām konceptuālu vienkāršību, lai iegūtu ievērojamus uzticamības ieguvumus . Ortogonālo transformāciju izmantošana novērš skaitlisko kļūdu pastiprināšanos, savukārt atpakaļejoša aizstāšana nodrošina efektīvu ceļu uz galīgajiem aprēķiniem. Šīs pārejas izpratne no teorijas uz skaitlisku ieviešanu ir tas, kas atšķir pamatmodeli no tāda, kas ir matemātiski robusts un gatavs ražošanas līmeņa datu analīzei.
