Má veľa aplikácií, keďže umožňuje približnú reprezentáciu danej funkcie inými jednoduchšími. LSM môže byť mimoriadne užitočné pri spracovaní pozorovaní a aktívne sa používa na odhadovanie niektorých veličín na základe výsledkov meraní iných, ktoré obsahujú náhodné chyby. V tomto článku sa dozviete, ako implementovať výpočty najmenších štvorcov v Exceli.

Vyjadrenie problému na konkrétnom príklade

Predpokladajme, že existujú dva indikátory X a Y. Okrem toho Y závisí od X. Keďže nás OLS zaujíma z pohľadu regresnej analýzy (v Exceli sú jej metódy implementované pomocou vstavaných funkcií), mali by sme okamžite prejsť na konkrétny problém.

Nech teda X je predajná plocha obchodu s potravinami meraná v metroch štvorcových a Y je ročný obrat meraný v miliónoch rubľov.

Je potrebné urobiť prognózu, aký obrat (Y) bude mať obchod, ak bude mať ten alebo ten obchodný priestor. Je zrejmé, že funkcia Y = f (X) rastie, keďže hypermarket predáva viac tovaru ako stánok.

Niekoľko slov o správnosti počiatočných údajov použitých na predikciu

Povedzme, že máme tabuľku zostavenú pomocou údajov pre n obchodov.

Podľa matematických štatistík budú výsledky viac-menej správne, ak sa preskúmajú údaje aspoň o 5-6 objektoch. Okrem toho nemožno použiť „anomálne“ výsledky. Najmä elitný malý butik môže mať obrat, ktorý je niekoľkonásobne vyšší ako obrat veľkých maloobchodných predajní triedy „masmarket“.

Podstata metódy

Tabuľkové dáta môžu byť zobrazené na karteziánskej rovine v tvare bodov M 1 (x 1, y 1), ... M n (x n, y n). Teraz sa riešenie úlohy zredukuje na výber aproximačnej funkcie y = f (x), ktorá má graf prechádzajúci čo najbližšie k bodom M 1, M 2, .. M n.

Samozrejme, môžete použiť polynóm vysokého stupňa, ale táto možnosť je nielen náročná na implementáciu, ale aj jednoducho nesprávna, pretože nebude odrážať hlavný trend, ktorý je potrebné zistiť. Najrozumnejším riešením je hľadať priamku y = ax + b, ktorá najlepšie aproximuje experimentálne údaje, presnejšie koeficienty a a b.

Hodnotenie presnosti

Pri akejkoľvek aproximácii je mimoriadne dôležité posúdiť jej presnosť. Označme e i rozdiel (odchýlku) medzi funkčnou a experimentálnou hodnotou pre bod x i, teda e i = y i - f (x i).

Na posúdenie presnosti aproximácie môžete samozrejme použiť súčet odchýlok, t.j. pri výbere priamky na približné znázornenie závislosti X na Y by ste mali uprednostniť tú s najmenšou hodnotou súčet e i vo všetkých posudzovaných bodoch. Nie všetko je však také jednoduché, pretože spolu s pozitívnymi odchýlkami budú existovať aj negatívne.

Problém je možné vyriešiť pomocou modulov odchýlky alebo ich štvorcov. Posledná metóda je najpoužívanejšia. Používa sa v mnohých oblastiach vrátane regresnej analýzy (implementovanej v Exceli pomocou dvoch vstavaných funkcií) a už dlho sa osvedčila.

Metóda najmenších štvorcov

Excel, ako viete, má vstavanú funkciu AutoSum, ktorá vám umožňuje vypočítať hodnoty všetkých hodnôt nachádzajúcich sa vo vybranom rozsahu. Nič nám teda nebude brániť vypočítať hodnotu výrazu (e 1 2 + e 2 2 + e 3 2 + ... e n 2).

V matematickom zápise to vyzerá takto:

Keďže sa pôvodne rozhodlo o aproximácii pomocou priamky, máme:

Úloha nájsť priamku, ktorá najlepšie popisuje špecifickú závislosť veličín X a Y, teda spočíva na výpočte minima funkcie dvoch premenných:

Aby ste to dosiahli, musíte prirovnať parciálne derivácie vzhľadom na nové premenné a a b k nule a vyriešiť primitívny systém pozostávajúci z dvoch rovníc s 2 neznámymi tvaru:

Po niekoľkých jednoduchých transformáciách, vrátane delenia 2 a manipulácie so súčtami, dostaneme:

Riešením napríklad Cramerovou metódou získame stacionárny bod s určitými koeficientmi a * a b *. Toto je minimum, t. j. na predpovedanie, aký obrat bude mať obchod pre určitú oblasť, je vhodná priamka y = a * x + b *, čo je regresný model pre daný príklad. Samozrejme, neumožní vám nájsť presný výsledok, ale pomôže vám získať predstavu o tom, či sa nákup konkrétnej oblasti na kredit v obchode oplatí.

Ako implementovať najmenšie štvorce v Exceli

Excel má funkciu na výpočet hodnôt pomocou najmenších štvorcov. Má nasledujúci tvar: „TREND“ (známe hodnoty Y; známe hodnoty X; nové hodnoty X; konštanta). Aplikujme vzorec na výpočet OLS v Exceli na našu tabuľku.

Za týmto účelom zadajte znak „=“ do bunky, v ktorej sa má zobraziť výsledok výpočtu metódou najmenších štvorcov v Exceli, a vyberte funkciu „TREND“. V okne, ktoré sa otvorí, vyplňte príslušné polia a zvýraznite:

• rozsah známych hodnôt pre Y (v tomto prípade údaje pre obchodný obrat);
• rozsah x 1 , … x n , t. j. veľkosť predajnej plochy;
• známe aj neznáme hodnoty x, pre ktoré musíte zistiť veľkosť obratu (informácie o ich umiestnení na pracovnom hárku nájdete nižšie).

Okrem toho vzorec obsahuje logickú premennú „Const“. Ak do príslušného poľa zadáte 1, znamená to, že by ste mali vykonať výpočty za predpokladu, že b = 0.

Ak potrebujete zistiť predpoveď pre viac ako jednu hodnotu x, po zadaní vzorca by ste nemali stlačiť „Enter“, ale musíte na klávesnici zadať kombináciu „Shift“ + „Control“ + „Enter“.

Niektoré funkcie

Regresná analýza môže byť prístupná aj pre figuríny. Excelovský vzorec na predpovedanie hodnoty poľa neznámych premenných — TREND — môžu použiť aj tí, ktorí nikdy nepočuli o najmenších štvorcoch. Stačí poznať niektoré črty jeho práce. Konkrétne:

• Ak usporiadate rozsah známych hodnôt premennej y do jedného riadku alebo stĺpca, potom každý riadok (stĺpec) so známymi hodnotami x bude programom vnímaný ako samostatná premenná.
• Ak v okne TREND nie je zadaný rozsah so známym x, tak pri použití funkcie v Exceli ho program bude považovať za pole pozostávajúce z celých čísel, ktorých počet zodpovedá rozsahu s danými hodnotami premenné y.
• Na výstup poľa „predpovedaných“ hodnôt je potrebné zadať výraz na výpočet trendu ako vzorec poľa.
• Ak nie sú zadané nové hodnoty x, funkcia TREND ich považuje za rovnaké ako tie známe. Ak nie sú špecifikované, potom sa pole 1 berie ako argument; 2; 3; 4;…, ktorý je primeraný rozsahu s už špecifikovanými parametrami y.
• Rozsah obsahujúci nové hodnoty x musí mať rovnaký alebo viac riadkov alebo stĺpcov ako rozsah obsahujúci dané hodnoty y. Inými slovami, musí byť úmerná nezávislým premenným.
• Pole so známymi hodnotami x môže obsahovať viacero premenných. Ak však hovoríme len o jednom, potom je potrebné, aby rozsahy s danými hodnotami x a y boli úmerné. V prípade viacerých premenných je potrebné, aby sa rozsah s danými hodnotami y zmestil do jedného stĺpca alebo jedného riadku.

Funkcia PREDICTION

Implementované pomocou niekoľkých funkcií. Jeden z nich sa nazýva „PREDIKCIA“. Je to podobné ako „TREND“, t.j. dáva výsledok výpočtov metódou najmenších štvorcov. Avšak len pre jedno X, pre ktoré je hodnota Y neznáma.

Teraz poznáte vzorce v Exceli pre figuríny, ktoré vám umožňujú predpovedať budúcu hodnotu konkrétneho ukazovateľa podľa lineárneho trendu.

Metóda najmenších štvorcov (OLS) umožňuje odhadnúť rôzne veličiny pomocou výsledkov mnohých meraní obsahujúcich náhodné chyby.

Charakteristika nadnárodných podnikov

Hlavnou myšlienkou tejto metódy je, že súčet štvorcových chýb sa považuje za kritérium presnosti riešenia problému, ktoré sa snažia minimalizovať. Pri použití tejto metódy je možné použiť numerický aj analytický prístup.

Konkrétne, ako numerická implementácia, metóda najmenších štvorcov zahŕňa vykonanie čo najväčšieho počtu meraní neznámej náhodnej premennej. Navyše, čím viac výpočtov, tým presnejšie bude riešenie. Na základe tohto súboru výpočtov (počiatočných údajov) sa získa ďalší súbor odhadnutých riešení, z ktorých sa potom vyberie to najlepšie. Ak je množina riešení parametrizovaná, potom sa metóda najmenších štvorcov zredukuje na nájdenie optimálnej hodnoty parametrov.

Ako analytický prístup k implementácii LSM na množine počiatočných údajov (meraní) a očakávanej množine riešení je určené jedno (funkčné), ktoré možno vyjadriť vzorcom získaným ako určitá hypotéza, ktorá vyžaduje potvrdenie. V tomto prípade metóda najmenších štvorcov spočíva v nájdení minima tejto funkcionality na množine štvorcových chýb pôvodných údajov.

Upozorňujeme, že nejde o samotné chyby, ale o štvorce chýb. prečo? Faktom je, že často sú odchýlky meraní od presnej hodnoty pozitívne aj negatívne. Pri určovaní priemeru môže jednoduchý súčet viesť k nesprávnemu záveru o kvalite odhadu, pretože zrušenie kladných a záporných hodnôt zníži silu vzorkovania viacerých meraní. A následne aj presnosť hodnotenia.

Aby sa tomu zabránilo, štvorcové odchýlky sa spočítajú. Navyše, na vyrovnanie rozmeru nameranej hodnoty a konečného odhadu sa extrahuje súčet druhých mocnín

Niektoré aplikácie MNC

MNC sa široko používa v rôznych oblastiach. Napríklad v teórii pravdepodobnosti a matematickej štatistike sa metóda používa na určenie takej charakteristiky náhodnej premennej, ako je štandardná odchýlka, ktorá určuje šírku rozsahu hodnôt náhodnej premennej.

Programovanie

• Návod

Úvod

Som matematik a programátor. Najväčší skok som vo svojej kariére urobil, keď som sa naučil povedať: "Ničomu nerozumiem!" Teraz sa nehanbím povedať svetlu vedy, že mi prednáša, že nerozumiem tomu, čo mi on, svetlica, hovorí. A je to veľmi ťažké. Áno, priznať svoju nevedomosť je ťažké a trápne. Kto sa rád prizná, že o niečom nevie základné veci? Vzhľadom na moje povolanie musím absolvovať veľké množstvo prezentácií a prednášok, kde sa mi, priznám sa, v drvivej väčšine prípadov chce spať, lebo ničomu nerozumiem. Ale nerozumiem, pretože obrovský problém súčasnej situácie vo vede spočíva v matematike. Predpokladá, že všetci poslucháči poznajú absolútne všetky oblasti matematiky (čo je absurdné). Priznanie, že neviete, čo je to derivát (o tom si povieme trochu neskôr), je hanebné.

Ale naučil som sa povedať, že neviem, čo je násobenie. Áno, neviem, čo je subalgebra nad Lieovou algebrou. Áno, neviem, prečo sú v živote potrebné kvadratické rovnice. Mimochodom, ak ste si istí, že viete, potom sa máme o čom rozprávať! Matematika je séria trikov. Matematici sa snažia zmiasť a zastrašiť verejnosť; kde nie je zmätok, nie je povesť, niet autority. Áno, je prestížne hovoriť čo najabstraktnejším jazykom, čo je úplný nezmysel.

Viete, čo je derivát? S najväčšou pravdepodobnosťou mi poviete o hranici rozdielového pomeru. V prvom ročníku matematiky a mechaniky na Petrohradskej štátnej univerzite mi Viktor Petrovič Chavin povedal určený derivácia ako koeficient prvého člena Taylorovho radu funkcie v bode (to bola samostatná gymnastika na určenie Taylorovho radu bez derivácií). Dlho som sa na tejto definícii smial, až som konečne pochopil, o čo ide. Derivácia nie je ničím iným ako jednoduchým meradlom toho, ako podobná je funkcia, ktorú derivujeme, funkcii y=x, y=x^2, y=x^3.

Teraz mám tú česť prednášať študentom, ktorí strach matematiky. Ak sa bojíte matematiky, sme na rovnakej ceste. Akonáhle sa pokúsite prečítať nejaký text a bude sa vám zdať, že je prehnane komplikovaný, tak vedzte, že je napísaný zle. Tvrdím, že neexistuje jediná oblasť matematiky, o ktorej by sa nedalo diskutovať „na prstoch“ bez straty presnosti.

Zadanie na blízku budúcnosť: Zadal som svojim študentom, aby pochopili, čo je lineárny kvadratický regulátor. Nehanbite sa, strávte tri minúty svojho života a nasledujte odkaz. Ak niečomu nerozumiete, sme na rovnakej ceste. Ja (profesionálny matematik-programátor) som tiež ničomu nerozumel. A uisťujem vás, že to zistíte „na prstoch“. Momentálne neviem, čo to je, ale ubezpečujem vás, že na to prídeme.

Takže prvá prednáška, ktorú dám svojim študentom po tom, čo ku mne s hrôzou pribehnú a povedia, že lineárno-kvadratický regulátor je hrozná vec, ktorú nikdy v živote nezvládnete, je metódy najmenších štvorcov. Viete riešiť lineárne rovnice? Ak čítate tento text, tak s najväčšou pravdepodobnosťou nie.

Takže ak sú dané dva body (x0, y0), (x1, y1), napríklad (1,1) a (3,2), úlohou je nájsť rovnicu priamky prechádzajúcej týmito dvoma bodmi:

ilustrácie

Tento riadok by mal mať takúto rovnicu:

Alfa a beta sú nám neznáme, ale známe sú dva body tejto čiary:

Túto rovnicu môžeme zapísať v maticovom tvare:

Tu by sme mali urobiť lyrickú odbočku: čo je matrica? Matica nie je nič iné ako dvojrozmerné pole. Toto je spôsob ukladania údajov, ktorému by sa nemali pripisovať žiadne ďalšie významy. Záleží na nás, ako presne interpretovať určitú maticu. Periodicky to budem interpretovať ako lineárne zobrazenie, periodicky ako kvadratickú formu a niekedy jednoducho ako množinu vektorov. Toto všetko bude objasnené v kontexte.

Nahraďme konkrétne matice ich symbolickou reprezentáciou:

Potom (alfa, beta) možno ľahko nájsť:

Konkrétnejšie pre naše predchádzajúce údaje:

Čo vedie k nasledujúcej rovnici priamky prechádzajúcej bodmi (1,1) a (3,2):

Dobre, tu je všetko jasné. Poďme nájsť rovnicu priamky, ktorá prechádza tri body: (x0,y0), (x1,y1) a (x2,y2):

Oh-och-och, ale máme tri rovnice pre dve neznáme! Štandardný matematik povie, že neexistuje žiadne riešenie. Čo povie programátor? A najprv prepíše predchádzajúci systém rovníc v nasledujúcom tvare:

V našom prípade sú vektory i, j, b trojrozmerné, preto (vo všeobecnom prípade) neexistuje riešenie tohto systému. Akýkoľvek vektor (alpha\*i + beta\*j) leží v rovine preklenutej vektormi (i, j). Ak b do tejto roviny nepatrí, potom neexistuje riešenie (v rovnici sa nedá dosiahnuť rovnosť). Čo robiť? Hľadajme kompromis. Označme podľa e (alfa, beta) presne ako ďaleko sme nedosiahli rovnosť:

A túto chybu sa pokúsime minimalizovať:

Prečo štvorcový?

Hľadáme nielen minimum normy, ale aj minimum druhej mocniny normy. prečo? Samotný minimálny bod sa zhoduje a štvorec dáva hladkú funkciu (kvadratická funkcia argumentov (alfa, beta)), zatiaľ čo jednoducho dĺžka dáva funkciu v tvare kužeľa, nediferencovateľnú v minimálnom bode. Brr. Štvorec je pohodlnejší.

Je zrejmé, že chyba je minimalizovaná, keď vektor e ortogonálne k rovine preklenutej vektormi i A j.

Ilustračné

Inými slovami: hľadáme priamku takú, že súčet štvorcových dĺžok vzdialeností od všetkých bodov k tejto priamke je minimálny:

AKTUALIZÁCIA: Mám tu problém, vzdialenosť k priamke by sa mala merať vertikálne a nie ortogonálnym premietaním. Komentátor má pravdu.

Ilustračné

Úplne inými slovami (opatrne, zle formalizované, ale malo by to byť jasné): vezmeme všetky možné čiary medzi všetkými pármi bodov a hľadáme priemernú čiaru medzi všetkými:

Ilustračné

Ďalšie vysvetlenie je jednoduché: medzi všetky dátové body (tu máme tri) a priamku, ktorú hľadáme, pripojíme pružinu a priamka rovnovážneho stavu je presne to, čo hľadáme.

Minimálny kvadratický tvar

Takže vzhľadom na tento vektor b a rovinu preklenutú stĺpcovými vektormi matice A(v tomto prípade (x0,x1,x2) a (1,1,1)), hľadáme vektor e s minimálnou štvorcovou dĺžkou. Je zrejmé, že minimum je dosiahnuteľné len pre vektor e, ortogonálne k rovine preklenutej stĺpcovými vektormi matice A:

Inými slovami, hľadáme vektor x=(alfa, beta) taký, že:

Dovoľte mi pripomenúť, že tento vektor x=(alfa, beta) je minimum kvadratickej funkcie ||e(alfa, beta)||^2:

Tu by bolo užitočné pripomenúť, že maticu možno interpretovať aj ako kvadratickú formu, napríklad maticu identity ((1,0),(0,1)) možno interpretovať ako funkciu x^2 + y^ 2:

kvadratická forma

Celá táto gymnastika je známa pod názvom lineárna regresia.

Laplaceova rovnica s Dirichletovou okrajovou podmienkou

Teraz najjednoduchšia skutočná úloha: existuje určitý trojuholníkový povrch, je potrebné ho vyhladiť. Napríklad načítajme model mojej tváre:

Pôvodný záväzok je k dispozícii. Aby som minimalizoval externé závislosti, zobral som kód môjho softvérového renderera, už na Habré. Na riešenie lineárneho systému používam OpenNL, je to výborný riešič, ktorý sa však veľmi ťažko inštaluje: treba skopírovať dva súbory (.h+.c) do priečinka s vaším projektom. Všetko vyhladzovanie sa vykonáva pomocou nasledujúceho kódu:

Pre (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&face = tváre[i]; pre (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

Súradnice X, Y a Z sú oddeliteľné, hladkám ich samostatne. To znamená, že riešim tri sústavy lineárnych rovníc, každú s počtom premenných rovným počtu vrcholov v mojom modeli. Prvých n riadkov matice A má iba jednu 1 na riadok a prvých n riadkov vektora b má súradnice pôvodného modelu. To znamená, že medzi novú polohu vrcholu a starú polohu vrcholu uviažem pružinu - nové by sa nemali príliš vzdialiť od starých.

Všetky nasledujúce riadky matice A (faces.size()*3 = počet hrán všetkých trojuholníkov v sieti) majú jeden výskyt 1 a jeden výskyt -1, pričom vektor b má nulu opačných zložiek. To znamená, že som dal pružinu na každý okraj našej trojuholníkovej siete: všetky okraje sa snažia získať rovnaký vrchol ako ich počiatočný a koncový bod.

Ešte raz: všetky vrcholy sú premenné a nemôžu sa vzdialiť od svojej pôvodnej polohy, no zároveň sa snažia byť si navzájom podobné.

Tu je výsledok:

Všetko by bolo v poriadku, model je naozaj vyhladený, no vzdialil sa od pôvodného okraja. Poďme trochu zmeniť kód:

Pre (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

V našej matici A pre vrcholy, ktoré sú na okraji, pridávam nie riadok z kategórie v_i = verts[i][d], ale 1000*v_i = 1000*verts[i][d]. Čo sa tým mení? A to mení našu kvadratickú formu chyby. Teraz jedna odchýlka od vrcholu na okraji nebude stáť jednu jednotku, ako predtým, ale 1 000 * 1 000 jednotiek. To znamená, že na krajné vrcholy sme zavesili silnejšiu pružinu, ostatné bude riešenie radšej silnejšie natiahnuť. Tu je výsledok:

Zdvojnásobme silu pružiny medzi vrcholmi:
nlKoeficient(tvár[ j], 2); nlKoeficient(tvár[(j+1)%3], -2);

Je logické, že povrch je hladší:

A teraz ešte stokrát silnejšie:

Čo to je? Predstavte si, že sme drôtený krúžok ponorili do mydlovej vody. Výsledkom je, že výsledný mydlový film sa bude snažiť mať čo najmenšie zakrivenie a dotýkať sa hranice - nášho drôteného krúžku. To je presne to, čo sme získali, keď sme upevnili okraj a požiadali o hladký povrch vo vnútri. Gratulujeme, práve sme vyriešili Laplaceovu rovnicu s Dirichletovými okrajovými podmienkami. To znie dobre? Ale v skutočnosti stačí vyriešiť jeden systém lineárnych rovníc.

Poissonova rovnica

Spomeňme si na ďalšie skvelé meno.

Povedzme, že mám takýto obrázok:

Vyzerá dobre každému, ale mne sa nepáči stolička.

Skrátim obrázok na polovicu:

A vyberiem si stoličku rukami:

Potom vytiahnem všetko, čo je biele v maske na ľavú stranu obrázka a zároveň v celom obrázku poviem, že rozdiel medzi dvoma susednými pixelmi by sa mal rovnať rozdielu medzi dvoma susednými pixelmi vpravo. obrázok:

Pre (int i=0; i

Tu je výsledok:

K dispozícii je kód a obrázky

Príklad.

Experimentálne údaje o hodnotách premenných X A pri sú uvedené v tabuľke.

V dôsledku ich zarovnania sa získa funkcia

Použitím metóda najmenších štvorcov, aproximovať tieto údaje lineárnou závislosťou y=ax+b(nájdite parametre A A b). Zistite, ktorá z dvoch čiar lepšie (v zmysle metódy najmenších štvorcov) zarovnáva experimentálne údaje. Urobte si kresbu.

Podstata metódy najmenších štvorcov (LSM).

Úlohou je nájsť lineárne koeficienty závislosti, pri ktorých je funkcia dvoch premenných A A b má najmenšiu hodnotu. Teda daný A A b súčet štvorcových odchýlok experimentálnych údajov od nájdenej priamky bude najmenší. Toto je celý zmysel metódy najmenších štvorcov.

Riešenie príkladu teda vedie k nájdeniu extrému funkcie dvoch premenných.

Odvodzovacie vzorce na hľadanie koeficientov.

Zostaví sa a vyrieši systém dvoch rovníc s dvoma neznámymi. Hľadanie parciálnych derivácií funkcie vzhľadom na premenné A A b, prirovnávame tieto deriváty k nule.

Výslednú sústavu rovníc riešime ľubovoľnou metódou (napr substitučnou metódou alebo ) a získajte vzorce na hľadanie koeficientov pomocou metódy najmenších štvorcov (LSM).

Dané A A b funkciu má najmenšiu hodnotu. Dôkaz tejto skutočnosti je uvedený.

To je celá metóda najmenších štvorcov. Vzorec na nájdenie parametra a obsahuje súčty , , a parameter n- množstvo experimentálnych údajov. Hodnoty týchto súm odporúčame vypočítať samostatne. Koeficient b zistené po výpočte a.

Je čas pripomenúť si pôvodný príklad.

Riešenie.

V našom príklade n=5. Tabuľku vypĺňame pre pohodlie výpočtu súm, ktoré sú zahrnuté vo vzorcoch požadovaných koeficientov.

Hodnoty vo štvrtom riadku tabuľky sa získajú vynásobením hodnôt v 2. riadku hodnotami v 3. riadku pre každé číslo i.

Hodnoty v piatom riadku tabuľky sa získajú umocnením hodnôt v 2. riadku pre každé číslo i.

Hodnoty v poslednom stĺpci tabuľky sú súčty hodnôt v riadkoch.

Na zistenie koeficientov používame vzorce metódy najmenších štvorcov A A b. Do nich nahradíme zodpovedajúce hodnoty z posledného stĺpca tabuľky:

teda y = 0,165 x + 2,184- požadovaná približná priamka.

Zostáva zistiť, ktorý z riadkov y = 0,165 x + 2,184 alebo lepšie aproximuje pôvodné údaje, to znamená robí odhad pomocou metódy najmenších štvorcov.

Odhad chyby metódy najmenších štvorcov.

Aby ste to dosiahli, musíte vypočítať súčet štvorcových odchýlok pôvodných údajov z týchto riadkov A , menšia hodnota zodpovedá riadku, ktorý sa lepšie približuje pôvodným údajom v zmysle metódy najmenších štvorcov.

Od , potom rovno y = 0,165 x + 2,184 lepšie sa približuje pôvodným údajom.

Grafické znázornenie metódy najmenších štvorcov (LS).

Všetko je jasne viditeľné na grafoch. Červená čiara je nájdená priamka y = 0,165 x + 2,184, modrá čiara je , ružové bodky sú pôvodné údaje.

Prečo je to potrebné, prečo všetky tieto aproximácie?

Osobne ho používam na riešenie problémov vyhladzovania údajov, interpolácie a extrapolácie (v pôvodnom príklade môžu byť požiadaní, aby našli hodnotu pozorovanej hodnoty r pri x=3 alebo kedy x=6 pomocou metódy najmenších štvorcov). Ale o tom si povieme viac neskôr v inej časti webu.

Dôkaz.

Takže keď sa nájde A A b funkcia nadobúda najmenšiu hodnotu, je potrebné, aby v tomto bode bola matica kvadratického tvaru diferenciálu druhého rádu pre funkciu bol pozitívny jednoznačný. Ukážme to.

Aproximujeme funkciu polynómom 2. stupňa. Na tento účel vypočítame koeficienty normálneho systému rovníc:

, ,

Vytvorme normálny systém najmenších štvorcov, ktorý má tvar:

Riešenie systému je ľahké nájsť:, , .

Nájdeme teda polynóm 2. stupňa: .

Teoretické informácie

Návrat na stránku<Введение в вычислительную математику. Примеры>

Príklad 2. Nájdenie optimálneho stupňa polynómu.

Návrat na stránku<Введение в вычислительную математику. Примеры>

Príklad 3. Odvodenie normálnej sústavy rovníc na zistenie parametrov empirickej závislosti.

Odvoďme sústavu rovníc na určenie koeficientov a funkcií , ktorý vykonáva aproximáciu odmocniny danej funkcie bodmi. Zostavme si funkciu a zapíšte si pre to nevyhnutnú extrémnu podmienku:

Potom bude mať normálny systém podobu:

Získali sme lineárny systém rovníc pre neznáme parametre a, ktorý sa dá ľahko vyriešiť.

Teoretické informácie

Návrat na stránku<Введение в вычислительную математику. Примеры>

Príklad.

Experimentálne údaje o hodnotách premenných X A pri sú uvedené v tabuľke.

V dôsledku ich zarovnania sa získa funkcia

Použitím metóda najmenších štvorcov, aproximovať tieto údaje lineárnou závislosťou y=ax+b(nájdite parametre A A b). Zistite, ktorá z dvoch čiar lepšie (v zmysle metódy najmenších štvorcov) zarovnáva experimentálne údaje. Urobte si kresbu.

Podstata metódy najmenších štvorcov (LSM).

Úlohou je nájsť lineárne koeficienty závislosti, pri ktorých je funkcia dvoch premenných A A bmá najmenšiu hodnotu. Teda daný A A b súčet štvorcových odchýlok experimentálnych údajov od nájdenej priamky bude najmenší. Toto je celý zmysel metódy najmenších štvorcov.

Riešenie príkladu teda vedie k nájdeniu extrému funkcie dvoch premenných.

Odvodzovacie vzorce na hľadanie koeficientov.

Zostaví sa a vyrieši systém dvoch rovníc s dvoma neznámymi. Hľadanie parciálnych derivácií funkcie podľa premenných A A b, prirovnávame tieto deriváty k nule.

Výslednú sústavu rovníc riešime ľubovoľnou metódou (napr substitučnou metódou alebo Cramerovou metódou) a získajte vzorce na nájdenie koeficientov pomocou metódy najmenších štvorcov (LSM).

Dané A A b funkciu má najmenšiu hodnotu. Dôkaz o tejto skutočnosti je uvedený nižšie v texte na konci strany.

To je celá metóda najmenších štvorcov. Vzorec na nájdenie parametra a obsahuje súčty , , a parameter n— množstvo experimentálnych údajov. Hodnoty týchto súm odporúčame vypočítať samostatne.

Koeficient b zistené po výpočte a.

Je čas pripomenúť si pôvodný príklad.

Riešenie.

V našom príklade n=5. Tabuľku vypĺňame pre pohodlie výpočtu súm, ktoré sú zahrnuté vo vzorcoch požadovaných koeficientov.

Hodnoty vo štvrtom riadku tabuľky sa získajú vynásobením hodnôt v 2. riadku hodnotami v 3. riadku pre každé číslo i.

Hodnoty v piatom riadku tabuľky sa získajú umocnením hodnôt v 2. riadku pre každé číslo i.

Hodnoty v poslednom stĺpci tabuľky sú súčty hodnôt v riadkoch.

Na zistenie koeficientov používame vzorce metódy najmenších štvorcov A A b. Do nich nahradíme zodpovedajúce hodnoty z posledného stĺpca tabuľky:

teda y = 0,165 x + 2,184— požadovaná približná priamka.

Zostáva zistiť, ktorý z riadkov y = 0,165 x + 2,184 alebo lepšie aproximuje pôvodné údaje, to znamená robí odhad pomocou metódy najmenších štvorcov.

Odhad chyby metódy najmenších štvorcov.

Aby ste to dosiahli, musíte vypočítať súčet štvorcových odchýlok pôvodných údajov z týchto riadkov A , menšia hodnota zodpovedá riadku, ktorý sa lepšie približuje pôvodným údajom v zmysle metódy najmenších štvorcov.

Od , potom rovno y = 0,165 x + 2,184 lepšie sa približuje pôvodným údajom.

Grafické znázornenie metódy najmenších štvorcov (LS).

Všetko je jasne viditeľné na grafoch. Červená čiara je nájdená priamka y = 0,165 x + 2,184, modrá čiara je , ružové bodky sú pôvodné údaje.

Prečo je to potrebné, prečo všetky tieto aproximácie?

Osobne ho používam na riešenie problémov vyhladzovania údajov, interpolácie a extrapolácie (v pôvodnom príklade môžu byť požiadaní, aby našli hodnotu pozorovanej hodnoty r pri x=3 alebo kedy x=6 pomocou metódy najmenších štvorcov). Ale o tom si povieme viac neskôr v inej časti webu.

Začiatok stránky

Dôkaz.

Takže keď sa nájde A A b funkcia nadobúda najmenšiu hodnotu, je potrebné, aby v tomto bode bola matica kvadratického tvaru diferenciálu druhého rádu pre funkciu bol pozitívny jednoznačný. Ukážme to.

Rozdiel druhého rádu má tvar:

Teda

Preto má matica kvadratickej formy tvar

a hodnoty prvkov nezávisia od A A b.

Ukážme, že matica je pozitívne definitívna. Aby to bolo možné, uhlové maloletí musia byť pozitívne.

Uhlová moll prvého rádu . Nerovnosť je prísna, pretože body sa nezhodujú. V nasledujúcom texte to naznačíme.

Uhlová moll druhého rádu

Dokážme to metódou matematickej indukcie.

Záver: nájdené hodnoty A A b zodpovedajú najmenšej hodnote funkcie , preto sú požadované parametre pre metódu najmenších štvorcov.

Nemáte čas na to prísť?
Objednajte si riešenie

Začiatok stránky

Vypracovanie prognózy pomocou metódy najmenších štvorcov. Príklad riešenia problému

Extrapolácia je vedecko-výskumná metóda, ktorá je založená na šírení minulých a súčasných trendov, zákonitostí a súvislostí s budúcim vývojom prognostického objektu. Extrapolačné metódy zahŕňajú metóda kĺzavého priemeru, metóda exponenciálneho vyhladzovania, metóda najmenších štvorcov.

Esencia metóda najmenších štvorcov spočíva v minimalizácii súčtu kvadratických odchýlok medzi pozorovanými a vypočítanými hodnotami. Vypočítané hodnoty sa nachádzajú pomocou vybranej rovnice - regresnej rovnice. Čím menšia je vzdialenosť medzi skutočnými hodnotami a vypočítanými, tým presnejšia je predpoveď na základe regresnej rovnice.

Ako základ pre výber krivky slúži teoretický rozbor podstaty skúmaného javu, ktorého zmena sa odráža v časovom rade. Niekedy sa berú do úvahy úvahy o charaktere nárastu úrovní série. Ak sa teda očakáva rast produkcie v aritmetickej progresii, vyhladenie sa vykoná v priamke. Ak sa ukáže, že rast je v geometrickej progresii, potom je potrebné vykonať vyhladenie pomocou exponenciálnej funkcie.

Pracovný vzorec pre metódu najmenších štvorcov : Yt+1 = a*X + b, kde t + 1 – prognózované obdobie; Уt+1 – predpokladaný ukazovateľ; a a b sú koeficienty; X je symbolom času.

Výpočet koeficientov a a b sa vykonáva pomocou nasledujúcich vzorcov:

kde Uf - skutočné hodnoty série dynamiky; n – počet úrovní časových radov;

Vyhladzovanie časových radov pomocou metódy najmenších štvorcov slúži na vyjadrenie vzoru vývoja skúmaného javu. V analytickom vyjadrení trendu sa čas považuje za nezávislú premennú a úrovne série pôsobia ako funkcia tejto nezávislej premennej.

Vývoj javu nezávisí od toho, koľko rokov uplynulo od východiskového bodu, ale od toho, aké faktory ovplyvnili jeho vývoj, akým smerom a s akou intenzitou. Odtiaľ je zrejmé, že vývoj javu v čase je výsledkom pôsobenia týchto faktorov.

Správne stanovenie typu krivky, typu analytickej závislosti od času je jednou z najťažších úloh prediktívnej analýzy .

Výber typu funkcie, ktorá popisuje trend, ktorého parametre sú určené metódou najmenších štvorcov, sa vo väčšine prípadov vykonáva empiricky, zostrojením viacerých funkcií a ich vzájomným porovnaním podľa hodnoty stredná štvorcová chyba vypočítaná podľa vzorca:

kde UV sú skutočné hodnoty série dynamiky; Ur – vypočítané (vyhladené) hodnoty série dynamiky; n – počet úrovní časových radov; p – počet parametrov definovaných vo vzorcoch popisujúcich trend (vývojový trend).

Nevýhody metódy najmenších štvorcov :

• pri pokuse o opísanie skúmaného ekonomického javu pomocou matematickej rovnice bude predpoveď presná na krátky čas a regresná rovnica by sa mala prepočítať, keď budú k dispozícii nové informácie;
• zložitosť výberu regresnej rovnice, ktorá je riešiteľná pomocou štandardných počítačových programov.

Príklad použitia metódy najmenších štvorcov na vytvorenie prognózy

Úloha . Existujú údaje charakterizujúce mieru nezamestnanosti v kraji, %

• Zostavte prognózu miery nezamestnanosti v regióne na november, december, január pomocou nasledujúcich metód: kĺzavý priemer, exponenciálne vyhladzovanie, najmenšie štvorce.
• Vypočítajte chyby vo výsledných prognózach pomocou každej metódy.
• Porovnajte výsledky a vyvodte závery.

Riešenie najmenších štvorcov

Aby sme to vyriešili, zostavíme tabuľku, v ktorej vykonáme potrebné výpočty:

ε = 28,63/10 = 2,86 % presnosť predpovede vysoká.

Záver : Porovnanie výsledkov získaných z výpočtov metóda kĺzavého priemeru , metóda exponenciálneho vyhladzovania a metódou najmenších štvorcov, môžeme povedať, že priemerná relatívna chyba pri výpočte pomocou metódy exponenciálneho vyhladzovania spadá do rozsahu 20-50%. To znamená, že presnosť predpovede je v tomto prípade iba uspokojivá.

V prvom a treťom prípade je presnosť predpovede vysoká, pretože priemerná relatívna chyba je menšia ako 10 %. Metóda kĺzavého priemeru však umožnila získať spoľahlivejšie výsledky (predpoveď na november - 1,52%, predpoveď na december - 1,53%, predpoveď na január - 1,49%), pretože priemerná relatívna chyba pri použití tejto metódy je najmenšia - 1 ,13 %.

Metóda najmenších štvorcov

Ďalšie články na túto tému:

Zoznam použitých zdrojov

1. Vedecké a metodologické odporúčania na diagnostikovanie sociálnych rizík a predpovedanie výziev, hrozieb a sociálnych dôsledkov. Ruská štátna sociálna univerzita. Moskva. 2010;
2. Vladimírová L.P. Prognózovanie a plánovanie v podmienkach trhu: Učebnica. príspevok. M.: Vydavateľstvo "Dashkov and Co", 2001;
3. Novikova N.V., Pozdeeva O.G. Prognózovanie národného hospodárstva: Vzdelávacia a metodická príručka. Jekaterinburg: Vydavateľstvo Ural. štát ekon. Univ., 2007;
4. Slutskin L.N. Kurz MBA o predpovedaní podnikania. M.: Alpina Business Books, 2006.

Program MNC

Zadajte údaje

Údaje a aproximácia y = a + b x

i- počet pokusných bodov;
x i- hodnota pevného parametra v bode i;
y i- hodnota meraného parametra v bode i;
ωi- meranie hmotnosti v bode i;
y i, calc.- rozdiel medzi nameranou a regresne vypočítanou hodnotou r v bode i;
S x i (x i)- odhad chyby x i pri meraní r v bode i.

Údaje a aproximácia y = k x

i	x i	y i	ωi	y i, calc.	Δy i	S x i (x i)

Kliknite na graf

Používateľská príručka pre online program MNC.

Do dátového poľa zadajte do každého samostatného riadku hodnoty x a y v jednom experimentálnom bode. Hodnoty musia byť oddelené medzerou (medzera alebo tabulátor).

Treťou hodnotou môže byť váha bodu „w“. Ak váha bodu nie je určená, rovná sa jednej. Váhy experimentálnych bodov sú v drvivej väčšine prípadov neznáme alebo nie sú vypočítané, t.j. všetky experimentálne údaje sa považujú za ekvivalentné. Niekedy váhy v študovanom rozsahu hodnôt nie sú absolútne ekvivalentné a dajú sa dokonca vypočítať teoreticky. Napríklad v spektrofotometrii možno hmotnosti vypočítať pomocou jednoduchých vzorcov, aj keď sa to väčšinou zanedbáva kvôli zníženiu nákladov na pracovnú silu.

Údaje je možné vložiť cez schránku z tabuľky v kancelárskom balíku, ako je Excel z Microsoft Office alebo Calc z Open Office. Ak to chcete urobiť, v tabuľke vyberte rozsah údajov, ktoré chcete skopírovať, skopírujte ich do schránky a vložte údaje do údajového poľa na tejto stránke.

Na výpočet pomocou metódy najmenších štvorcov sú potrebné aspoň dva body na určenie dvoch koeficientov `b` - tangens uhla sklonu priamky a ,a` - hodnoty, ktorú pretína čiara na osi y.

Ak chcete odhadnúť chybu vypočítaných regresných koeficientov, musíte nastaviť počet experimentálnych bodov na viac ako dva.

Metóda najmenších štvorcov (LSM).

Čím väčší je počet experimentálnych bodov, tým presnejšie je štatistické hodnotenie koeficientov (v dôsledku poklesu Studentovho koeficientu) a čím je odhad bližšie k odhadu všeobecnej vzorky.

Získavanie hodnôt v každom experimentálnom bode je často spojené so značnými mzdovými nákladmi, takže sa často vykonáva kompromisný počet experimentov, ktoré poskytujú zvládnuteľný odhad a nevedú k nadmerným mzdovým nákladom. Počet experimentálnych bodov pre lineárnu závislosť najmenších štvorcov s dvoma koeficientmi sa spravidla volí v rozsahu 5-7 bodov.

Stručná teória najmenších štvorcov pre lineárne vzťahy

Povedzme, že máme súbor experimentálnych údajov vo forme párov hodnôt [`y_i`, `x_i`], kde `i` je číslo jedného experimentálneho merania od 1 do `n`; `y_i` - hodnota meranej veličiny v bode `i`; `x_i` – hodnota parametra, ktorý sme nastavili v bode `i`.

Ako príklad zvážte fungovanie Ohmovho zákona. Zmenou napätia (potenciálneho rozdielu) medzi časťami elektrického obvodu meriame množstvo prúdu prechádzajúceho touto časťou. Fyzika nám dáva experimentálne zistenú závislosť:

"Ja = U/R",
kde „I“ je aktuálna sila; `R` - odpor; "U" - napätie.

V tomto prípade je y_i meraná aktuálna hodnota a x_i je hodnota napätia.

Ako ďalší príklad uvažujme absorpciu svetla roztokom látky v roztoku. Chémia nám dáva vzorec:

"A = ε l C",
kde "A" je optická hustota roztoku; "ε" - priepustnosť rozpustenej látky; `l` - dĺžka dráhy, keď svetlo prechádza kyvetou s roztokom; "C" je koncentrácia rozpustenej látky.

V tomto prípade je „y_i“ nameraná hodnota optickej hustoty „A“ a „x_i“ je hodnota koncentrácie látky, ktorú špecifikujeme.

Budeme uvažovať prípad, keď je relatívna chyba v priradení `x_i` výrazne menšia ako relatívna chyba v meraní `y_i`. Budeme tiež predpokladať, že všetky namerané hodnoty ‚y_i‘ sú náhodné a normálne rozdelené, t.j. dodržiavať zákon normálneho rozdelenia.

V prípade lineárnej závislosti `y` od `x` môžeme napísať teoretickú závislosť:
"y = a + b x".

Z geometrického hľadiska koeficient „b“ označuje dotyčnicu uhla sklonu priamky k osi „x“ a koeficient „a“ - hodnotu „y“ v priesečníku čiara s osou y (pri x = 0).

Nájdenie parametrov regresnej priamky.

V experimente nemôžu namerané hodnoty `y_i` presne ležať na teoretickej priamke kvôli chybám merania, ktoré sú v reálnom živote vždy vlastné. Preto musí byť lineárna rovnica reprezentovaná systémom rovníc:
`y_i = a + b x_i + ε_i` (1),
kde „ε_i“ je neznáma chyba merania „y“ v „i“-tom experimente.

Závislosť (1) sa tiež nazýva regresia, t.j. závislosť dvoch veličín na sebe so štatistickou významnosťou.

Úlohou obnovenia závislosti je nájsť koeficienty `a` a `b` z experimentálnych bodov [`y_i`, `x_i`].

Zvyčajne sa používa na nájdenie koeficientov "a" a "b". metóda najmenších štvorcov(MNC). Ide o špeciálny prípad princípu maximálnej pravdepodobnosti.

Prepíšme (1) v tvare `ε_i = y_i - a - b x_i`.

Potom bude súčet štvorcových chýb
`Φ = súčet_(i=1)^(n) ε_i^2 = súčet_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Princíp najmenších štvorcov (najmenších štvorcov) je minimalizovať súčet (2) vzhľadom na parametre "a" a "b"..

Minimum sa dosiahne, keď sa parciálne derivácie súčtu (2) vzhľadom na koeficienty „a“ ​​a „b“ rovnajú nule:
`frac(čiastočné Φ)(čiastočné a) = frac(čiastočný súčet_(i=1)^(n) (y_i - a - b x_i)^2)(čiastočné a) = 0`
`frac(čiastočné Φ)(čiastočné b) = frac(čiastočný súčet_(i=1)^(n) (y_i - a - b x_i)^2)(čiastočné b) = 0`

Rozšírením derivácií dostaneme systém dvoch rovníc s dvoma neznámymi:
`sum_(i=1)^(n) (2a + 2bx_i — 2y_i) = sum_(i=1)^(n) (a + bx_i — y_i) = 0`
`sum_(i=1)^(n) (2bx_i^2 + 2ax_i — 2x_iy_i) = sum_(i=1)^(n) (bx_i^2 + ax_i — x_iy_i) = 0`

Otvoríme zátvorky a prenesieme súčty nezávislé od požadovaných koeficientov do druhej polovice, získame sústavu lineárnych rovníc:
`sum_(i=1)^(n) y_i = a n + b suma_(i=1)^(n) bx_i`
`sum_(i=1)^(n) x_iy_i = súčet_(i=1)^(n) x_i + b súčet_(i=1)^(n) x_i^2`

Pri riešení výsledného systému nájdeme vzorce pre koeficienty „a“ ​​a „b“:

`a = frac(sum_(i=1)^(n) y_i suma_(i=1)^(n) x_i^2 — suma_(i=1)^(n) x_i suma_(i=1)^(n ) x_iy_i) (n súčet_(i=1)^(n) x_i^2 — (súčet_(i=1)^(n) x_i)^2)“ (3.1)

`b = frac(n súčet_(i=1)^(n) x_iy_i — súčet_(i=1)^(n) x_i súčet_(i=1)^(n) y_i) (n súčet_(i=1)^ (n) x_i^2 — (sum_(i=1)^(n) x_i)^2)“ (3,2)

Tieto vzorce majú riešenia, keď `n > 1` (čiaru možno zostrojiť pomocou aspoň 2 bodov) a keď determinant `D = n sum_(i=1)^(n) x_i^2 - (sum_(i= 1) )^(n) x_i)^2 != 0`, t.j. keď sú body x_i v experimente odlišné (t. j. keď čiara nie je vertikálna).

Odhad chýb koeficientov regresnej priamky

Pre presnejšie posúdenie chyby pri výpočte koeficientov "a" a "b" je žiaduci veľký počet experimentálnych bodov. Keď `n = 2`, nie je možné odhadnúť chybu koeficientov, pretože aproximačná čiara bude jednoznačne prechádzať cez dva body.

Určí sa chyba náhodnej premennej `V` zákon akumulácie chýb
`S_V^2 = súčet_(i=1)^p (frac(čiastočné f)(čiastočné z_i))^2 S_(z_i)^2`,
kde `p` je počet parametrov `z_i` s chybou `S_(z_i)`, ktoré ovplyvňujú chybu `S_V`;
`f` je funkciou závislosti `V` od `z_i`.

Zapíšme si zákon akumulácie chýb pre chybu koeficientov `a` a `b`
`S_a^2 = súčet_(i=1)^(n)(frac(čiastočné a)(čiastočné y_i))^2 S_(y_i)^2 + súčet_(i=1)^(n)(frac(čiastočné a) )(čiastočné x_i))^2 S_(x_i)^2 = S_y^2 súčet_(i=1)^(n)(frac(čiastočné a)(čiastočné y_i))^2 `,
`S_b^2 = súčet_(i=1)^(n)(frac(čiastočné b)(čiastočné y_i))^2 S_(y_i)^2 + súčet_(i=1)^(n)(frac(čiastočné b) )(čiastočné x_i))^2 S_(x_i)^2 = S_y^2 súčet_(i=1)^(n)(frac(čiastočné b)(čiastočné y_i))^2 `,
pretože `S_(x_i)^2 = 0` (predtým sme urobili výhradu, že chyba `x` je zanedbateľná).

`S_y^2 = S_(y_i)^2` – chyba (rozptyl, druhá mocnina štandardnej odchýlky) pri meraní `y` za predpokladu, že chyba je jednotná pre všetky hodnoty `y`.

Dosadením vzorcov na výpočet `a` a `b` do výsledných výrazov dostaneme

`S_a^2 = S_y^2 frac(sum_(i=1)^(n) (sum_(i=1)^(n) x_i^2 — x_i sum_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n súčet_(i=1)^(n) x_i^2 — (súčet_(i=1)^(n) x_i)^2) súčet_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4,1)

`S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i — sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n súčet_(i=1)^(n) x_i^2 — (súčet_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) (4.2)

Vo väčšine skutočných experimentov sa hodnota „Sy“ nemeria. Na to je potrebné vykonať niekoľko paralelných meraní (experimentov) v jednom alebo viacerých bodoch plánu, čo zvyšuje čas (a možno aj náklady) experimentu. Preto sa zvyčajne predpokladá, že odchýlku `y` od regresnej priamky možno považovať za náhodnú. Odhad rozptylu „y“ sa v tomto prípade vypočíta pomocou vzorca.

`S_y^2 = S_(y, zvyšok)^2 = frac(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

Deliteľ „n-2“ sa objavuje, pretože náš počet stupňov voľnosti sa znížil v dôsledku výpočtu dvoch koeficientov pomocou rovnakej vzorky experimentálnych údajov.

Tento odhad sa tiež nazýva reziduálny rozptyl vo vzťahu k regresnej priamke `S_(y, zvyšok)^2`.

Významnosť koeficientov sa hodnotí pomocou Studentovho t testu

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Ak sú vypočítané kritériá `t_a`, `t_b` menšie ako tabuľkové kritériá `t(P, n-2)`, potom sa predpokladá, že zodpovedajúci koeficient sa významne nelíši od nuly s danou pravdepodobnosťou `P`.

Ak chcete posúdiť kvalitu popisu lineárneho vzťahu, môžete porovnať `S_(y, zvyšok)^2` a `S_(bar y)` relatívne k priemeru pomocou Fisherovho kritéria.

`S_(bar y) = frac(sum_(i=1)^n (y_i — takt y)^2) (n-1) = frac(sum_(i=1)^n (y_i — (sum_(i=) 1)^n y_i) /n)^2) (n-1)` - vzorový odhad rozptylu y vo vzťahu k priemeru.

Na posúdenie účinnosti regresnej rovnice na opis závislosti sa vypočíta Fisherov koeficient
`F = S_(pruh y) / S_(y, zvyšok)^2`,
ktorý sa porovnáva s tabuľkovým Fisherovým koeficientom "F(p, n-1, n-2)".

Ak "F > F(P, n-1, n-2)", rozdiel medzi popisom vzťahu "y = f(x)" pomocou regresnej rovnice a popisom pomocou priemeru sa považuje za štatisticky významný s pravdepodobnosťou "P". Tie. regresia popisuje závislosť lepšie ako rozšírenie `y` okolo priemeru.

Kliknite na graf
pridať hodnoty do tabuľky

Metóda najmenších štvorcov. Metóda najmenších štvorcov znamená určenie neznámych parametrov a, b, c, akceptovanej funkčnej závislosti

Metóda najmenších štvorcov sa týka určovania neznámych parametrov a, b, c,… akceptovaná funkčná závislosť

y = f(x,a,b,c,...),

ktorý by poskytol minimum strednej štvorce (rozptyl) chyby

, (24)

kde x i, y i je množina dvojíc čísel získaných z experimentu.

Keďže podmienkou pre extrém funkcie viacerých premenných je podmienka, že jej parciálne derivácie sú rovné nule, potom parametre a, b, c,… sú určené zo sústavy rovníc:

; ; ; … (25)

Je potrebné mať na pamäti, že metóda najmenších štvorcov sa používa na výber parametrov po type funkcie y = f(x) definované

Ak z teoretických úvah nemožno vyvodiť závery o tom, aký by mal byť empirický vzorec, potom sa treba riadiť vizuálnymi reprezentáciami, predovšetkým grafickými reprezentáciami pozorovaných údajov.

V praxi sú najčastejšie obmedzené na nasledujúce typy funkcií:

1) lineárne ;

2) kvadratická a.