Ma wiele zastosowań, gdyż pozwala na przybliżone przedstawienie danej funkcji za pomocą innych, prostszych. LSM może być niezwykle przydatny w przetwarzaniu obserwacji i jest aktywnie wykorzystywany do szacowania niektórych wielkości na podstawie wyników pomiarów innych zawierających błędy losowe. W tym artykule dowiesz się, jak wdrożyć obliczenia metodą najmniejszych kwadratów w programie Excel.

Sformułowanie problemu na konkretnym przykładzie

Załóżmy, że istnieją dwa wskaźniki X i Y. Co więcej, Y zależy od X. Ponieważ OLS interesuje nas z punktu widzenia analizy regresji (w Excelu jego metody są realizowane przy użyciu wbudowanych funkcji), powinniśmy od razu przejść do rozważania konkretny problem.

Niech więc X będzie powierzchnią handlową sklepu spożywczego mierzoną w metrach kwadratowych, a Y będzie rocznym obrotem mierzonym w milionach rubli.

Należy prognozować, jakie obroty (Y) będzie miał sklep, jeżeli będzie posiadał taką czy inną powierzchnię handlową. Oczywiście funkcja Y = f (X) jest rosnąca, ponieważ hipermarket sprzedaje więcej towarów niż stragan.

Kilka słów o poprawności danych wyjściowych wykorzystanych do predykcji

Załóżmy, że mamy tabelę zbudowaną przy użyciu danych dla n sklepów.

Według statystyki matematycznej wyniki będą mniej więcej poprawne, jeśli zbadane zostaną dane dotyczące co najmniej 5-6 obiektów. Ponadto nie można zastosować wyników „anomalnych”. W szczególności elitarny mały butik może osiągać obroty kilkakrotnie większe niż obroty dużych sklepów detalicznych klasy „masmarket”.

Istota metody

Dane tabeli można przedstawić na płaszczyźnie kartezjańskiej w postaci punktów M 1 (x 1, y 1), ... M n (x n, y n). Teraz rozwiązanie problemu sprowadzimy do wyboru funkcji aproksymującej y = f (x), która ma wykres przechodzący jak najbliżej punktów M 1, M 2, .. M n.

Oczywiście możesz użyć wielomianu wysokiego stopnia, ale ta opcja jest nie tylko trudna do wdrożenia, ale także po prostu niepoprawna, ponieważ nie będzie odzwierciedlać głównego trendu, który należy wykryć. Najrozsądniejszym rozwiązaniem jest poszukiwanie prostej y = ax + b, która najlepiej przybliża dane eksperymentalne, a dokładniej współczynniki a i b.

Ocena dokładności

Przy każdym przybliżeniu szczególne znaczenie ma ocena jego dokładności. Oznaczmy przez e i różnicę (odchylenie) między wartościami funkcjonalnymi i eksperymentalnymi dla punktu x i, tj. e i = y i - f (x i).

Oczywiście do oceny dokładności aproksymacji można posłużyć się sumą odchyleń, czyli wybierając linię prostą do przybliżonego przedstawienia zależności X od Y, należy preferować tę, która ma najmniejszą wartość suma e i we wszystkich rozważanych punktach. Nie wszystko jest jednak takie proste, gdyż wraz z odchyleniami dodatnimi pojawią się również odchylenia ujemne.

Problem można rozwiązać za pomocą modułów odchyleń lub ich kwadratów. Ostatnia metoda jest najczęściej stosowana. Znajduje zastosowanie w wielu obszarach, m.in. w analizie regresji (realizowanej w Excelu za pomocą dwóch wbudowanych funkcji) i już dawno udowodniła swoją skuteczność.

Metoda najmniejszych kwadratów

Jak wiadomo, Excel ma wbudowaną funkcję AutoSum, która pozwala obliczyć wartości wszystkich wartości znajdujących się w wybranym zakresie. Zatem nic nie stoi na przeszkodzie, abyśmy obliczyli wartość wyrażenia (e 1 2 + e 2 2 + e 3 2 + ... e n 2).

W zapisie matematycznym wygląda to następująco:

Ponieważ początkowo podjęto decyzję o przybliżeniu za pomocą linii prostej, mamy:

Zatem zadanie znalezienia prostej najlepiej opisującej konkretną zależność wielkości X i Y sprowadza się do obliczenia minimum funkcji dwóch zmiennych:

W tym celu należy przyrównać pochodne cząstkowe nowych zmiennych a i b do zera i rozwiązać układ pierwotny składający się z dwóch równań z 2 niewiadomymi postaci:

Po kilku prostych przekształceniach, obejmujących dzielenie przez 2 i manipulację sumami, otrzymujemy:

Rozwiązując to np. metodą Cramera otrzymujemy punkt stacjonarny o określonych współczynnikach a* i b*. Jest to minimum, czyli aby przewidzieć, jakie obroty będzie miał sklep na danym obszarze, odpowiednia jest linia prosta y = a * x + b *, która jest modelem regresji dla omawianego przykładu. Oczywiście nie pozwoli Ci to znaleźć dokładnego wyniku, ale pomoże Ci zorientować się, czy zakup konkretnego obszaru na kredyt sklepowy się opłaci.

Jak zaimplementować metodę najmniejszych kwadratów w programie Excel

Excel posiada funkcję obliczania wartości metodą najmniejszych kwadratów. Ma następującą postać: „TREND” (znane wartości Y; znane wartości X; nowe wartości X; stała). Zastosujmy do naszej tabeli wzór na obliczenie OLS w Excelu.

W tym celu należy wpisać znak „=” w komórkę, w której ma wyświetlić się wynik obliczeń metodą najmniejszych kwadratów w Excelu i wybrać funkcję „TREND”. W oknie, które się otworzy, wypełnij odpowiednie pola, podkreślając:

• zakres znanych wartości dla Y (w tym przypadku dane dotyczące obrotów handlowych);
• zakres x 1 , …x n , czyli wielkość powierzchni handlowej;
• zarówno znane, jak i nieznane wartości x, dla których musisz dowiedzieć się o wielkości obrotu (informacje o ich lokalizacji w arkuszu znajdziesz poniżej).

Dodatkowo formuła zawiera zmienną logiczną „Const”. Jeśli w odpowiednim polu wpiszesz 1, będzie to oznaczać, że powinieneś przeprowadzić obliczenia, zakładając, że b = 0.

Jeśli chcesz poznać prognozę dla więcej niż jednej wartości x, po wprowadzeniu formuły nie powinieneś naciskać „Enter”, ale musisz wpisać na klawiaturze kombinację „Shift” + „Control” + „Enter”.

Niektóre funkcje

Analiza regresji może być dostępna nawet dla manekinów. Formuła Excela do przewidywania wartości tablicy nieznanych zmiennych – TREND – może być używana nawet przez tych, którzy nigdy nie słyszeli o metodzie najmniejszych kwadratów. Wystarczy poznać niektóre cechy jego działania. W szczególności:

• Jeśli zakres znanych wartości zmiennej y uporządkujesz w jednym wierszu lub kolumnie, to każdy wiersz (kolumna) ze znanymi wartościami x będzie postrzegany przez program jako osobna zmienna.
• Jeżeli w oknie TREND nie zostanie podany zakres o znanym x, to korzystając z funkcji w Excelu, program potraktuje go jako tablicę składającą się z liczb całkowitych, których liczba odpowiada zakresowi z podanymi wartościami zmienna y.
• Aby wyprowadzić tablicę „przewidywanych” wartości, wyrażenie służące do obliczenia trendu należy wprowadzić w postaci formuły tablicowej.
• Jeśli nie zostaną określone nowe wartości x, funkcja TREND uzna je za równe znanym. Jeżeli nie są one określone, wówczas jako argument przyjmowana jest tablica 1; 2; 3; 4;…, co jest proporcjonalne do zakresu o zadanych już parametrach y.
• Zakres zawierający nowe wartości x musi mieć tyle samo lub więcej wierszy lub kolumn co zakres zawierający podane wartości y. Innymi słowy, musi być proporcjonalna do zmiennych niezależnych.
• Tablica ze znanymi wartościami x może zawierać wiele zmiennych. Jeśli jednak mówimy tylko o jednym, to wymagane jest, aby zakresy z podanymi wartościami x i y były proporcjonalne. W przypadku kilku zmiennych konieczne jest, aby zakres z podanymi wartościami y zmieścił się w jednej kolumnie lub jednym wierszu.

funkcja PRZEWIDYWANIE

Realizowane przy użyciu kilku funkcji. Jedna z nich nazywa się „PREDYKCJA”. Działa podobnie jak „TREND”, czyli podaje wynik obliczeń metodą najmniejszych kwadratów. Jednak tylko dla jednego X, dla którego wartość Y nie jest znana.

Teraz znasz formuły w Excelu dla manekinów, które pozwalają przewidzieć przyszłą wartość konkretnego wskaźnika według trendu liniowego.

Metoda najmniejszych kwadratów (OLS) pozwala oszacować różne wielkości na podstawie wyników wielu pomiarów zawierających błędy losowe.

Charakterystyka przedsiębiorstw wielonarodowych

Główną ideą tej metody jest to, że suma kwadratów błędów jest traktowana jako kryterium dokładności rozwiązania problemu, które stara się minimalizować. Przy stosowaniu tej metody można stosować zarówno podejście numeryczne, jak i analityczne.

W szczególności, jako implementacja numeryczna, metoda najmniejszych kwadratów polega na wykonaniu jak największej liczby pomiarów nieznanej zmiennej losowej. Co więcej, im więcej obliczeń, tym dokładniejsze będzie rozwiązanie. Na podstawie tego zestawu obliczeń (danych początkowych) uzyskuje się kolejny zestaw oszacowanych rozwiązań, z których następnie wybierane jest najlepsze. Jeżeli zbiór rozwiązań zostanie sparametryzowany, wówczas metoda najmniejszych kwadratów zostanie zredukowana do znalezienia optymalnej wartości parametrów.

Jako analityczne podejście do realizacji LSM na zbiorze danych początkowych (pomiarów) i oczekiwanym zbiorze rozwiązań, wyznacza się pewien (funkcjonalny), który można wyrazić wzorem uzyskanym jako pewna hipoteza wymagająca potwierdzenia. W tym przypadku metoda najmniejszych kwadratów sprowadza się do znalezienia minimum tego funkcjonału na zbiorze kwadratów błędów danych wyjściowych.

Należy pamiętać, że nie chodzi o same błędy, ale o kwadraty błędów. Dlaczego? Faktem jest, że często odchylenia pomiarów od dokładnej wartości są zarówno dodatnie, jak i ujemne. Przy określaniu średniej proste sumowanie może prowadzić do błędnych wniosków na temat jakości oszacowania, ponieważ anulowanie wartości dodatnich i ujemnych zmniejszy moc próbkowania wielu pomiarów. A co za tym idzie, trafność oceny.

Aby temu zapobiec, kwadraty odchyleń sumuje się. Co więcej, w celu wyrównania wymiaru wartości zmierzonej i ostatecznego oszacowania, wyodrębnia się sumę kwadratów błędów

Niektóre aplikacje MNC

MNC jest szeroko stosowany w różnych dziedzinach. Na przykład w teorii prawdopodobieństwa i statystyce matematycznej metodę stosuje się do określenia takiej cechy zmiennej losowej, jak odchylenie standardowe, które określa szerokość zakresu wartości zmiennej losowej.

Programowanie

• Instruktaż

Wstęp

Jestem matematykiem i programistą. Największym krokiem w mojej karierze był moment, gdy nauczyłem się mówić: "Niczego nierozumiem!" Teraz nie wstydzę się powiedzieć luminarzowi nauki, że wygłasza dla mnie wykład, że nie rozumiem, co on, luminarz, mówi mi. I to jest bardzo trudne. Tak, przyznanie się do swojej niewiedzy jest trudne i zawstydzające. Kto lubi przyznać się do tego, że nie zna jakiejś podstawy? Ze względu na zawód muszę uczestniczyć w dużej liczbie prezentacji i wykładów, z których, przyznaję, w zdecydowanej większości przypadków chce mi się spać, bo nic nie rozumiem. Ale nie rozumiem, bo ogromny problem obecnej sytuacji w nauce leży w matematyce. Zakłada, że ​​wszyscy słuchacze znają absolutnie wszystkie dziedziny matematyki (co jest absurdem). Przyznanie się, że nie wiesz, czym jest pochodna (o tym, czym jest, porozmawiamy nieco później) jest wstydliwe.

Ale nauczyłem się mówić, że nie wiem, co to jest mnożenie. Tak, nie wiem, czym jest podalgebra w stosunku do algebry Liego. Tak, nie wiem, dlaczego równania kwadratowe są potrzebne w życiu. Swoją drogą, jeśli jesteś pewien, że wiesz, to mamy o czym rozmawiać! Matematyka to seria sztuczek. Matematycy próbują dezorientować i zastraszać opinię publiczną; gdzie nie ma zamieszania, nie ma reputacji, nie ma autorytetu. Tak, mówienie możliwie abstrakcyjnym językiem jest prestiżem, co jest kompletną bzdurą.

Czy wiesz, co to jest pochodna? Najprawdopodobniej powiesz mi o granicy stosunku różnicy. Na pierwszym roku matematyki i mechaniki na Uniwersytecie Państwowym w Petersburgu powiedział mi Wiktor Pietrowicz Chawin określony pochodna jako współczynnik pierwszego wyrazu szeregu Taylora funkcji w punkcie (była to osobna gimnastyka wyznaczania szeregu Taylora bez pochodnych). Długo się śmiałem z tej definicji, aż w końcu zrozumiałem, o co w niej chodzi. Pochodna to nic innego jak prosta miara tego, jak podobna jest funkcja, którą różniczkujemy, do funkcji y=x, y=x^2, y=x^3.

Teraz mam zaszczyt prowadzić wykłady dla studentów, którzy przestraszony matematyka. Jeśli boisz się matematyki, jesteśmy na tej samej ścieżce. Gdy tylko spróbujesz przeczytać jakiś tekst i wydaje Ci się, że jest on zbyt skomplikowany, to wiedz, że jest słabo napisany. Twierdzę, że nie ma takiego obszaru matematyki, którego nie da się omówić „na palcach” bez utraty dokładności.

Zadanie na najbliższą przyszłość: Poleciłem moim uczniom zrozumienie, czym jest liniowy regulator kwadratowy. Nie wstydź się, poświęć trzy minuty swojego życia i kliknij link. Jeśli niczego nie rozumiesz, oznacza to, że jesteśmy na tej samej ścieżce. Ja (zawodowy matematyk-programista) też nic nie rozumiałem. Zapewniam, że można to rozgryźć „na palcach”. W tej chwili nie wiem, co to jest, ale zapewniam, że uda nam się to rozgryźć.

Zatem pierwszy wykład, jaki wygłoszę moim studentom po tym, jak przybiegną do mnie z przerażeniem i powiedzą, że regulator liniowo-kwadratowy to straszna rzecz, której nigdy w życiu nie opanujecie, to metody najmniejszych kwadratów. Czy potrafisz rozwiązywać równania liniowe? Jeśli czytasz ten tekst, to najprawdopodobniej nie.

Zatem mając dane dwa punkty (x0, y0), (x1, y1), na przykład (1,1) i (3,2), zadaniem jest znalezienie równania prostej przechodzącej przez te dwa punkty:

ilustracja

Linia ta powinna mieć równanie podobne do poniższego:

Tutaj alfa i beta nie są nam znane, ale znane są dwa punkty tej linii:

Równanie to możemy zapisać w postaci macierzowej:

W tym miejscu należy dokonać lirycznej dygresji: czym jest matrix? Macierz to nic innego jak tablica dwuwymiarowa. Jest to sposób przechowywania danych i nie należy do niego przywiązywać żadnego innego znaczenia. Od nas zależy, jak dokładnie zinterpretujemy daną macierz. Okresowo będę to interpretował jako odwzorowanie liniowe, okresowo jako postać kwadratową, a czasami po prostu jako zbiór wektorów. Wszystko zostanie wyjaśnione w kontekście.

Zastąpmy konkretne macierze ich symboliczną reprezentacją:

Następnie (alfa, beta) można łatwo znaleźć:

Dokładniej dla naszych poprzednich danych:

Co prowadzi do następującego równania prostej przechodzącej przez punkty (1,1) i (3,2):

OK, tutaj wszystko jest jasne. Znajdźmy równanie prostej przechodzącej przez nią trzy punkty: (x0,y0), (x1,y1) i (x2,y2):

Och, och, och, ale mamy trzy równania z dwiema niewiadomymi! Zwykły matematyk powie, że nie ma rozwiązania. Co powie programista? I najpierw przepisze poprzedni układ równań w następującej formie:

W naszym przypadku wektory i, j, b są trójwymiarowe, dlatego (w ogólnym przypadku) ten układ nie ma rozwiązania. Dowolny wektor (alfa\*i + beta\*j) leży w płaszczyźnie rozpiętej przez wektory (i, j). Jeśli b nie należy do tej płaszczyzny, to nie ma rozwiązania (w równaniu nie można osiągnąć równości). Co robić? Szukajmy kompromisu. Oznaczmy przez e(alfa, beta) dokładnie, jak daleko nie osiągnęliśmy równości:

Postaramy się zminimalizować ten błąd:

Dlaczego kwadratowy?

Szukamy nie tylko minimum normy, ale także minimum kwadratu normy. Dlaczego? Sam punkt minimalny pokrywa się, a kwadrat daje funkcję gładką (funkcję kwadratową argumentów (alfa, beta)), natomiast sama długość daje funkcję w kształcie stożka, niezróżniczkowalną w punkcie minimalnym. Br. Kwadrat jest wygodniejszy.

Oczywiście błąd jest minimalizowany, gdy wektor mi prostopadłe do płaszczyzny rozpiętej na wektorach I I J.

Ilustracja

Innymi słowy: szukamy takiej prostej, aby suma kwadratów długości odległości wszystkich punktów od tej prostej była minimalna:

AKTUALIZACJA: Mam tutaj problem, odległość do linii prostej należy mierzyć w pionie, a nie w rzucie ortogonalnym. Komentator ma rację.

Ilustracja

Zupełnie innymi słowami (ostrożnie, słabo sformalizowany, ale powinno być jasne): bierzemy wszystkie możliwe proste pomiędzy wszystkimi parami punktów i szukamy średniej pomiędzy wszystkimi:

Ilustracja

Inne wyjaśnienie jest proste: dołączamy sprężynę pomiędzy wszystkimi punktami danych (tutaj mamy trzy) a linią prostą, której szukamy, a linia prosta stanu równowagi jest dokładnie tym, czego szukamy.

Minimalna forma kwadratowa

Biorąc pod uwagę ten wektor B oraz płaszczyzna rozpięta wektorami kolumnowymi macierzy A(w tym przypadku (x0,x1,x2) i (1,1,1)), szukamy wektora mi o minimalnej długości kwadratowej. Oczywiście minimum można osiągnąć tylko dla wektora mi, prostopadła do płaszczyzny rozpiętej przez wektory kolumnowe macierzy A:

Inaczej mówiąc, szukamy wektora x=(alfa, beta) takiego, że:

Przypomnę, że ten wektor x=(alfa, beta) jest minimum funkcji kwadratowej ||e(alfa, beta)||^2:

W tym miejscu warto pamiętać, że macierz można interpretować także w postaci kwadratowej, np. macierz jednostkowa ((1,0),(0,1)) można interpretować jako funkcję x^2 + y^ 2:

forma kwadratowa

Cała ta gimnastyka znana jest pod nazwą regresji liniowej.

Równanie Laplace'a z warunkiem brzegowym Dirichleta

Teraz najprostsze prawdziwe zadanie: istnieje pewna trójkątna powierzchnia, należy ją wygładzić. Na przykład załadujmy model mojej twarzy:

Oryginalne zatwierdzenie jest dostępne. Aby zminimalizować zależności zewnętrzne, wziąłem kod mojego oprogramowania renderującego, już na Habré. Do rozwiązania układu liniowego używam OpenNL, jest to doskonały solwer, który jednak jest bardzo trudny w instalacji: trzeba skopiować dwa pliki (.h+.c) do folderu z projektem. Całe wygładzanie odbywa się za pomocą następującego kodu:

Dla (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&twarz = twarze[i]; dla (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

Współrzędne X, Y i Z są rozłączne, wygładzam je oddzielnie. Oznacza to, że rozwiązuję trzy układy równań liniowych, każdy z liczbą zmiennych równą liczbie wierzchołków mojego modelu. W pierwszych n wierszach macierzy A znajduje się tylko jedna cyfra 1 w każdym wierszu, a pierwsze n wierszy wektora b ma oryginalne współrzędne modelu. Oznacza to, że wiążę sprężynę pomiędzy nową pozycją wierzchołka a starą pozycją wierzchołka - nowe nie powinny zbytnio oddalać się od starych.

We wszystkich kolejnych wierszach macierzy A (faces.size()*3 = liczba krawędzi wszystkich trójkątów w siatce) występuje jedno wystąpienie wartości 1 i jedno wystąpienie -1, przy czym wektor b ma przeciwne składowe zerowe. Oznacza to, że umieściłem sprężynę na każdej krawędzi naszej trójkątnej siatki: wszystkie krawędzie starają się uzyskać ten sam wierzchołek, co ich punkt początkowy i końcowy.

Jeszcze raz: wszystkie wierzchołki są zmienne i nie mogą oddalić się od swojego pierwotnego położenia, ale jednocześnie starają się upodobnić do siebie.

Oto wynik:

Wszystko byłoby w porządku, model rzeczywiście jest wygładzony, jednak odszedł od pierwotnej krawędzi. Zmieńmy trochę kod:

Dla (int i=0; tj<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

W naszej macierzy A dla wierzchołków znajdujących się na krawędzi dodaję nie wiersz z kategorii v_i = verts[i][d], ale 1000*v_i = 1000*verts[i][d]. Co to zmienia? A to zmienia naszą kwadratową postać błędu. Teraz pojedyncze odchylenie od góry przy krawędzi będzie kosztować nie jedną jednostkę, jak poprzednio, ale 1000*1000 jednostek. Oznacza to, że na skrajnych wierzchołkach zawiesiliśmy mocniejszą sprężynę, rozwiązanie będzie wolało mocniej naciągnąć pozostałe. Oto wynik:

Podwoimy siłę sprężyny między wierzchołkami:
nlWspółczynnik(twarz[j], 2); nlWspółczynnik(twarz[(j+1)%3], -2);

Logiczne jest, że powierzchnia stała się gładsza:

A teraz jeszcze sto razy silniejszy:

Co to jest? Wyobraź sobie, że zanurzyliśmy druciany pierścień w wodzie z mydłem. W rezultacie powstały film mydlany będzie starał się mieć jak najmniejszą krzywiznę, dotykając granicy - naszego drucianego pierścienia. Dokładnie to uzyskaliśmy ustalając brzeg i prosząc o gładką powierzchnię wewnątrz. Gratulacje, właśnie rozwiązaliśmy równanie Laplace'a z warunkami brzegowymi Dirichleta. Brzmi nieźle? Ale w rzeczywistości wystarczy rozwiązać jeden układ równań liniowych.

Równanie Poissona

Zapamiętajmy kolejną fajną nazwę.

Powiedzmy, że mam taki obraz:

Wszystkim się podoba, ale mi nie podoba się to krzesło.

Przetnę zdjęcie na pół:

I wybiorę krzesło własnymi rękami:

Następnie przeciągnę wszystko, co białe w masce na lewą stronę obrazu, a jednocześnie na całym obrazie powiem, że różnica między dwoma sąsiednimi pikselami powinna być równa różnicy między dwoma sąsiednimi pikselami po prawej stronie zdjęcie:

Dla (int i=0; tj

Oto wynik:

Dostępny kod i zdjęcia

Przykład.

Dane eksperymentalne dotyczące wartości zmiennych X I Na podano w tabeli.

W wyniku ich wyrównania uzyskuje się funkcję

Za pomocą metoda najmniejszych kwadratów, aproksymuj te dane za pomocą zależności liniowej y=topór+b(znajdź parametry A I B). Dowiedz się, która z dwóch linii lepiej (w sensie metody najmniejszych kwadratów) wyrównuje dane eksperymentalne. Narysuj coś.

Istota metody najmniejszych kwadratów (LSM).

Zadanie polega na znalezieniu współczynników zależności liniowej, przy której funkcjonuje funkcja dwóch zmiennych A I B przyjmuje najmniejszą wartość. To znaczy, dane A I B suma kwadratów odchyleń danych eksperymentalnych od znalezionej prostej będzie najmniejsza. Na tym polega cały sens metody najmniejszych kwadratów.

Zatem rozwiązanie przykładu sprowadza się do znalezienia ekstremum funkcji dwóch zmiennych.

Wyprowadzanie wzorów na znalezienie współczynników.

Układ dwóch równań z dwiema niewiadomymi jest kompilowany i rozwiązywany. Znajdowanie pochodnych cząstkowych funkcji po zmiennych A I B, przyrównujemy te pochodne do zera.

Powstały układ równań rozwiązujemy dowolną metodą (np metodą podstawieniową lub ) i uzyskać wzory na znalezienie współczynników metodą najmniejszych kwadratów (LSM).

Dany A I B funkcjonować przyjmuje najmniejszą wartość. Podano dowód tego faktu.

To cała metoda najmniejszych kwadratów. Wzór na znalezienie parametru A zawiera sumy , , i parametr N- ilość danych eksperymentalnych. Zalecamy oddzielne obliczanie wartości tych kwot. Współczynnik B znalezione po obliczeniach A.

Czas przypomnieć sobie oryginalny przykład.

Rozwiązanie.

W naszym przykładzie n=5. Wypełniamy tabelę dla wygody obliczenia kwot uwzględnionych we wzorach wymaganych współczynników.

Wartości w czwartym wierszu tabeli uzyskuje się poprzez pomnożenie wartości drugiego wiersza przez wartości trzeciego wiersza dla każdej liczby I.

Wartości w piątym wierszu tabeli uzyskuje się przez podniesienie do kwadratu wartości w drugim wierszu dla każdej liczby I.

Wartości w ostatniej kolumnie tabeli są sumami wartości w wierszach.

Do znalezienia współczynników używamy wzorów metody najmniejszych kwadratów A I B. Podstawiamy do nich odpowiednie wartości z ostatniej kolumny tabeli:

Stąd, y = 0,165x+2,184- żądana przybliżająca linia prosta.

Pozostaje dowiedzieć się, która z linii y = 0,165x+2,184 Lub lepiej przybliża oryginalne dane, czyli dokonuje oszacowania metodą najmniejszych kwadratów.

Estymacja błędu metodą najmniejszych kwadratów.

Aby to zrobić, musisz obliczyć sumę kwadratów odchyleń oryginalnych danych od tych linii I , mniejsza wartość odpowiada linii, która lepiej przybliża oryginalne dane w sensie metody najmniejszych kwadratów.

Od , potem prosto y = 0,165x+2,184 lepiej przybliża oryginalne dane.

Graficzna ilustracja metody najmniejszych kwadratów (LS).

Wszystko doskonale widać na wykresach. Czerwona linia to znaleziona linia prosta y = 0,165x+2,184, niebieska linia to , różowe kropki to dane oryginalne.

Dlaczego jest to potrzebne, po co te wszystkie przybliżenia?

Osobiście używam go do rozwiązywania problemów związanych z wygładzaniem danych, interpolacją i ekstrapolacją (w oryginalnym przykładzie można zostać poproszony o znalezienie wartości obserwowanej wartości y Na x=3 albo kiedy x=6 metodą najmniejszych kwadratów). Ale porozmawiamy o tym więcej później w innej części witryny.

Dowód.

Tak więc, gdy zostanie znaleziony A I B funkcja przyjmuje najmniejszą wartość, konieczne jest, aby w tym miejscu macierz postaci kwadratowej różniczki drugiego rzędu dla funkcji był dodatnio określony. Pokażmy to.

Przybliżmy funkcję wielomianem stopnia 2. Aby to zrobić, obliczamy współczynniki normalnego układu równań:

, ,

Stwórzmy normalny system najmniejszych kwadratów, który ma postać:

Rozwiązanie układu jest łatwe do znalezienia:, , .

W ten sposób znaleziono wielomian drugiego stopnia: .

Informacje teoretyczne

Wróć do strony<Введение в вычислительную математику. Примеры>

Przykład 2. Znalezienie optymalnego stopnia wielomianu.

Wróć do strony<Введение в вычислительную математику. Примеры>

Przykład 3. Wyprowadzenie układu równań normalnych do znalezienia parametrów zależności empirycznej.

Wyprowadźmy układ równań w celu wyznaczenia współczynników i funkcji , który wykonuje przybliżenie średniokwadratowe danej funkcji punktami. Utwórzmy funkcję i zapisz niezbędny warunek ekstremalny:

Wtedy normalny system przyjmie postać:

Otrzymaliśmy liniowy układ równań dla nieznanych parametrów, który można łatwo rozwiązać.

Informacje teoretyczne

Wróć do strony<Введение в вычислительную математику. Примеры>

Przykład.

Dane eksperymentalne dotyczące wartości zmiennych X I Na podano w tabeli.

W wyniku ich wyrównania uzyskuje się funkcję

Za pomocą metoda najmniejszych kwadratów, aproksymuj te dane za pomocą zależności liniowej y=topór+b(znajdź parametry A I B). Dowiedz się, która z dwóch linii lepiej (w sensie metody najmniejszych kwadratów) wyrównuje dane eksperymentalne. Narysuj coś.

Istota metody najmniejszych kwadratów (LSM).

Zadanie polega na znalezieniu współczynników zależności liniowej, przy której funkcjonuje funkcja dwóch zmiennych A I Bprzyjmuje najmniejszą wartość. To znaczy, dane A I B suma kwadratów odchyleń danych eksperymentalnych od znalezionej prostej będzie najmniejsza. Na tym polega cały sens metody najmniejszych kwadratów.

Zatem rozwiązanie przykładu sprowadza się do znalezienia ekstremum funkcji dwóch zmiennych.

Wyprowadzanie wzorów na znalezienie współczynników.

Układ dwóch równań z dwiema niewiadomymi jest kompilowany i rozwiązywany. Znajdowanie pochodnych cząstkowych funkcji przez zmienne A I B, przyrównujemy te pochodne do zera.

Powstały układ równań rozwiązujemy dowolną metodą (np metodą podstawieniową lub metoda Cramera) i otrzymać wzory na znalezienie współczynników metodą najmniejszych kwadratów (LSM).

Dany A I B funkcjonować przyjmuje najmniejszą wartość. Dowód tego faktu przytoczono poniżej w tekście na końcu strony.

To cała metoda najmniejszych kwadratów. Wzór na znalezienie parametru A zawiera sumy , , i parametr N— ilość danych eksperymentalnych. Zalecamy oddzielne obliczanie wartości tych kwot.

Współczynnik B znalezione po obliczeniach A.

Czas przypomnieć sobie oryginalny przykład.

Rozwiązanie.

W naszym przykładzie n=5. Wypełniamy tabelę dla wygody obliczenia kwot uwzględnionych we wzorach wymaganych współczynników.

Wartości w czwartym wierszu tabeli uzyskuje się poprzez pomnożenie wartości drugiego wiersza przez wartości trzeciego wiersza dla każdej liczby I.

Wartości w piątym wierszu tabeli uzyskuje się przez podniesienie do kwadratu wartości w drugim wierszu dla każdej liczby I.

Wartości w ostatniej kolumnie tabeli są sumami wartości w wierszach.

Do znalezienia współczynników używamy wzorów metody najmniejszych kwadratów A I B. Podstawiamy do nich odpowiednie wartości z ostatniej kolumny tabeli:

Stąd, y = 0,165x+2,184— żądaną przybliżoną linię prostą.

Pozostaje dowiedzieć się, która z linii y = 0,165x+2,184 Lub lepiej przybliża oryginalne dane, czyli dokonuje oszacowania metodą najmniejszych kwadratów.

Estymacja błędu metodą najmniejszych kwadratów.

Aby to zrobić, musisz obliczyć sumę kwadratów odchyleń oryginalnych danych od tych linii I , mniejsza wartość odpowiada linii, która lepiej przybliża oryginalne dane w sensie metody najmniejszych kwadratów.

Od , potem prosto y = 0,165x+2,184 lepiej przybliża oryginalne dane.

Graficzna ilustracja metody najmniejszych kwadratów (LS).

Wszystko doskonale widać na wykresach. Czerwona linia to znaleziona linia prosta y = 0,165x+2,184, niebieska linia to , różowe kropki to dane oryginalne.

Dlaczego jest to potrzebne, po co te wszystkie przybliżenia?

Osobiście używam go do rozwiązywania problemów związanych z wygładzaniem danych, interpolacją i ekstrapolacją (w oryginalnym przykładzie można zostać poproszony o znalezienie wartości obserwowanej wartości y Na x=3 albo kiedy x=6 metodą najmniejszych kwadratów). Ale porozmawiamy o tym więcej później w innej części witryny.

Na górze strony

Dowód.

Tak więc, gdy zostanie znaleziony A I B funkcja przyjmuje najmniejszą wartość, konieczne jest, aby w tym miejscu macierz postaci kwadratowej różniczki drugiego rzędu dla funkcji był dodatnio określony. Pokażmy to.

Różniczka drugiego rzędu ma postać:

To jest

Zatem macierz postaci kwadratowej ma postać

a wartości elementów nie zależą od A I B.

Pokażmy, że macierz jest dodatnio określona. Aby to zrobić, nieletni kątowe muszą być dodatnie.

Moll kątowy pierwszego rzędu . Nierówność jest ścisła, ponieważ punkty nie pokrywają się. W dalszej części będziemy to sugerować.

Moll kątowy drugiego rzędu

Udowodnijmy to metodą indukcji matematycznej.

Wniosek: znalezione wartości A I B odpowiadają najmniejszej wartości funkcji są zatem wymaganymi parametrami metody najmniejszych kwadratów.

Nie masz czasu, żeby to przemyśleć?
Zamów rozwiązanie

Na górze strony

Opracowanie prognozy metodą najmniejszych kwadratów. Przykład rozwiązania problemu

Ekstrapolacja to metoda badań naukowych, która opiera się na rozpowszechnianiu przeszłych i obecnych trendów, wzorców i powiązań z przyszłym rozwojem obiektu prognozy. Metody ekstrapolacji obejmują metoda średniej ruchomej, metoda wygładzania wykładniczego, metoda najmniejszych kwadratów.

Istota metoda najmniejszych kwadratów polega na minimalizowaniu sumy kwadratów odchyleń pomiędzy wartościami obserwowanymi i obliczonymi. Obliczone wartości znajdują się za pomocą wybranego równania - równania regresji. Im mniejsza odległość pomiędzy wartościami rzeczywistymi i obliczonymi, tym dokładniejsza jest prognoza oparta na równaniu regresji.

Podstawą wyboru krzywej jest teoretyczna analiza istoty badanego zjawiska, którego zmiana znajduje odzwierciedlenie w szeregu czasowym. Czasami brane są pod uwagę rozważania dotyczące charakteru wzrostu poziomów szeregu. Jeżeli zatem oczekuje się wzrostu produkcji w postępie arytmetycznym, to wygładzanie przeprowadza się w linii prostej. Jeśli okaże się, że wzrost przebiega w postępie geometrycznym, wówczas należy przeprowadzić wygładzanie za pomocą funkcji wykładniczej.

Roboczy wzór na metodę najmniejszych kwadratów : Yt+1 = a*X + b, gdzie t + 1 – okres prognozy; Уt+1 – przewidywany wskaźnik; aib są współczynnikami; X jest symbolem czasu.

Obliczenia współczynników a i b przeprowadza się za pomocą następujących wzorów:

gdzie, Uf – wartości rzeczywiste szeregu dynamiki; n – liczba poziomów szeregów czasowych;

Wygładzanie szeregów czasowych metodą najmniejszych kwadratów służy odzwierciedleniu schematu rozwoju badanego zjawiska. W analitycznym wyrażeniu trendu czas jest uważany za zmienną niezależną, a poziomy szeregu działają jako funkcja tej zmiennej niezależnej.

Rozwój zjawiska nie zależy od tego, ile lat minęło od punktu wyjścia, ale od tego, jakie czynniki wpłynęły na jego rozwój, w jakim kierunku i z jaką intensywnością. Stąd jasno wynika, że ​​rozwój zjawiska w czasie jest wynikiem działania tych czynników.

Prawidłowe ustalenie rodzaju krzywej, rodzaju zależności analitycznej od czasu jest jednym z najtrudniejszych zadań analizy predykcyjnej .

Wybór rodzaju funkcji opisującej trend, której parametry wyznaczane są metodą najmniejszych kwadratów, w większości przypadków odbywa się empirycznie, konstruując szereg funkcji i porównując je ze sobą według wartości błąd średniokwadratowy, obliczany ze wzoru:

gdzie UV są rzeczywistymi wartościami szeregu dynamiki; Ur – obliczone (wygładzone) wartości szeregu dynamiki; n – liczba poziomów szeregów czasowych; p – liczba parametrów zdefiniowanych we wzorach opisujących trend (trend rozwoju).

Wady metody najmniejszych kwadratów :

• próbując opisać badane zjawisko gospodarcze za pomocą równania matematycznego, prognoza będzie dokładna przez krótki okres czasu, a równanie regresji należy przeliczyć w miarę pojawiania się nowych informacji;
• złożoność wyboru równania regresji, które można rozwiązać przy użyciu standardowych programów komputerowych.

Przykład zastosowania metody najmniejszych kwadratów do opracowania prognozy

Zadanie . Istnieją dane charakteryzujące stopę bezrobocia w województwie, proc.

• Skonstruuj prognozę stopy bezrobocia w województwie na listopad, grudzień, styczeń, korzystając z metod: średniej kroczącej, wygładzania wykładniczego, najmniejszych kwadratów.
• Oblicz błędy w otrzymanych prognozach, stosując każdą metodę.
• Porównaj wyniki i wyciągnij wnioski.

Rozwiązanie metodą najmniejszych kwadratów

Aby rozwiązać ten problem, sporządzimy tabelę, w której dokonamy niezbędnych obliczeń:

ε = 28,63/10 = 2,86% dokładność prognozy wysoki.

Wniosek : Porównanie wyników uzyskanych z obliczeń metoda średniej ruchomej , metoda wygładzania wykładniczego oraz metodą najmniejszych kwadratów można powiedzieć, że średni błąd względny przy obliczeniach metodą wygładzania wykładniczego mieści się w przedziale 20-50%. Oznacza to, że trafność prognozy w tym przypadku jest jedynie zadowalająca.

W pierwszym i trzecim przypadku dokładność prognozy jest wysoka, ponieważ średni błąd względny jest mniejszy niż 10%. Jednak metoda średniej ruchomej pozwoliła uzyskać bardziej wiarygodne wyniki (prognoza na listopad - 1,52%, prognoza na grudzień - 1,53%, prognoza na styczeń - 1,49%), ponieważ średni błąd względny przy stosowaniu tej metody jest najmniejszy - 1 ,13%.

Metoda najmniejszych kwadratów

Inne artykuły na ten temat:

Lista wykorzystanych źródeł

1. Zalecenia naukowo-metodologiczne dotyczące diagnozowania ryzyk społecznych oraz prognozowania wyzwań, zagrożeń i konsekwencji społecznych. Rosyjski Państwowy Uniwersytet Społeczny. Moskwa. 2010;
2. Władimirowa L.P. Prognozowanie i planowanie w warunkach rynkowych: Podręcznik. dodatek. M.: Wydawnictwo „Dashkov i Spółka”, 2001;
3. Novikova N.V., Pozdeeva O.G. Prognozowanie gospodarki narodowej: Podręcznik edukacyjno-metodyczny. Jekaterynburg: Wydawnictwo Ural. państwo ekonomia. Uniwersytet, 2007;
4. Slutskin L.N. Kurs MBA z zakresu prognozowania biznesowego. M.: Alpina Business Books, 2006.

programu MNC

Wprowadzanie danych

Dane i aproksymacja y = a + bx

I- numer punktu doświadczalnego;
x ja- wartość stałego parametru w punkcie I;
tak, ja- wartość mierzonego parametru w punkcie I;
ωi- pomiar masy w punkcie I;
tak, oblicz.- różnica pomiędzy wartością zmierzoną i obliczoną metodą regresji y w tym punkcie I;
S x i (x i)- oszacowanie błędu x ja podczas pomiaru y w tym punkcie I.

Dane i aproksymacja y = kx

I	x ja	tak, ja	ωi	tak, oblicz.	Δy ja	S x i (x i)

Kliknij na wykres

Instrukcja obsługi programu online MNC.

W polu danych wpisz w każdej osobnej linii wartości `x` i `y` w jednym punkcie doświadczalnym. Wartości muszą być oddzielone znakiem odstępu (spacją lub tabulatorem).

Trzecią wartością może być waga punktu „w”. Jeśli waga punktu nie jest określona, ​​jest ona równa jeden. W zdecydowanej większości przypadków wagi punktów doświadczalnych są nieznane lub nie obliczone, tj. wszystkie dane eksperymentalne uważa się za równoważne. Czasami wagi w badanym zakresie wartości absolutnie nie są równoważne i można je nawet obliczyć teoretycznie. Na przykład w spektrofotometrii masy można obliczyć za pomocą prostych wzorów, chociaż jest to najczęściej zaniedbywane w celu zmniejszenia kosztów pracy.

Dane można wkleić za pomocą schowka z arkusza kalkulacyjnego w pakiecie biurowym takim jak Excel z pakietu Microsoft Office lub Calc z pakietu Open Office. Aby to zrobić, w arkuszu kalkulacyjnym zaznacz zakres danych do skopiowania, skopiuj do schowka i wklej dane w polu danych na tej stronie.

Aby dokonać obliczeń metodą najmniejszych kwadratów, potrzebne są co najmniej dwa punkty, aby wyznaczyć dwa współczynniki `b` - tangens kąta nachylenia prostej oraz `a` - wartość przecinana przez prostą na osi `y`.

Aby oszacować błąd obliczonych współczynników regresji, należy ustawić liczbę punktów eksperymentalnych na więcej niż dwa.

Metoda najmniejszych kwadratów (LSM).

Im większa liczba punktów doświadczalnych, tym dokładniejsza ocena statystyczna współczynników (ze względu na zmniejszenie współczynnika Studenta) i tym bliższe oszacowaniu próby ogólnej.

Uzyskanie wartości w każdym punkcie doświadczalnym często wiąże się ze znacznymi kosztami pracy, dlatego często przeprowadza się kompromisową liczbę eksperymentów, która daje możliwy do opanowania szacunek i nie prowadzi do nadmiernych kosztów pracy. Z reguły liczbę punktów eksperymentalnych dla liniowej zależności metodą najmniejszych kwadratów z dwoma współczynnikami wybiera się w zakresie 5-7 punktów.

Krótka teoria najmniejszych kwadratów dla relacji liniowych

Załóżmy, że mamy zbiór danych eksperymentalnych w postaci par wartości [`y_i`, `x_i`], gdzie `i` to numer jednego pomiaru eksperymentalnego od 1 do `n`; `y_i` - wartość wielkości mierzonej w punkcie `i`; `x_i` - wartość parametru, którą ustawiamy w punkcie `i`.

Rozważmy na przykład działanie prawa Ohma. Zmieniając napięcie (różnicę potencjałów) pomiędzy odcinkami obwodu elektrycznego, mierzymy ilość prądu przepływającego przez ten odcinek. Fizyka podaje nam zależność stwierdzoną eksperymentalnie:

`I = U/R`,
gdzie „I” to aktualna siła; `R` - opór; „U” - napięcie.

W tym przypadku „y_i” to mierzona wartość prądu, a „x_i” to wartość napięcia.

Jako inny przykład rozważmy absorpcję światła przez roztwór substancji w roztworze. Chemia podaje nam wzór:

`A = ε l C`,
gdzie „A” oznacza gęstość optyczną roztworu; `ε` - transmitancja substancji rozpuszczonej; `l` - długość drogi, po której światło przechodzi przez kuwetę z roztworem; „C” oznacza stężenie rozpuszczonej substancji.

W tym przypadku „y_i” to zmierzona wartość gęstości optycznej „A”, a „x_i” to wartość stężenia określonej przez nas substancji.

Rozważymy przypadek, gdy błąd względny w przypisaniu `x_i` jest znacznie mniejszy niż błąd względny w pomiarze `y_i`. Założymy również, że wszystkie zmierzone wartości `y_i` są losowe i mają rozkład normalny, tj. przestrzegać prawa dystrybucji normalnej.

W przypadku liniowej zależności `y` od `x` możemy napisać zależność teoretyczną:
`y = a + b x`.

Z geometrycznego punktu widzenia współczynnik „b” oznacza tangens kąta nachylenia linii do osi „x”, a współczynnik „a” – wartość „y” w punkcie przecięcia linii z osią „y” (w punkcie „x = 0”).

Znajdowanie parametrów linii regresji.

W eksperymencie zmierzone wartości „y_i” nie mogą dokładnie leżeć na teoretycznej linii prostej z powodu błędów pomiarowych, które zawsze są nieodłączne w prawdziwym życiu. Dlatego równanie liniowe musi być reprezentowane przez układ równań:
`y_i = a + b x_i + ε_i` (1),
gdzie „ε_i” to nieznany błąd pomiaru „y” w „i”-tym eksperymencie.

Zależność (1) jest również nazywana regresja, tj. zależność dwóch wielkości od siebie o znaczeniu statystycznym.

Zadaniem przywrócenia zależności jest znalezienie współczynników `a` i `b` z punktów eksperymentalnych [`y_i`, `x_i`).

Aby znaleźć współczynniki „a” i „b”, zwykle używa się go metoda najmniejszych kwadratów(MNC). Jest to szczególny przypadek zasady największej wiarygodności.

Zapiszmy (1) w postaci `ε_i = y_i - a - b x_i`.

Wtedy będzie suma kwadratów błędów
`Φ = suma_(i=1)^(n) ε_i^2 = suma_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Zasada najmniejszych kwadratów (najmniejszych kwadratów) polega na minimalizowaniu sumy (2) w odniesieniu do parametrów „a” i „b”.

Minimum osiąga się, gdy pochodne cząstkowe sumy (2) względem współczynników „a” i „b” są równe zeru:
`frac(częściowe Φ)(częściowe a) = frac(suma częściowa_(i=1)^(n) (y_i - a - b x_i)^2)(częściowe a) = 0`
`frac(częściowe Φ)(częściowe b) = frac(częściowe suma_(i=1)^(n) (y_i - a - b x_i)^2)(częściowe b) = 0`

Rozwijając pochodne otrzymujemy układ dwóch równań z dwiema niewiadomymi:
`suma_(i=1)^(n) (2a + 2bx_i — 2y_i) = suma_(i=1)^(n) (a + bx_i — y_i) = 0`
`suma_(i=1)^(n) (2bx_i^2 + 2ax_i — 2x_iy_i) = suma_(i=1)^(n) (bx_i^2 + ax_i — x_iy_i) = 0`

Otwieramy nawiasy i przenosimy sumy niezależne od wymaganych współczynników na drugą połowę, otrzymujemy układ równań liniowych:
`suma_(i=1)^(n) y_i = a n + b suma_(i=1)^(n) bx_i`
`suma_(i=1)^(n) x_iy_i = a suma_(i=1)^(n) x_i + b suma_(i=1)^(n) x_i^2`

Rozwiązując powstały układ, znajdujemy wzory na współczynniki „a” i „b”:

`a = frac(suma_(i=1)^(n) y_i suma_(i=1)^(n) x_i^2 — suma_(i=1)^(n) x_i suma_(i=1)^(n ) x_iy_i) (n suma_(i=1)^(n) x_i^2 — (suma_(i=1)^(n) x_i)^2)` (3.1)

`b = frac(n suma_(i=1)^(n) x_iy_i — suma_(i=1)^(n) x_i suma_(i=1)^(n) y_i) (n suma_(i=1)^ (n) x_i^2 — (suma_(i=1)^(n) x_i)^2)` (3.2)

Wzory te mają rozwiązania, gdy `n > 1` (prostą można zbudować korzystając z co najmniej 2 punktów) oraz gdy wyznacznik `D = n suma_(i=1)^(n) x_i^2 - (suma_(i= 1 )^(n) x_i)^2 != 0`, tj. gdy punkty `x_i` w eksperymencie są różne (tj. gdy linia nie jest pionowa).

Estymacja błędów współczynników linii regresji

Dla dokładniejszej oceny błędu w obliczaniu współczynników „a” i „b” pożądana jest duża liczba punktów doświadczalnych. Gdy `n = 2` nie da się oszacować błędu współczynników, ponieważ linia aproksymacji będzie jednoznacznie przechodzić przez dwa punkty.

Wyznacza się błąd zmiennej losowej „V”. prawo akumulacji błędów
`S_V^2 = suma_(i=1)^p (frac(częściowa f)(częściowa z_i))^2 S_(z_i)^2`,
gdzie `p` to liczba parametrów `z_i` z błędem `S_(z_i)`, które wpływają na błąd `S_V`;
`f` jest funkcją zależności `V` od `z_i`.

Zapiszmy prawo kumulacji błędów dla błędu współczynników „a” i „b”.
`S_a^2 = suma_(i=1)^(n)(frac(częściowa a)(częściowa y_i))^2 S_(y_i)^2 + suma_(i=1)^(n)(frac(częściowa a )(częściowe x_i))^2 S_(x_i)^2 = S_y^2 suma_(i=1)^(n)(frac(częściowe a)(częściowe y_i))^2 `,
`S_b^2 = suma_(i=1)^(n)(frac(częściowa b)(częściowa y_i))^2 S_(y_i)^2 + suma_(i=1)^(n)(frac(częściowa b )(częściowe x_i))^2 S_(x_i)^2 = S_y^2 suma_(i=1)^(n)(frac(częściowe b)(częściowe y_i))^2 `,
ponieważ `S_(x_i)^2 = 0` (wcześniej zastrzegaliśmy, że błąd `x` jest pomijalny).

`S_y^2 = S_(y_i)^2` - błąd (wariancja, kwadrat odchylenia standardowego) pomiaru `y` przy założeniu, że błąd jest jednakowy dla wszystkich wartości `y`.

Podstawiając wzory do obliczania „a” i „b” do otrzymanych wyrażeń, otrzymujemy

`S_a^2 = S_y^2 frac(suma_(i=1)^(n) (suma_(i=1)^(n) x_i^2 — x_i suma_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n suma_(i=1)^(n) x_i^2 — (suma_(i=1)^(n) x_i)^2) suma_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(suma_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frac(suma_(i=1)^(n) (n x_i — suma_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n suma_(i=1)^(n) x_i^2 — (suma_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4.2)

W większości rzeczywistych eksperymentów nie mierzy się wartości „Sy”. W tym celu konieczne jest wykonanie kilku równoległych pomiarów (eksperymentów) w jednym lub kilku punktach planu, co wydłuża czas (i ewentualnie koszt) eksperymentu. Dlatego zwykle przyjmuje się, że odchylenie „y” od linii regresji można uznać za losowe. Estymację wariancji „y” w tym przypadku oblicza się ze wzoru.

`S_y^2 = S_(y, reszta)^2 = frac(suma_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

Dzielnik „n-2” pojawia się, ponieważ liczba stopni swobody zmniejszyła się w wyniku obliczenia dwóch współczynników przy użyciu tej samej próbki danych eksperymentalnych.

Oszacowanie to nazywane jest także wariancją resztową względem linii regresji „S_(y, reszta)^2”.

Istotność współczynników ocenia się za pomocą testu t-Studenta

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Jeżeli obliczone kryteria „t_a”, „t_b” są mniejsze niż kryteria tabelaryczne „t(P, n-2)”, wówczas uważa się, że odpowiadający im współczynnik nie różni się istotnie od zera przy danym prawdopodobieństwie „P”.

Aby ocenić jakość opisu zależności liniowej, można porównać „S_(y, reszta)^2” i „S_(słupek y)” w odniesieniu do średniej, stosując kryterium Fishera.

`S_(bar y) = frac(suma_(i=1)^n (y_i — słupek y)^2) (n-1) = frac(suma_(i=1)^n (y_i — (suma_(i= 1)^n y_i) /n)^2) (n-1)` - przykładowe oszacowanie wariancji `y` względem średniej.

Aby ocenić skuteczność równania regresji do opisu zależności, oblicza się współczynnik Fishera
`F = S_(takt y) / S_(y, reszta)^2`,
który porównuje się z tabelarycznym współczynnikiem Fishera „F(p, n-1, n-2)”.

Jeżeli `F > F(P, n-1, n-2)`, różnicę pomiędzy opisem zależności `y = f(x)` za pomocą równania regresji a opisem za pomocą średniej uważa się za istotną statystycznie z prawdopodobieństwem `P`. Te. regresja opisuje zależność lepiej niż rozpiętość „y” wokół średniej.

Kliknij na wykres
aby dodać wartości do tabeli

Metoda najmniejszych kwadratów. Metoda najmniejszych kwadratów oznacza wyznaczenie nieznanych parametrów a, b, c, przyjętej zależności funkcjonalnej

Metoda najmniejszych kwadratów polega na wyznaczaniu nieznanych parametrów a, b, c,… akceptowana zależność funkcjonalna

y = f(x,a,b,c,…),

co zapewniłoby minimum średniego kwadratu (wariancji) błędu

, (24)

gdzie x i, y i jest zbiorem par liczb uzyskanych z eksperymentu.

Ponieważ warunkiem ekstremum funkcji kilku zmiennych jest warunek, że jej pochodne cząstkowe są równe zeru, to parametry a, b, c,… wyznaczane są z układu równań:

; ; ; … (25)

Należy pamiętać, że do doboru parametrów po typie funkcji stosuje się metodę najmniejszych kwadratów y = f(x) zdefiniowany

Jeżeli z rozważań teoretycznych nie można wyciągnąć żadnych wniosków co do tego, jaki powinien być wzór empiryczny, wówczas należy kierować się przedstawieniami wizualnymi, przede wszystkim graficznymi przedstawieniami obserwowanych danych.

W praktyce najczęściej ograniczają się one do następujących typów funkcji:

1) liniowy ;

2) kwadratowy a.