ექსპერიმენტული მონაცემების დაახლოება არის მეთოდი, რომელიც დაფუძნებულია ექსპერიმენტულად მიღებული მონაცემების შეცვლაზე ანალიტიკური ფუნქციით, რომელიც ყველაზე ახლოს გადის ან ემთხვევა კვანძოვან წერტილებში თავდაპირველ მნიშვნელობებს (ცდის ან ექსპერიმენტის დროს მიღებული მონაცემები). ამჟამად, ანალიტიკური ფუნქციის განსაზღვრის ორი გზა არსებობს:

n-ხარისხის ინტერპოლაციის მრავალწევრის აგებით, რომელიც გადის პირდაპირ ყველა პუნქტითმოცემული მონაცემთა მასივი. ამ შემთხვევაში მიახლოებითი ფუნქცია წარმოდგენილია სახით: ინტერპოლაციის პოლინომი ლაგრანგის ფორმით ან ინტერპოლაციის პოლინომი ნიუტონის სახით.

n-ხარისხის მიახლოებითი მრავალწევრის აგებით, რომელიც გადის პუნქტების უშუალო სიახლოვესმოცემული მონაცემთა მასივიდან. ამრიგად, მიახლოებითი ფუნქცია არბილებს ყველა შემთხვევით ხმაურს (ან შეცდომებს), რომლებიც შეიძლება წარმოიშვას ექსპერიმენტის დროს: ექსპერიმენტის დროს გაზომილი მნიშვნელობები დამოკიდებულია შემთხვევით ფაქტორებზე, რომლებიც მერყეობენ საკუთარი შემთხვევითი კანონების მიხედვით (გაზომვის ან ინსტრუმენტის შეცდომები, უზუსტობა ან ექსპერიმენტული შეცდომები). ამ შემთხვევაში მიახლოების ფუნქცია განისაზღვრება უმცირესი კვადრატების მეთოდით.

მინიმალური კვადრატის მეთოდი(ინგლისურ ლიტერატურაში Ordinary Least Squares, OLS) არის მათემატიკური მეთოდი, რომელიც დაფუძნებულია მიახლოებითი ფუნქციის განსაზღვრაზე, რომელიც აგებულია ექსპერიმენტული მონაცემების მოცემული მასივიდან წერტილებთან ყველაზე ახლოს. საწყისი და მიახლოებითი ფუნქციების F(x) სიახლოვე განისაზღვრება რიცხვითი საზომით, კერძოდ: ექსპერიმენტული მონაცემების კვადრატული გადახრების ჯამი მიახლოებითი მრუდიდან F(x) უნდა იყოს ყველაზე მცირე.

მიახლოებითი მრუდი აგებულია უმცირესი კვადრატების მეთოდით

ყველაზე მცირე კვადრატების მეთოდი გამოიყენება:

ზედმეტად განსაზღვრული განტოლებათა სისტემების ამოხსნა, როცა განტოლებათა რაოდენობა აჭარბებს უცნობის რაოდენობას;

გამოსავლის პოვნა განტოლებათა ჩვეულებრივი (არა ზედმეტად განსაზღვრული) არაწრფივი სისტემების შემთხვევაში;

წერტილის მნიშვნელობების მიახლოება გარკვეული მიახლოებითი ფუნქციით.

უმცირესი კვადრატების მეთოდის გამოყენებით მიახლოების ფუნქცია განისაზღვრება ექსპერიმენტული მონაცემების მოცემული მასივიდან გამოთვლილი მიახლოებითი ფუნქციის კვადრატული გადახრების მინიმალური ჯამის პირობიდან. უმცირესი კვადრატების მეთოდის ეს კრიტერიუმი იწერება შემდეგი გამოთქმის სახით:

გამოთვლილი მიახლოებითი ფუნქციის მნიშვნელობები კვანძოვან წერტილებში,

ექსპერიმენტული მონაცემების მოცემული მასივი კვანძოვან წერტილებზე.

კვადრატულ კრიტერიუმს აქვს მრავალი „კარგი“ თვისება, როგორიცაა დიფერენციალურობა, რომელიც უზრუნველყოფს მიახლოების პრობლემის უნიკალურ გადაწყვეტას პოლინომიური მიახლოების ფუნქციებით.

ამოცანის პირობებიდან გამომდინარე, მიახლოებითი ფუნქციაა m ხარისხის მრავალწევრი

მიახლოებითი ფუნქციის ხარისხი არ არის დამოკიდებული კვანძოვანი წერტილების რაოდენობაზე, მაგრამ მისი განზომილება ყოველთვის ნაკლები უნდა იყოს მოცემული ექსპერიმენტული მონაცემთა მასივის განზომილებაზე (პუნქტების რაოდენობაზე).

∙ თუ მიახლოებითი ფუნქციის ხარისხი არის m=1, მაშინ ცხრილის ფუნქციას მივაახლოებთ სწორი ხაზით (წრფივი რეგრესია).

∙ თუ მიახლოებითი ფუნქციის ხარისხი არის m=2, მაშინ ცხრილის ფუნქციას ვაახლოებთ კვადრატული პარაბოლით (კვადრატული დაახლოება).

∙ თუ მიახლოებითი ფუნქციის ხარისხი არის m=3, მაშინ ცხრილის ფუნქციას ვაახლოებთ კუბურ პარაბოლას (კუბური მიახლოება).

ზოგად შემთხვევაში, როდესაც საჭიროა ცხრილის მოცემული მნიშვნელობებისთვის m ხარისხის მიახლოებითი პოლინომის აგება, ყველა კვანძის წერტილზე კვადრატული გადახრების ჯამის მინიმალური პირობა გადაიწერება შემდეგი სახით:

- m ხარისხის მიახლოებითი მრავალწევრის უცნობი კოეფიციენტები;

მითითებული ცხრილის მნიშვნელობების რაოდენობა.

ფუნქციის მინიმუმის არსებობის აუცილებელი პირობაა მისი ნაწილობრივი წარმოებულების ნულის ტოლობა უცნობი ცვლადების მიმართ. . შედეგად, ჩვენ ვიღებთ განტოლებების შემდეგ სისტემას:

გადავცვალოთ მიღებული განტოლებათა წრფივი სისტემა: გავხსნათ ფრჩხილები და გადავიტანოთ თავისუფალი ტერმინები გამოხატვის მარჯვენა მხარეს. შედეგად, ხაზოვანი ალგებრული გამონათქვამების შედეგად მიღებული სისტემა დაიწერება შემდეგი ფორმით:

ხაზოვანი ალგებრული გამონათქვამების ეს სისტემა შეიძლება გადაიწეროს მატრიცის სახით:

შედეგად მიღებული იქნა m+1 განზომილების წრფივი განტოლებათა სისტემა, რომელიც შედგება m+1 უცნობისაგან. ამ სისტემის ამოხსნა შესაძლებელია წრფივი ალგებრული განტოლებების ამოხსნის ნებისმიერი მეთოდის გამოყენებით (მაგალითად, გაუსის მეთოდი). ამოხსნის შედეგად მოიძებნება მიახლოებითი ფუნქციის უცნობი პარამეტრები, რომლებიც უზრუნველყოფენ მიახლოებითი ფუნქციის კვადრატული გადახრების მინიმალურ ჯამს საწყისი მონაცემებისგან, ე.ი. საუკეთესო შესაძლო კვადრატული დაახლოება. უნდა გვახსოვდეს, რომ თუ წყაროს მონაცემების თუნდაც ერთი მნიშვნელობა შეიცვლება, ყველა კოეფიციენტი შეიცვლება მნიშვნელობებს, რადგან ისინი მთლიანად განისაზღვრება წყაროს მონაცემებით.

წყაროს მონაცემების დაახლოება წრფივი დამოკიდებულებით

(წრფივი რეგრესია)

მაგალითად, განვიხილოთ მიახლოებითი ფუნქციის განსაზღვრის ტექნიკა, რომელიც მითითებულია წრფივი დამოკიდებულების სახით. უმცირესი კვადრატების მეთოდის მიხედვით, კვადრატული გადახრების ჯამის მინიმალური პირობა იწერება შემდეგი ფორმით:

ცხრილის კვანძების კოორდინატები;

მიახლოებითი ფუნქციის უცნობი კოეფიციენტები, რომელიც მითითებულია წრფივი დამოკიდებულების სახით.

ფუნქციის მინიმუმის არსებობის აუცილებელი პირობაა მისი ნაწილობრივი წარმოებულების ნულის ტოლობა უცნობი ცვლადების მიმართ. შედეგად, ჩვენ ვიღებთ განტოლებების შემდეგ სისტემას:

მოდით გადავცვალოთ მიღებული განტოლებათა წრფივი სისტემა.

ჩვენ ვხსნით სწორხაზოვან განტოლებათა სისტემას. მიახლოებითი ფუნქციის კოეფიციენტები ანალიტიკური ფორმით განისაზღვრება შემდეგნაირად (კრამერის მეთოდი):

ეს კოეფიციენტები უზრუნველყოფს წრფივი მიახლოებითი ფუნქციის აგებას მოცემული ცხრილის მნიშვნელობებიდან (ექსპერიმენტული მონაცემები) მიახლოებითი ფუნქციის კვადრატების ჯამის მინიმიზაციის კრიტერიუმის შესაბამისად.

უმცირესი კვადრატების მეთოდის განხორციელების ალგორითმი

1. საწყისი მონაცემები:

მითითებულია ექსპერიმენტული მონაცემების მასივი N გაზომვების რაოდენობით

მითითებულია მიახლოებითი მრავალწევრის ხარისხი (m).

2. გაანგარიშების ალგორითმი:

2.1. კოეფიციენტები განისაზღვრება განტოლებათა სისტემის ასაგებად განზომილებებით

განტოლებათა სისტემის კოეფიციენტები (განტოლების მარცხენა მხარე)

- განტოლებათა სისტემის კვადრატული მატრიცის სვეტის ნომრის ინდექსი

წრფივი განტოლებათა სისტემის თავისუფალი ტერმინები (განტოლების მარჯვენა მხარე)

- განტოლებათა სისტემის კვადრატული მატრიცის მწკრივის რიცხვის ინდექსი

2.2. განზომილებით წრფივი განტოლებათა სისტემის ფორმირება.

2.3. m ხარისხის მიახლოებითი მრავალწევრის უცნობი კოეფიციენტების დასადგენად წრფივი განტოლებათა სისტემის ამოხსნა.

2.4 მიახლოებითი მრავალწევრის კვადრატული გადახრების ჯამის განსაზღვრა საწყისი მნიშვნელობებიდან ყველა კვანძოვან წერტილში

კვადრატული გადახრების ჯამის ნაპოვნი მნიშვნელობა არის მინიმალური შესაძლო.

დაახლოება სხვა ფუნქციების გამოყენებით

უნდა აღინიშნოს, რომ ორიგინალური მონაცემების მიახლოებისას უმცირესი კვადრატების მეთოდის შესაბამისად, ლოგარითმული ფუნქცია, ექსპონენციალური ფუნქცია და სიმძლავრის ფუნქცია ზოგჯერ გამოიყენება როგორც მიახლოებითი ფუნქცია.

ლოგარითმული დაახლოება

განვიხილოთ შემთხვევა, როდესაც მიახლოებითი ფუნქცია მოცემულია ფორმის ლოგარითმული ფუნქციით:

უმცირესი კვადრატების მეთოდი (OLS) საშუალებას გაძლევთ შეაფასოთ სხვადასხვა რაოდენობა შემთხვევითი შეცდომების შემცველი მრავალი გაზომვის შედეგების გამოყენებით.

MNE-ების მახასიათებლები

ამ მეთოდის მთავარი იდეა ისაა, რომ კვადრატული შეცდომების ჯამი განიხილება პრობლემის გადაჭრის სიზუსტის კრიტერიუმად, რომლის მინიმიზაციასაც ისინი ცდილობენ. ამ მეთოდის გამოყენებისას შეიძლება გამოყენებულ იქნას როგორც რიცხვითი, ასევე ანალიტიკური მიდგომები.

კერძოდ, როგორც რიცხვითი განხორციელება, უმცირესი კვადრატების მეთოდი გულისხმობს უცნობი შემთხვევითი ცვლადის რაც შეიძლება მეტი გაზომვის მიღებას. უფრო მეტიც, რაც მეტი გათვლები იქნება, მით უფრო ზუსტი იქნება გამოსავალი. გამოთვლების ამ ნაკრების (საწყისი მონაცემების) საფუძველზე მიიღება სავარაუდო გადაწყვეტილებების კიდევ ერთი ნაკრები, საიდანაც შემდეგ შეირჩევა საუკეთესო. თუ ამონახსნების სიმრავლე პარამეტრიზებულია, მაშინ უმცირესი კვადრატების მეთოდი შემცირდება პარამეტრების ოპტიმალური მნიშვნელობის პოვნამდე.

როგორც ანალიტიკური მიდგომა LSM-ის განხორციელების საწყის მონაცემებზე (გაზომვები) და გადაწყვეტილებების მოსალოდნელი ნაკრები, განისაზღვრება გარკვეული (ფუნქციონალური), რომელიც შეიძლება გამოიხატოს ფორმულით მიღებული, როგორც გარკვეული ჰიპოთეზა, რომელიც მოითხოვს დადასტურებას. ამ შემთხვევაში, უმცირესი კვადრატების მეთოდი მცირდება ამ ფუნქციის მინიმუმის პოვნაზე თავდაპირველი მონაცემების კვადრატული შეცდომების სიმრავლეზე.

გთხოვთ გაითვალისწინოთ, რომ ეს არ არის თავად შეცდომები, არამედ შეცდომების კვადრატები. რატომ? ფაქტია, რომ ხშირად გაზომვების გადახრები ზუსტი მნიშვნელობიდან არის როგორც დადებითი, ასევე უარყოფითი. საშუალოს განსაზღვრისას, მარტივმა შეჯამებამ შეიძლება გამოიწვიოს არასწორი დასკვნა შეფასების ხარისხის შესახებ, რადგან დადებითი და უარყოფითი მნიშვნელობების გაუქმება შეამცირებს მრავალჯერადი გაზომვის შერჩევის ძალას. და, შესაბამისად, შეფასების სიზუსტე.

ამის თავიდან ასაცილებლად, კვადრატული გადახრები ჯამდება. უფრო მეტიც, გაზომილი მნიშვნელობის განზომილების და საბოლოო შეფასების გასათანაბრებლად, ამოღებულია კვადრატული შეცდომების ჯამი.

ზოგიერთი MNC აპლიკაცია

MNC ფართოდ გამოიყენება სხვადასხვა სფეროში. მაგალითად, ალბათობის თეორიაში და მათემატიკურ სტატისტიკაში, მეთოდი გამოიყენება შემთხვევითი ცვლადის ისეთი მახასიათებლის დასადგენად, როგორიცაა სტანდარტული გადახრა, რომელიც განსაზღვრავს შემთხვევითი ცვლადის მნიშვნელობების დიაპაზონის სიგანეს.

• სახელმძღვანელო

შესავალი

ვარ მათემატიკოსი და პროგრამისტი. ჩემს კარიერაში ყველაზე დიდი ნახტომი იყო, როცა ვისწავლე მეთქვა: "Ვერაფერი გავიგე!"ახლა არ მრცხვენია, რომ მეცნიერების მნათობს ვუთხრა, რომ ლექციას მაკითხავს, ​​რომ არ მესმის, რას მეუბნება ის, მნათობი. და ძალიან რთულია. დიახ, შენი უცოდინრობის აღიარება რთული და უხერხულია. ვის მოსწონს იმის აღიარება, რომ რაღაცის საფუძვლები არ იცის? პროფესიიდან გამომდინარე, მიწევს უამრავ პრეზენტაციასა და ლექციაზე დასწრება, სადაც ვაღიარებ, უმეტეს შემთხვევაში ძილი მინდა, რადგან არაფერი მესმის. მაგრამ მე არ მესმის, რადგან მეცნიერებაში არსებული ვითარების უზარმაზარი პრობლემა მათემატიკაშია. იგი ვარაუდობს, რომ ყველა მსმენელი იცნობს მათემატიკის აბსოლუტურად ყველა სფეროს (რაც აბსურდია). იმის აღიარება, რომ არ იცი რა არის წარმოებული (რაზეც ცოტა მოგვიანებით ვისაუბრებთ) სამარცხვინოა.

მაგრამ მე ვისწავლე იმის თქმა, რომ არ ვიცი რა არის გამრავლება. დიახ, მე არ ვიცი რა არის სუბალგებრა ტყუილის ალგებრაზე. დიახ, არ ვიცი, რატომ არის საჭირო კვადრატული განტოლებები ცხოვრებაში. სხვათა შორის, თუ დარწმუნებული ხართ, რომ იცით, მაშინ სალაპარაკო გვაქვს! მათემატიკა არის ხრიკების სერია. მათემატიკოსები ცდილობენ საზოგადოების დაბნევას და დაშინებას; სადაც არ არის დაბნეულობა, არ არის რეპუტაცია, არ არის ავტორიტეტი. დიახ, პრესტიჟულია რაც შეიძლება აბსტრაქტულ ენაზე საუბარი, რაც სრული სისულელეა.

წარმოებული იცი რა არის? დიდი ალბათობით თქვენ მეტყვით სხვაობის შეფარდების ლიმიტის შესახებ. პეტერბურგის სახელმწიფო უნივერსიტეტის მათემატიკისა და მექანიკის პირველ კურსზე ვიქტორ პეტროვიჩ ხავინმა მითხრა განსაზღვრულიწარმოებული, როგორც ფუნქციის ტეილორის სერიის პირველი წევრის კოეფიციენტი წერტილში (ეს იყო ცალკე ტანვარჯიში ტეილორის სერიის დასადგენად წარმოებულების გარეშე). დიდხანს ვიცინოდი ამ განსაზღვრებაზე, სანამ საბოლოოდ მივხვდი რაში იყო საქმე. წარმოებული სხვა არაფერია, თუ არა მარტივი საზომი იმისა, თუ რამდენად ჰგავს ფუნქციას, რომელსაც ჩვენ განვასხვავებთ, y=x, y=x^2, y=x^3 ფუნქციას.

მე ახლა მაქვს პატივი ლექციების წაკითხვა სტუდენტებთან, რომლებიც შეშინებულიმათემატიკა. თუ მათემატიკის გეშინიათ, ჩვენ იმავე გზაზე ვართ. როგორც კი რაიმე ტექსტის წაკითხვას შეეცდებით და მოგეჩვენებათ, რომ ის ზედმეტად რთულია, მაშინ იცოდეთ, რომ ის ცუდად არის დაწერილი. მე ვამტკიცებ, რომ არ არსებობს მათემატიკის არც ერთი სფერო, რომლის განხილვა შეუძლებელია "თითებზე" სიზუსტის დაკარგვის გარეშე.

დავალება უახლოესი მომავლისთვის: ჩემს მოსწავლეებს დავავალე გაერკვნენ რა არის წრფივი კვადრატული რეგულატორი. არ მოგერიდოთ, გაატარეთ თქვენი ცხოვრების სამი წუთი და მიჰყევით ბმულს. თუ არაფერი გესმით, მაშინ ჩვენ იმავე გზაზე ვართ. მეც (პროფესიონალი მათემატიკოსი პროგრამისტი) ვერაფერი გავიგე. და გარწმუნებთ, ამის გარკვევა შეგიძლიათ „თითებზე“. ამჟამად არ ვიცი რა არის, მაგრამ გარწმუნებთ, რომ ამის გარკვევას შევძლებთ.

ასე რომ, პირველი ლექცია, რომელსაც ვაპირებ ჩემს სტუდენტებს ჩავატარო მას შემდეგ, რაც ისინი შეშინებულები მოდიან ჩემთან და მეტყვიან, რომ წრფივი-კვადრატული რეგულატორი არის საშინელი რამ, რასაც ვერასოდეს დაეუფლები შენს ცხოვრებაში არის მინიმალური კვადრატების მეთოდები. შეგიძლიათ ამოხსნათ წრფივი განტოლებები? თუ თქვენ კითხულობთ ამ ტექსტს, მაშინ დიდი ალბათობით არა.

ასე რომ, ორი წერტილის (x0, y0), (x1, y1) მოცემული, მაგალითად, (1,1) და (3,2), ამოცანაა ვიპოვოთ ამ ორ წერტილში გამავალი წრფის განტოლება:

ილუსტრაცია

ამ ხაზს უნდა ჰქონდეს შემდეგი განტოლება:

აქ ალფა და ბეტა ჩვენთვის უცნობია, მაგრამ ცნობილია ამ ხაზის ორი წერტილი:

ჩვენ შეგვიძლია დავწეროთ ეს განტოლება მატრიცის სახით:

აქ უნდა გავაკეთოთ ლირიკული გადახრა: რა არის მატრიცა? მატრიცა სხვა არაფერია, თუ არა ორგანზომილებიანი მასივი. ეს არის მონაცემების შენახვის საშუალება; მას არ უნდა დაერთოს დამატებითი მნიშვნელობა. ჩვენზეა დამოკიდებული ზუსტად როგორ განვმარტოთ გარკვეული მატრიცა. პერიოდულად მე განვიხილავ მას, როგორც ხაზოვან რუქას, პერიოდულად, როგორც კვადრატულ ფორმას და ზოგჯერ უბრალოდ, როგორც ვექტორთა ერთობლიობას. ეს ყველაფერი კონტექსტში გაირკვევა.

მოდით შევცვალოთ კონკრეტული მატრიცები მათი სიმბოლური გამოსახულებით:

შემდეგ (ალფა, ბეტა) შეგიძლიათ მარტივად იპოვოთ:

უფრო კონკრეტულად ჩვენი წინა მონაცემებისთვის:

რაც იწვევს (1,1) და (3,2) წერტილებში გამავალი წრფის შემდეგ განტოლებას:

კარგი, აქ ყველაფერი გასაგებია. ვიპოვოთ გამავალი წრფის განტოლება სამიქულები: (x0,y0), (x1,y1) და (x2,y2):

ოჰ-ო-ო, მაგრამ ჩვენ გვაქვს სამი განტოლება ორი უცნობისთვის! სტანდარტული მათემატიკოსი იტყვის, რომ გამოსავალი არ არის. რას იტყვის პროგრამისტი? და ის ჯერ გადაწერს განტოლებათა წინა სისტემას შემდეგი სახით:

ჩვენს შემთხვევაში, i, j, b ვექტორები სამგანზომილებიანია, ამიტომ (ზოგად შემთხვევაში) ამ სისტემის ამოხსნა არ არსებობს. ნებისმიერი ვექტორი (ალფა\*ი + ბეტა\*j) დევს ვექტორების (i, j) მიერ დაფარულ სიბრტყეში. თუ b არ განეკუთვნება ამ სიბრტყეს, მაშინ არ არსებობს ამონახსნი (თანასწორობა ვერ მიიღწევა განტოლებაში). Რა უნდა ვქნა? მოდი ვეძიოთ კომპრომისი. მოდი აღვნიშნოთ e (ალფა, ბეტა)ზუსტად რამდენად ვერ მივაღწიეთ თანასწორობას:

და ჩვენ შევეცდებით მინიმუმამდე დავიყვანოთ ეს შეცდომა:

რატომ მოედანზე?

ჩვენ ვეძებთ არა მხოლოდ ნორმის მინიმუმს, არამედ ნორმის კვადრატის მინიმუმს. რატომ? მინიმალური წერტილი თავისთავად ემთხვევა და კვადრატი იძლევა გლუვ ფუნქციას (არგუმენტების კვადრატული ფუნქცია (ალფა, ბეტა)), ხოლო უბრალოდ სიგრძე იძლევა კონუსის ფორმის ფუნქციას, რომელიც არ განსხვავდება მინიმალურ წერტილში. ბრრ. კვადრატი უფრო მოსახერხებელია.

ცხადია, შეცდომა მინიმუმამდეა დაყვანილი, როდესაც ვექტორი ეორთოგონალური სიბრტყეზე, რომელიც გადაფარავს ვექტორებს მედა ჯ.

ილუსტრაცია

სხვა სიტყვებით რომ ვთქვათ: ჩვენ ვეძებთ სწორ ხაზს, რომ ყველა წერტილიდან ამ სწორ ხაზამდე მანძილების კვადრატული სიგრძის ჯამი მინიმალური იყოს:

განახლება: აქ მაქვს პრობლემა, მანძილი სწორ ხაზამდე უნდა გაიზომოს ვერტიკალურად და არა ორთოგონალური პროექციით. მართალია ეს კომენტატორი.

ილუსტრაცია

სრულიად განსხვავებული სიტყვებით (ფრთხილად, ცუდად ფორმალიზებული, მაგრამ გასაგები უნდა იყოს): ჩვენ ვიღებთ ყველა შესაძლო ხაზს ყველა წყვილ წერტილს შორის და ვეძებთ საშუალო ხაზს ყველას შორის:

ილუსტრაცია

კიდევ ერთი ახსნა მარტივია: ჩვენ ვამაგრებთ ზამბარას ყველა მონაცემთა წერტილს შორის (აქ გვაქვს სამი) და სწორ ხაზს, რომელსაც ვეძებთ, და წონასწორობის მდგომარეობის სწორი ხაზი არის ზუსტად ის, რასაც ჩვენ ვეძებთ.

მინიმალური კვადრატული ფორმა

ასე რომ, ამ ვექტორის გათვალისწინებით ბდა მატრიცის სვეტის ვექტორებით დაფარულ სიბრტყეს ა(ამ შემთხვევაში (x0,x1,x2) და (1,1,1)), ჩვენ ვეძებთ ვექტორს ესიგრძის მინიმალური კვადრატით. ცხადია, მინიმალური მიღწევა მხოლოდ ვექტორისთვისაა შესაძლებელი ე, ორთოგონალური სიბრტყის მიმართ, რომელიც დაფარავს მატრიცის სვეტის ვექტორებს ა:

სხვა სიტყვებით რომ ვთქვათ, ჩვენ ვეძებთ ვექტორს x=(ალფა, ბეტა), რომ:

შეგახსენებთ, რომ ეს ვექტორი x=(ალფა, ბეტა) არის კვადრატული ფუნქციის მინიმალური ||e(ალფა, ბეტა)||^2:

აქ სასარგებლო იქნება გვახსოვდეს, რომ მატრიცა შეიძლება ასევე იყოს ინტერპრეტირებული, როგორც კვადრატული ფორმა, მაგალითად, იდენტობის მატრიცა ((1,0),(0,1)) შეიძლება განიმარტოს როგორც x^2 + y^ ფუნქცია. 2:

კვადრატული ფორმა

მთელი ეს ტანვარჯიში ცნობილია ხაზოვანი რეგრესიის სახელით.

ლაპლასის განტოლება დირიხლეს სასაზღვრო მდგომარეობასთან

ახლა უმარტივესი რეალური ამოცანაა: არსებობს გარკვეული სამკუთხა ზედაპირი, აუცილებელია მისი გასწორება. მაგალითად, ავტვირთოთ ჩემი სახის მოდელი:

ორიგინალური ვალდებულება ხელმისაწვდომია. გარე დამოკიდებულებების შესამცირებლად, მე ავიღე ჩემი პროგრამული უზრუნველყოფის რენდერის კოდი, უკვე Habré-ზე. ხაზოვანი სისტემის გადასაჭრელად მე ვიყენებ OpenNL-ს, ეს არის შესანიშნავი ამომხსნელი, რომლის ინსტალაცია, თუმცა, ძალიან რთულია: თქვენ უნდა დააკოპიროთ ორი ფაილი (.h+.c) საქაღალდეში თქვენი პროექტით. ყველა გამარტივება ხდება შემდეგი კოდით:

ამისთვის (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&face = სახეები[i]; for (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

X, Y და Z კოორდინატები განცალკევებულია, მე მათ ცალკე ვასწორებ. ანუ, მე ვხსნი წრფივი განტოლებების სამ სისტემას, თითოეულში ცვლადების რაოდენობა ტოლია ჩემს მოდელში წვეროების რაოდენობას. A მატრიცის პირველ n მწკრივს აქვს მხოლოდ ერთი 1 მწკრივზე, ხოლო b ვექტორის პირველ n სტრიქონს აქვს ორიგინალური მოდელის კოორდინატები. ანუ წვეროს ახალ პოზიციასა და წვერის ძველ პოზიციას შორის ზამბარას ვაკრავ - ახლები ძველს ძალიან შორს არ უნდა გადავიდეს.

A მატრიცის ყველა მომდევნო მწკრივს (faces.size()*3 = ბადის ყველა სამკუთხედის კიდეების რაოდენობა) აქვს 1-ის ერთი და -1-ის ერთი შემთხვევა, ხოლო b ვექტორს აქვს ნულოვანი კომპონენტები საპირისპირო. ეს ნიშნავს, რომ მე დავაყენე ზამბარა ჩვენი სამკუთხა ბადის თითოეულ კიდეზე: ყველა კიდე ცდილობს მიიღოს იგივე წვერო, როგორც მათი საწყისი და დასასრული წერტილი.

კიდევ ერთხელ ვიმეორებ: ყველა წვერო ცვლადია და ისინი ვერ შორდებიან თავდაპირველი პოზიციიდან, მაგრამ ამავე დროს ცდილობენ, დაემსგავსონ ერთმანეთს.

აი შედეგი:

ყველაფერი კარგად იქნებოდა, მოდელი ნამდვილად გათლილი იყო, მაგრამ ის გადავიდა თავდაპირველ კიდეზე. მოდით ცოტათი შევცვალოთ კოდი:

ამისთვის (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

ჩვენს მატრიცაში A, წვეროებისთვის, რომლებიც კიდეზეა, მე ვამატებ არა სტრიქონს v_i = verts[i][d] კატეგორიიდან, არამედ 1000*v_i = 1000* verts[i][d]. რას ცვლის? და ეს ცვლის შეცდომის ჩვენს კვადრატულ ფორმას. ახლა კიდეზე ზემოდან ერთი გადახრა ეღირება არა ერთი ერთეული, როგორც ადრე, არამედ 1000*1000 ერთეული. ანუ უკიდურეს წვეროებზე უფრო ძლიერი ზამბარა დავკიდეთ, გამოსავალი ურჩევნია სხვების უფრო ძლიერად დაჭიმვას. აი შედეგი:

გავაორმაგოთ ზამბარის სიძლიერე წვეროებს შორის:
nlCoefficient(face[j], 2); nlCoefficient(face[(j+1)%3], -2);

ლოგიკურია, რომ ზედაპირი უფრო გლუვი გახდა:

ახლა კი ასჯერ უფრო ძლიერი:

Ეს რა არის? წარმოიდგინეთ, რომ მავთულის რგოლი საპნიან წყალში ჩავყარეთ. შედეგად, მიღებული საპნის ფილმი შეეცდება ჰქონდეს რაც შეიძლება ნაკლები გამრუდება, რაც შეეხება საზღვარს - ჩვენს მავთულის რგოლს. ეს არის ზუსტად ის, რაც მივიღეთ საზღვრის დაფიქსირებით და შიგნით გლუვი ზედაპირის მოთხოვნით. გილოცავთ, ჩვენ ახლახან მოვაგვარეთ ლაპლასის განტოლება დირიხლეს სასაზღვრო პირობებით. Კარგად ჟღერს? მაგრამ სინამდვილეში, თქვენ უბრალოდ უნდა ამოხსნათ წრფივი განტოლებების ერთი სისტემა.

პუასონის განტოლება

გავიხსენოთ კიდევ ერთი მაგარი სახელი.

ვთქვათ, მაქვს ასეთი სურათი:

ყველას კარგად გამოიყურება, მაგრამ მე არ მომწონს სკამი.

სურათს გავანახევრებ:

და სკამს ჩემი ხელით ავირჩევ:

შემდეგ ყველაფერს, რაც ნიღაბში არის თეთრი, სურათის მარცხენა მხარეს გადავაადგილებ და ამავდროულად მთელი სურათის მანძილზე ვიტყვი, რომ განსხვავება ორ მეზობელ პიქსელს შორის უნდა იყოს ტოლი სხვაობის ორ მეზობელ პიქსელს შორის მარჯვნივ. სურათი:

ამისთვის (int i=0; i

აი შედეგი:

კოდი და სურათები ხელმისაწვდომია

მინიმალური კვადრატის მეთოდი

უმცირესი კვადრატის მეთოდი ( OLS, OLS, ჩვეულებრივი უმცირესი კვადრატები) - რეგრესიული ანალიზის ერთ-ერთი ძირითადი მეთოდი რეგრესიის მოდელების უცნობი პარამეტრების შეფასების ნიმუშის მონაცემების გამოყენებით. მეთოდი ეფუძნება რეგრესიის ნარჩენების კვადრატების ჯამის მინიმიზაციას.

უნდა აღინიშნოს, რომ თავად უმცირესი კვადრატების მეთოდს შეიძლება ეწოდოს მეთოდი პრობლემის გადასაჭრელად ნებისმიერ სფეროში, თუ გამოსავალი მდგომარეობს ან აკმაყოფილებს საჭირო ცვლადების ზოგიერთი ფუნქციის კვადრატების ჯამის მინიმიზაციის კრიტერიუმს. მაშასადამე, უმცირესი კვადრატების მეთოდი ასევე შეიძლება გამოვიყენოთ მოცემული ფუნქციის მიახლოებით წარმოდგენისთვის (დაახლოებით) სხვა (უმარტივესი) ფუნქციებით, როდესაც ვიპოვით სიმრავლეებს, რომლებიც აკმაყოფილებს განტოლებებს ან შეზღუდვებს, რომელთა რაოდენობა აღემატება ამ სიდიდეების რაოდენობას. და ა.შ.

MNC-ის არსი

მოყვანილი იყოს (ახსნილ) ცვლადს შორის ალბათური (რეგრესიული) ურთიერთობის ზოგიერთი (პარამეტრული) მოდელი. წდა მრავალი ფაქტორი (ახსნა ცვლადები) x

სად არის უცნობი მოდელის პარამეტრების ვექტორი

- შემთხვევითი მოდელის შეცდომა.

მოდით ასევე იყოს ამ ცვლადების მნიშვნელობების ნიმუშის დაკვირვება. მოდით იყოს დაკვირვების ნომერი (). შემდეგ არის ცვლადების მნიშვნელობები დაკვირვებაში. შემდეგ, b პარამეტრების მოცემული მნიშვნელობებისთვის, შესაძლებელია ახსნილი ცვლადის y თეორიული (მოდელური) მნიშვნელობების გამოთვლა:

ნარჩენების ზომა დამოკიდებულია ბ პარამეტრების მნიშვნელობებზე.

უმცირესი კვადრატების მეთოდის არსი (ჩვეულებრივი, კლასიკური) მდგომარეობს იმაში, რომ ვიპოვოთ b პარამეტრები, რომელთათვისაც არის ნარჩენების კვადრატების ჯამი (ინგლ. კვადრატების ნარჩენი ჯამი) იქნება მინიმალური:

ზოგადად, ამ პრობლემის გადაჭრა შესაძლებელია რიცხვითი ოპტიმიზაციის (მინიმიზაციის) მეთოდებით. ამ შემთხვევაში ისინი საუბრობენ არაწრფივი უმცირესი კვადრატები(NLS ან NLLS - ინგლისური) არაწრფივი უმცირესი კვადრატები). ხშირ შემთხვევაში შესაძლებელია ანალიტიკური ამოხსნის მიღება. მინიმიზაციის პრობლემის გადასაჭრელად საჭიროა ვიპოვოთ ფუნქციის სტაციონარული წერტილები უცნობი პარამეტრების მიხედვით მისი დიფერენცირებით, წარმოებულების ნულამდე გათანაბრებით და მიღებული განტოლებათა სისტემის ამოხსნით:

თუ მოდელის შემთხვევითი შეცდომები ჩვეულებრივ განაწილებულია, აქვთ იგივე ვარიაცია და არაკორელირებულია, OLS პარამეტრის შეფასებები იგივეა რაც მაქსიმალური ალბათობის შეფასებები (MLM).

OLS ხაზოვანი მოდელის შემთხვევაში

დაე, რეგრესიის დამოკიდებულება იყოს წრფივი:

დაე წარის ახსნილი ცვლადის დაკვირვების სვეტის ვექტორი და არის ფაქტორების დაკვირვების მატრიცა (მატრიცის რიგები არის მოცემული დაკვირვების ფაქტორების მნიშვნელობების ვექტორები, სვეტები არის მოცემული ფაქტორის მნიშვნელობების ვექტორი. ყველა დაკვირვებაში). ხაზოვანი მოდელის მატრიცული წარმოდგენა არის:

მაშინ ახსნილი ცვლადის შეფასების ვექტორი და რეგრესიის ნარჩენების ვექტორი ტოლი იქნება

შესაბამისად, რეგრესიის ნარჩენების კვადრატების ჯამი ტოლი იქნება

ამ ფუნქციის დიფერენცირება პარამეტრების ვექტორთან მიმართებაში და წარმოებულების ნულამდე გათანაბრებით, მივიღებთ განტოლებათა სისტემას (მატრიცის სახით):

.

განტოლებათა ამ სისტემის ამოხსნა იძლევა ხაზოვანი მოდელის უმცირეს კვადრატების შეფასების ზოგად ფორმულას:

ანალიტიკური მიზნებისთვის, ამ ფორმულის უკანასკნელი წარმოდგენა სასარგებლოა. თუ რეგრესიულ მოდელში მონაცემები ორიენტირებული, მაშინ ამ წარმოდგენაში პირველ მატრიცას აქვს ფაქტორების კოვარიანტების ნიმუშის მნიშვნელობა, ხოლო მეორე არის ფაქტორების კოვარიანტების ვექტორი დამოკიდებულ ცვლადთან. თუ დამატებით მონაცემებიც ნორმალიზებული MSE-ს (ეს არის საბოლოო ჯამში სტანდარტიზებული), მაშინ პირველ მატრიცას აქვს ფაქტორების ნიმუშის კორელაციის მატრიცის მნიშვნელობა, მეორე ვექტორს - ფაქტორების სინჯის კორელაციის ვექტორს დამოკიდებულ ცვლადთან.

OLS შეფასების მნიშვნელოვანი თვისება მოდელებისთვის მუდმივთან ერთად- აგებული რეგრესიის ხაზი გადის ნიმუშის მონაცემების სიმძიმის ცენტრში, ანუ თანასწორობა დაკმაყოფილებულია:

კერძოდ, უკიდურეს შემთხვევაში, როდესაც ერთადერთი რეგრესორი არის მუდმივი, აღმოვაჩენთ, რომ ერთადერთი პარამეტრის OLS შეფასება (თვითონ მუდმივი) უდრის ახსნილი ცვლადის საშუალო მნიშვნელობას. ანუ არითმეტიკული საშუალო, რომელიც ცნობილია თავისი კარგი თვისებებით დიდი რიცხვების კანონებიდან, ასევე არის უმცირესი კვადრატების შეფასება - ის აკმაყოფილებს მისგან კვადრატული გადახრების მინიმალური ჯამის კრიტერიუმს.

მაგალითი: უმარტივესი (წყვილი) რეგრესია

დაწყვილებული წრფივი რეგრესიის შემთხვევაში, გაანგარიშების ფორმულები გამარტივებულია (შეგიძლიათ გააკეთოთ მატრიცული ალგებრის გარეშე):

OLS შემფასებლების თვისებები

უპირველეს ყოვლისა, ჩვენ აღვნიშნავთ, რომ წრფივი მოდელებისთვის, OLS შეფასებები არის წრფივი შეფასებები, როგორც ზემოთ მოყვანილი ფორმულიდან. OLS-ის მიუკერძოებელი შეფასებისთვის, აუცილებელია და საკმარისია რეგრესიის ანალიზის ყველაზე მნიშვნელოვანი პირობის შესრულება: შემთხვევითი შეცდომის მათემატიკური მოლოდინი, ფაქტორების მიხედვით, უნდა იყოს ნულის ტოლი. ეს პირობა, კერძოდ, დაკმაყოფილებულია თუ

1. შემთხვევითი შეცდომების მათემატიკური მოლოდინი არის ნული და
2. ფაქტორები და შემთხვევითი შეცდომები დამოუკიდებელი შემთხვევითი ცვლადებია.

მეორე პირობა - ფაქტორების ეგზოგენურობის პირობა - ფუნდამენტურია. თუ ეს თვისება არ არის დაკმაყოფილებული, მაშინ შეგვიძლია ვივარაუდოთ, რომ თითქმის ნებისმიერი შეფასება იქნება უკიდურესად არადამაკმაყოფილებელი: ისინი არც კი იქნება თანმიმდევრული (ანუ, მონაცემთა ძალიან დიდი რაოდენობაც კი არ გვაძლევს საშუალებას მივიღოთ მაღალი ხარისხის შეფასებები ამ შემთხვევაში. ). კლასიკურ შემთხვევაში, უფრო ძლიერი ვარაუდი კეთდება ფაქტორების დეტერმინიზმის შესახებ, შემთხვევითი შეცდომისგან განსხვავებით, რაც ავტომატურად ნიშნავს, რომ ეგზოგენურობის პირობა დაკმაყოფილებულია. ზოგად შემთხვევაში, შეფასებების თანმიმდევრულობისთვის საკმარისია ეგზოგენურობის პირობის დაკმაყოფილება მატრიცის დაახლოებასთან ერთად ზოგიერთ არასიგნოლურ მატრიცასთან, რადგან ნიმუშის ზომა იზრდება უსასრულობამდე.

იმისთვის, რომ თანმიმდევრულობისა და მიუკერძოებლობის გარდა, (ჩვეულებრივი) უმცირესი კვადრატების შეფასებაც ეფექტური იყოს (საუკეთესო ხაზოვანი მიუკერძოებელი შეფასებების კლასში), შემთხვევითი შეცდომის დამატებითი თვისებები უნდა დაკმაყოფილდეს:

ეს დაშვებები შეიძლება ჩამოყალიბდეს შემთხვევითი შეცდომის ვექტორის კოვარიანტული მატრიცისთვის

ხაზოვანი მოდელი, რომელიც აკმაყოფილებს ამ პირობებს ეწოდება კლასიკური. კლასიკური წრფივი რეგრესიის OLS შეფასებები არის მიუკერძოებელი, თანმიმდევრული და ყველაზე ეფექტური შეფასებები ყველა ხაზოვანი მიუკერძოებელი შეფასების კლასში (ინგლისურ ლიტერატურაში შემოკლება ზოგჯერ გამოიყენება ლურჯი (საუკეთესო ხაზოვანი უსაფუძვლო შემფასებელი) - საუკეთესო ხაზოვანი მიუკერძოებელი შეფასება; რუსულ ლიტერატურაში უფრო ხშირად ციტირებულია გაუს-მარკოვის თეორემა). როგორც ადვილი საჩვენებელია, კოეფიციენტების შეფასების ვექტორის კოვარიანტული მატრიცა ტოლი იქნება:

გენერალიზებული OLS

უმცირესი კვადრატების მეთოდი ფართო განზოგადების საშუალებას იძლევა. ნარჩენების კვადრატების ჯამის მინიმიზაციის ნაცვლად, შეიძლება მინიმუმამდე დავიყვანოთ ნარჩენების ვექტორის გარკვეული დადებითი განსაზღვრული კვადრატული ფორმა, სადაც არის რაღაც სიმეტრიული დადებითი განსაზღვრული წონის მატრიცა. ჩვეულებრივი უმცირესი კვადრატები ამ მიდგომის განსაკუთრებული შემთხვევაა, სადაც წონის მატრიცა არის იდენტურობის მატრიცის პროპორციული. როგორც ცნობილია სიმეტრიული მატრიცების (ან ოპერატორების) თეორიიდან, ასეთი მატრიცებისთვის ხდება დაშლა. შესაბამისად, მითითებული ფუნქციონალი შეიძლება წარმოდგენილი იყოს შემდეგნაირად, ანუ ეს ფუნქციონალი შეიძლება იყოს წარმოდგენილი, როგორც ზოგიერთი ტრანსფორმირებული „ნარჩენების“ კვადრატების ჯამი. ამრიგად, ჩვენ შეგვიძლია გამოვყოთ უმცირესი კვადრატების მეთოდების კლასი - LS მეთოდები (Last Squares).

დადასტურდა (აიტკენის თეორემა), რომ განზოგადებული წრფივი რეგრესიის მოდელისთვის (რომელშიც არ არის დაწესებული შეზღუდვები შემთხვევითი შეცდომების კოვარიანტულ მატრიცაზე), ყველაზე ეფექტური (წრფივი მიუკერძოებელი შეფასებების კლასში) არის ე.წ. განზოგადებული უმცირესი კვადრატები (GLS - გენერალიზებული უმცირესი კვადრატები)- LS მეთოდი წონის მატრიცით, რომელიც ტოლია შემთხვევითი შეცდომების შებრუნებული კოვარიანტული მატრიცის: .

შეიძლება აჩვენოს, რომ ხაზოვანი მოდელის პარამეტრების GLS შეფასების ფორმულას აქვს ფორმა

ამ შეფასებების კოვარიანსული მატრიცა შესაბამისად იქნება ტოლი

სინამდვილეში, OLS-ის არსი მდგომარეობს ორიგინალური მონაცემების გარკვეულ (წრფივ) ტრანსფორმაციაში (P) და ჩვეულებრივი OLS-ის გამოყენებაში ტრანსფორმირებულ მონაცემებზე. ამ ტრანსფორმაციის მიზანია ის, რომ ტრანსფორმირებული მონაცემებისთვის შემთხვევითი შეცდომები უკვე აკმაყოფილებს კლასიკურ დაშვებებს.

შეწონილი OLS

დიაგონალური წონის მატრიცის (და, შესაბამისად, შემთხვევითი შეცდომების კოვარიანტული მატრიცის) შემთხვევაში გვაქვს ე.წ. შეწონილი უმცირესი კვადრატები (WLS). ამ შემთხვევაში, მოდელის ნარჩენების კვადრატების შეწონილი ჯამი მინიმუმამდეა დაყვანილი, ანუ თითოეული დაკვირვება იღებს „წონას“, რომელიც უკუპროპორციულია ამ დაკვირვებაში შემთხვევითი შეცდომის დისპერსიასთან: . ფაქტობრივად, მონაცემები გარდაიქმნება დაკვირვებების წონით (გაყოფა ოდენობით, რომელიც პროპორციულია შემთხვევითი შეცდომების სავარაუდო სტანდარტული გადახრისა), და ჩვეულებრივი OLS გამოიყენება შეწონილ მონაცემებზე.

MNC პრაქტიკაში გამოყენების რამდენიმე განსაკუთრებული შემთხვევა

წრფივი დამოკიდებულების მიახლოება

განვიხილოთ შემთხვევა, როდესაც გარკვეული სკალარული სიდიდის დამოკიდებულების შესწავლის შედეგად გარკვეულ სკალარული სიდიდეზე (ეს შეიძლება იყოს, მაგალითად, ძაბვის დამოკიდებულება დენის სიძლიერეზე: , სადაც არის მუდმივი მნიშვნელობა, წინააღმდეგობა დირიჟორი), განხორციელდა ამ რაოდენობების გაზომვები, რის შედეგადაც მნიშვნელობები და მათი შესაბამისი მნიშვნელობები. გაზომვის მონაცემები უნდა ჩაიწეროს ცხრილში.

მაგიდა. გაზომვის შედეგები.

გაზომვა No.
1
2
3
4
5
6

საკითხავია: კოეფიციენტის რა მნიშვნელობა შეიძლება შეირჩეს დამოკიდებულების საუკეთესოდ აღსაწერად? უმცირესი კვადრატების მეთოდის მიხედვით, ეს მნიშვნელობა უნდა იყოს ისეთი, რომ მნიშვნელობების კვადრატული გადახრების ჯამი მნიშვნელობებისგან

მინიმალური იყო

კვადრატული გადახრების ჯამს აქვს ერთი უკიდურესი - მინიმუმი, რაც საშუალებას გვაძლევს გამოვიყენოთ ეს ფორმულა. მოდით, ამ ფორმულიდან ვიპოვოთ კოეფიციენტის მნიშვნელობა. ამისათვის ჩვენ ვცვლით მის მარცხენა მხარეს შემდეგნაირად:

ბოლო ფორმულა საშუალებას გვაძლევს ვიპოვოთ კოეფიციენტის მნიშვნელობა, რაც საჭირო იყო პრობლემაში.

ამბავი

XIX საუკუნის დასაწყისამდე. მეცნიერებს არ ჰქონდათ გარკვეული წესები განტოლებათა სისტემის ამოხსნისთვის, რომელშიც უცნობის რაოდენობა განტოლებათა რაოდენობაზე ნაკლებია; ამ დრომდე გამოიყენებოდა პირადი ტექნიკა, რომელიც დამოკიდებული იყო განტოლებების ტიპზე და კალკულატორების ჭკუაზე და, შესაბამისად, სხვადასხვა კალკულატორები, ერთი და იმავე დაკვირვების მონაცემებზე დაყრდნობით, სხვადასხვა დასკვნამდე მივიდნენ. გაუსმა (1795) პირველმა გამოიყენა ეს მეთოდი, ხოლო ლეჟანდრმა (1805) დამოუკიდებლად აღმოაჩინა და გამოაქვეყნა იგი მისი თანამედროვე სახელით (ფრანგ. Méthode des moindres quarrés ) . ლაპლასმა მეთოდი დააკავშირა ალბათობის თეორიას და ამერიკელმა მათემატიკოსმა ადრეინმა (1808) განიხილა მისი ალბათობა-თეორიული აპლიკაციები. მეთოდი ფართოდ იყო გავრცელებული და გაუმჯობესდა ენკეს, ბესელის, ჰანსენის და სხვათა შემდგომი კვლევებით.

OLS-ის ალტერნატიული გამოყენება

უმცირესი კვადრატების მეთოდის იდეა ასევე შეიძლება გამოყენებულ იქნას სხვა შემთხვევებში, რომლებიც პირდაპირ არ არის დაკავშირებული რეგრესიის ანალიზთან. ფაქტია, რომ კვადრატების ჯამი არის ერთ-ერთი ყველაზე გავრცელებული სიახლოვის საზომი ვექტორებისთვის (ევკლიდური მეტრიკა სასრულ განზომილებიან სივრცეებში).

ერთ-ერთი აპლიკაცია არის წრფივი განტოლებათა სისტემების „გადაწყვეტა“, რომლებშიც განტოლებების რაოდენობა ცვლადების რაოდენობაზე მეტია.

სადაც მატრიცა არ არის კვადრატული, არამედ მართკუთხა ზომის.

განტოლებათა ასეთ სისტემას, ზოგად შემთხვევაში, არ აქვს ამონახსნი (თუ რანგი რეალურად მეტია ცვლადების რაოდენობაზე). მაშასადამე, ამ სისტემის „გადაჭრა“ შესაძლებელია მხოლოდ ისეთი ვექტორის არჩევის გაგებით, რომ მინიმუმამდე დაიყვანოს „მანძილი“ ვექტორებსა და . ამისათვის შეგიძლიათ გამოიყენოთ სისტემის განტოლებების მარცხენა და მარჯვენა მხარეებს შორის განსხვავებების კვადრატების ჯამის მინიმიზაციის კრიტერიუმი, ანუ. ადვილია იმის ჩვენება, რომ ამ მინიმიზაციის პრობლემის გადაჭრა იწვევს განტოლებათა შემდეგი სისტემის ამოხსნას

თუ გარკვეული ფიზიკური რაოდენობა დამოკიდებულია სხვა რაოდენობაზე, მაშინ ეს დამოკიდებულების შესწავლა შესაძლებელია y-ის გაზომვით x-ის სხვადასხვა მნიშვნელობებზე. გაზომვების შედეგად მიიღება მთელი რიგი მნიშვნელობები:

x 1, x 2, ..., x i, ..., x n;

y 1 , y 2 , ..., y i , ... , y n .

ასეთი ექსპერიმენტის მონაცემებზე დაყრდნობით შესაძლებელია y = ƒ(x) დამოკიდებულების გრაფიკის აგება. მიღებული მრუდი შესაძლებელს ხდის ვიმსჯელოთ ƒ(x) ფუნქციის ფორმაზე. თუმცა, მუდმივი კოეფიციენტები, რომლებიც შედის ამ ფუნქციაში, უცნობია. მათი დადგენა შესაძლებელია უმცირესი კვადრატების მეთოდის გამოყენებით. ექსპერიმენტული წერტილები, როგორც წესი, არ დევს ზუსტად მრუდზე. უმცირესი კვადრატების მეთოდი მოითხოვს, რომ მრუდიდან ექსპერიმენტული წერტილების გადახრების კვადრატების ჯამი, ე.ი. 2 ყველაზე პატარა იყო.

პრაქტიკაში ეს მეთოდი ყველაზე ხშირად (და ყველაზე მარტივად) გამოიყენება წრფივი ურთიერთობის შემთხვევაში, ე.ი. Როდესაც

y = kxან y = a + bx.

ხაზოვანი დამოკიდებულება ძალზე გავრცელებულია ფიზიკაში. და მაშინაც კი, როდესაც ურთიერთობა არაწრფივია, ისინი ჩვეულებრივ ცდილობენ შეადგინონ გრაფიკი ისე, რომ მიიღონ სწორი ხაზი. მაგალითად, თუ ვივარაუდებთ, რომ n შუშის გარდატეხის ინდექსი დაკავშირებულია სინათლის ტალღის სიგრძესთან λ n = a + b/λ 2 მიმართებით, მაშინ გრაფიკზე გამოსახულია n-ის დამოკიდებულება λ -2-ზე.

განიხილეთ დამოკიდებულება y = kx(საწყისზე გამავალი სწორი ხაზი). მოდით შევადგინოთ მნიშვნელობა φ სწორი ხაზიდან ჩვენი წერტილების გადახრების კვადრატების ჯამი

φ-ს მნიშვნელობა ყოველთვის დადებითია და უფრო მცირე აღმოჩნდება, რაც უფრო ახლოს არის ჩვენი წერტილები სწორ ხაზთან. უმცირესი კვადრატების მეთოდი აცხადებს, რომ k-ის მნიშვნელობა უნდა იყოს არჩეული ისე, რომ φ-ს ჰქონდეს მინიმალური

ან
(19)

გამოთვლა აჩვენებს, რომ ძირის საშუალო კვადრატის შეცდომა k-ის მნიშვნელობის განსაზღვრისას უდრის

, (20)
სადაც n არის გაზომვების რაოდენობა.

ახლა განვიხილოთ ოდნავ უფრო რთული შემთხვევა, როდესაც ქულები უნდა აკმაყოფილებდეს ფორმულას y = a + bx(სწორი ხაზი, რომელიც არ გადის საწყისზე).

ამოცანაა იპოვოთ a და b-ის საუკეთესო მნიშვნელობები x i, y i მნიშვნელობების ხელმისაწვდომი სიმრავლიდან.

მოდით კვლავ შევადგინოთ φ კვადრატული ფორმა, რომელიც ტოლია x i, y i წერტილების კვადრატული გადახრების ჯამის სწორი ხაზიდან.

და იპოვეთ a და b მნიშვნელობები, რომლებისთვისაც φ-ს აქვს მინიმალური

;

.

.

ამ განტოლებების ერთობლივი ამოხსნა იძლევა

(21)

a და b-ის განსაზღვრის ძირის საშუალო კვადრატული შეცდომები ტოლია

(23)

.  (24)

ამ მეთოდის გამოყენებით გაზომვის შედეგების დამუშავებისას მოსახერხებელია ყველა მონაცემის შეჯამება ცხრილში, რომელშიც წინასწარ არის გათვლილი ფორმულებში (19)(24) შეტანილი ყველა თანხა. ამ ცხრილების ფორმები მოცემულია ქვემოთ მოცემულ მაგალითებში.

მაგალითი 1.შესწავლილი იქნა ბრუნვითი მოძრაობის დინამიკის ძირითადი განტოლება ε = M/J (საწყისზე გამავალი სწორი ხაზი). M მომენტის სხვადასხვა მნიშვნელობებზე გაზომეს გარკვეული სხეულის კუთხური აჩქარება ε. საჭიროა ამ სხეულის ინერციის მომენტის დადგენა. ძალის მომენტისა და კუთხური აჩქარების გაზომვის შედეგები მოცემულია მეორე და მესამე სვეტებში. ცხრილი 5.

ცხრილი 5

ნ	M, N m	ε, s -1	M 2	M ε	ε - კმ	(ε - კმ) 2
1	1.44	0.52	2.0736	0.7488	0.039432	0.001555
2	3.12	1.06	9.7344	3.3072	0.018768	0.000352
3	4.59	1.45	21.0681	6.6555	-0.08181	0.006693
4	5.90	1.92	34.81	11.328	-0.049	0.002401
5	7.45	2.56	55.5025	19.072	0.073725	0.005435
∑	–	–	123.1886	41.1115	–	0.016436

ფორმულის გამოყენებით (19) ჩვენ განვსაზღვრავთ:

.

ძირის საშუალო კვადრატული შეცდომის დასადგენად ვიყენებთ ფორმულას (20)

0.005775კგ-1 · მ -2 .

ფორმულის მიხედვით (18) გვაქვს

; .

S J = (2.996 0.005775)/0.3337 = 0.05185 კგ მ2.

სანდოობის P = 0,95 დაყენების შემდეგ, სტუდენტური კოეფიციენტების ცხრილის გამოყენებით n = 5-ისთვის, ვიპოვით t = 2,78 და განვსაზღვრავთ აბსოლუტურ შეცდომას ΔJ = 2,78 0,05185 = 0,1441 ≈ 0,2 კგ მ2.

მოდით დავწეროთ შედეგები ფორმაში:

J = (3.0 ± 0.2) კგ მ2;

მაგალითი 2.გამოვთვალოთ ლითონის წინააღმდეგობის ტემპერატურის კოეფიციენტი უმცირესი კვადრატების მეთოდით. წინააღმდეგობა დამოკიდებულია ხაზოვანი ტემპერატურაზე

R t = R 0 (1 + α t°) = R 0 + R 0 α t°.

თავისუფალი ვადა განსაზღვრავს R 0 წინააღმდეგობას 0 ° C ტემპერატურაზე, ხოლო დახრილობის კოეფიციენტი არის ტემპერატურის კოეფიციენტის α და წინააღმდეგობის R 0 პროდუქტი.

გაზომვების და გამოთვლების შედეგები მოცემულია ცხრილში ( იხილეთ ცხრილი 6).

ცხრილი 6

ნ	t°, s	r, Ohm	t-¯t	(t-¯t) 2	(t-¯t)r	რ - ბტ - ა	(r - bt - a) 2 .10 -6
1	23	1.242	-62.8333	3948.028	-78.039	0.007673	58.8722
2	59	1.326	-26.8333	720.0278	-35.581	-0.00353	12.4959
3	84	1.386	-1.83333	3.361111	-2.541	-0.00965	93.1506
4	96	1.417	10.16667	103.3611	14.40617	-0.01039	107.898
5	120	1.512	34.16667	1167.361	51.66	0.021141	446.932
6	133	1.520	47.16667	2224.694	71.69333	-0.00524	27.4556
∑	515	8.403	–	8166.833	21.5985	–	746.804
∑/n	85.83333	1.4005	–	–	–	–	–

(21), (22) ფორმულების გამოყენებით განვსაზღვრავთ

R 0 = ¯ R- α R 0 ¯ t = 1,4005 - 0,002645 85,83333 = 1,1735 ოჰ.

ვიპოვოთ შეცდომა α-ს განმარტებაში. მას შემდეგ, რაც , მაშინ ფორმულის მიხედვით (18) გვაქვს:

.

(23), (24) ფორმულების გამოყენებით გვაქვს

;

0.014126 ოჰ.

სანდოობის P = 0.95-ზე დაყენების შემდეგ, სტუდენტური კოეფიციენტების ცხრილის გამოყენებით n = 6-ისთვის, ვპოულობთ t = 2.57 და განვსაზღვრავთ აბსოლუტურ შეცდომას Δα = 2.57 0.000132 = 0.000338 გრადუსი -1.

α = (23 ± 4) 10 -4 სეტყვა-1 P = 0.95-ზე.

მაგალითი 3.საჭიროა ლინზების გამრუდების რადიუსის დადგენა ნიუტონის რგოლების გამოყენებით. გაზომეს ნიუტონის რგოლების რადიუსი r m და განისაზღვრა ამ რგოლების რიცხვი m. ნიუტონის რგოლების რადიუსი დაკავშირებულია R ლინზის გამრუდების რადიუსთან და რგოლის რიცხვთან განტოლებით.

r 2 m = mλR - 2d 0 R,

სადაც d 0 უფსკრულის სისქე ლინზასა და სიბრტყის პარალელურ ფირფიტას შორის (ან ლინზის დეფორმაცია),

λ შემთხვევის სინათლის ტალღის სიგრძე.

λ = (600 ± 6) ნმ;
r 2 m = y;
m = x;
λR = b;
-2d 0 R = a,

მაშინ განტოლება მიიღებს ფორმას y = a + bx.

.

შეყვანილია გაზომვების და გამოთვლების შედეგები ცხრილი 7.

ცხრილი 7

ნ	x = m	y = r 2, 10 -2 მმ 2	მ -¯ მ	(მ -¯მ) 2	(მ -¯ მ) წ	y - bx - a, 10 -4	(y - bx - a) 2 , 10 -6
1	1	6.101	-2.5	6.25	-0.152525	12.01	1.44229
2	2	11.834	-1.5	2.25	-0.17751	-9.6	0.930766
3	3	17.808	-0.5	0.25	-0.08904	-7.2	0.519086
4	4	23.814	0.5	0.25	0.11907	-1.6	0.0243955
5	5	29.812	1.5	2.25	0.44718	3.28	0.107646
6	6	35.760	2.5	6.25	0.894	3.12	0.0975819
∑	21	125.129	–	17.5	1.041175	–	3.12176
∑/n	3.5	20.8548333	–	–	–	–	–