En Küçük Kareler Yöntemi

En Küçük Kareler Yönteminin ilk uygulamalarından birisi, Dünya’nın şeklinin belirsizliğini içeren bir anlaşmazlığı çözmek oldu. Isaac Newton 1687 yılında yayınladığı Philosophiae Naturalis Principia Mathematica (Doğa Felsefesinin Matematiksel Prensipleri) isimli kitabında, Dünya’nın mükemmel bir küre olmadığını, kutuplardan biraz daha basık bir yapıda olduğunu savundu.

1718 yılında ünlü İtalyan astronom ve matematikçi Giovanni Domenico Cassini’nin oğlu Jacques Cassini, Paris Gözlemevi’nde yaptığı ölçümlerine dayanarak Dünya’nın şeklinin Prolate (limonun şekli gibi) bir yapıda olduğunu öne sürdü.

1736 yılında Fransız Bilimler Akademisi bu anlaşmazlığın çözümü için, Ekvator ve Finlandiya’nın kuzey bölgesi olan Laponya’ya araştırmacılar gönderdi. Ancak gelen verilere göre ölçüm hataları belirsizlik yaratacak kadar büyüktü. Bunun üzerine toplanan bu verilere bir doğru yerleştirmek, yani meridyen yayı uzunluğunu enlemle ilişkilendiren ve buna en iyi uyan doğruyu elde etmek için çeşitli yöntemler denenmişti.

Uygulanan bazı yöntemler sonucunda, Newton’un teorisi destek bulmuş gibiydi ama sapmaların (hata terimlerinin) büyüklüğü sonradan fark edilecekti.

1805 yılında Fransız matematikçi Adrien Marie Legendre bu sapmaları en aza indiren çizginin kullanılmasına yönelik bir yöntem yayınladı. Bu yöntemin adı en küçük kareler yöntemiydi. Daha sonra bu yöntemi kullanacak ve teorik olarak büyük katkılar sağlayacak olan kişi ise Alman matematikçi Carl Friedrich Gauss’dan başkası değildi. (Kaynak)

Bir önceki yazımızda basit bir regresyon modelinin yapısını Y = α + βX + ε şeklinde tanımlamıştık. Şimdi ilk amacımız “ε” dediğimiz hata terimlerini minimize edip, gerçeğe en yakın modeli tahmin edebilmek olacak. Peki modelde neleri tahmin etmemiz gerekiyor? X dediğimiz bağımsız değişkenler ve Y dediğimiz bağımlı değişkenler zaten bizim gözlemlerimizdi. O zaman geriye ne kalacak? “α” sabit terimimiz ve “β” dediğimiz eğim parametremiz veya diğer adıyla eğim katsayımız. Peki şimdi tekrar başa dönüp Legendre’nin ne yaptığını hatırlayalım. Sapmaları (hata terimlerini) en aza indiren çizgiyi, yani sabit ve eğim parametresini bulmak. O zaman başlayalım mı? 😊

Yeni bir model yapısı tanımlayalım. Sakın kafanız karışmasın ama. Gayet açık ve net anlatacağım. 😊

Aşağıda tanımladığımız model aslında Y= α + βX + ε modeli için bir tahmin edici olarak kullanılacaktır.

Olmak üzere tahmin edici parametrelerdir. X için tahmin parametresi kullanmadık, çünkü gözlemlenebilir bağımsız değişken yapısıdır. O zaman yapıyı biraz daha düzenleyelim.

Hata terimi, gerçek model ile tahmin modeli arasındaki sapmalar ise,

\hat{\epsilon} = y - \hat{y} şeklindedir.

Amacımız hata terimlerinin toplamını minimize ederek, sabit ve eğim parametresini bulmak ise, yapıyı düzenlemeye devam edelim. Önce hataları toplayalım sonra \hat{y} yerine \hat{\alpha} + \hat{\beta}X yapısını yazalım.

şeklinde düzenleriz.

Ama burada bir problem var? Hata terimleri matematiksel olarak artı veya eksi değerler alabilir. Ancak bizim için önemli olan nokta, hata terimlerinin, regresyon doğrusuna olan uzaklığıdır. Eğer hata terimlerini toplarsak, artı veya eksi değerler yüzünden uzaklık ölçüsünü hatalı ölçebiliriz. İleride hataların toplamının sıfır olduğunu göstereceğim ama şu an erken. 😊 Bu yüzden biz hataların toplamı yerine hataların kareleri toplamını alacağız. İşte en küçük kareler yöntemine ismini veren yapıda burasıdır. O zaman yapıyı hataların kareleri toplamı şeklinde düzenlersek;

böyle bir yapı ile karşı karşıya kalırız.

Şimdi yine bir lise yıllarına gidelim. Dersimiz matematik, konumuz türev! F(x) = ax² + bx + c ve a \neq 0 şeklinde ikinci derece bir parabol düşünün. Bunu standart formda ifade edersek, f(x) = a(x-h)2 + k şeklinde olur. Burada eğer a > 0 ise parabolün kolları yukarı, a < 0 ise parabolün kolları aşağı olacaktır. Bizim çözmek istediğimiz \sum\hat{\epsilon_i^2} = \sum(y - \hat{\alpha} - \hat{\beta}X)^2 yapısı cebirsel olarak incelenirse katsayılar nedeni ile parabolün kollarının yukarı olduğunu görebiliriz. Bunun için bu yapıyı tek tek açmamız gerekiyor ama ben bunu burada yapmayacağım. Eğer bunu cebirsel olarak görmek isterseniz buradan inceleyebilirsiniz.

Benim anlatmak istediğim ise bu parabolün hem \hat{\alpha} hem de \hat{\beta} parametrelerinin tepe noktasının minimum değeri için kısmi türev alınması gerektiğini göstermektir. Bu şekilde hata terimini minimum yapan \hat{\alpha} ve \hat{\beta} parametrelerini bulacak formülü elde edebiliriz. Burası biraz karışık geldiyse bile sakın korkmayın, adım adım devam ediyoruz. 😊

İlk olarak \hat{\alpha} için kısmi türev alıp sıfıra eşitleyelim;

Şeklinde olacaktır. Bu şimdilik burada dursun ve biz yolumuza diğer parametre olan \hat{\beta} parametresine göre kısmi türev alarak devam edelim.

hem \hat{\alpha} hem de \hat{\beta} parametreleri için bulduğumuz bu iki yapıya “Normal Denklemler” ismi verilir.

Şimdi ise bu denklemleri alt alta çözerek, parametrelerimizin tahmincilerini bulalım.

Burada ilk yapmamız gereken nokta bağımlı değişkenleri içeren yapıları eşitliğin sol tarafına atmak olacak. Şimdi tekrar düzenleyelim;

Bu doğrusal denklem yapısı “Cramer Yöntemi” ile çözülürse, tahmin ediciler aşağıdaki gibi olacaktır;

Artık X ve Y değişkenlerini kullanarak, hata terimlerini minimum yapan sabit ve eğim parametrelerini bulabiliriz.

Şimdi bunu excel üzerinden basit bir örnek vererek uygulayalım. Excel üzerinden solver eklentisi ile çok daha basit yapabiliriz ama onu daha sonra anlatacağım. Biz şimdilik dört işlem ile bunu uygulayalım.

İlk olarak excel sütunlarına verilerimizi ve ihtiyacımız olan yapıları tanımlayalım.

Daha sonra aşağıdaki formülleri kullanarak sonuçları hesaplayalım.

Artık parametreleri bulmak için tüm gerekli değerler elimizde mevcut. O zaman hesaplamaya başlayalım.

\alpha değerimizi -234,38

\beta değerimizi 7,8833 olarak bulduk.

O zaman regresyon modelimizi yazabiliriz değil mi?

Y = -234,38 + 7,8833X 

Yani X değişkenimiz sıfır olduğu varsayımında Y değişkenimiz -234,38 değerini alırken, X değişkenimiz bir birim arttığında Y değişkenimiz 7,88 birim artacaktır.

Tabi ki bu işlem tamamen örnek amaçlıdır. En küçük kareler yöntemi varsayımlarının test edilmesi ve ileride göreceğimiz güven aralığında model ve parametre anlamlılıkları hipotez testleri ile sınanması gerekmektedir.

Bir sonraki derste görüşmek dileği ile…  

One thought on “En Küçük Kareler Yöntemi

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir