regresyon analizi etiketine sahip kayıtlar gösteriliyor. Tüm kayıtları göster
regresyon analizi etiketine sahip kayıtlar gösteriliyor. Tüm kayıtları göster

24 Ağustos 2012 Cuma

SAS Programı ile Regresyon Modellerinin Karşılaştırılması

            Regresyon analizi kuşkusuz, istatistikçiler için vazgeçilmez bir yöntem. Regresyon analizi iki amaç için kullanılır:

           1. Geleceğe yönelik tahminde bulunma
           2.  Bağımlı-bağımsız değişkenler arasındaki ilişkisel yapıyı nicel olarak ifade etme.

   
İstatistikçiler için iyi bir regresyon modeli kurmak hayati önem taşımaktadır. Çünkü elde edilen modele   göre geleceğe dönük kararlar alınacaktır. Ayrıca bir değişkeni etkileyen diğer faktörlerin etki düzeyleri de regresyon analizi ile ortaya çıkarılmaktadır. Bu nedenle elde edilecek regresyon modeli doğrudan problemin yapısına göre hayatın akışını değiştirebilecek özelliğe sahiptir. Bu konuyu biraz daha açalım.



Farz edelim ki bir alışveriş merkezi içerisinde pastaneniz var. Pastaneye günlük pasta çeşitlerinden alıyorsunuz ve gün sonunda satamadığınız malları çöpe atmak zorunda kalıyorsunuz. Ancak her gün ne kadar satış yapacağınız hakkında rasgele bir karar da veremiyorsunuz. Bunun için günlük satış rakamlarını bağımlı değişken olarak alarak bir araştırmaya başlıyorsunuz. Satış rakamlarını etkileyen faktörleri tek tek ele alıyorsunuz ve bir regresyon modeli kuruyorsunuz. Örneğin hava sıcaklığı, alışveriş merkezine giren kişi sayısı, haftanın günleri vs. gibi bağımsız değişkenler seçiyorsunuz. Bu verilere dayanarak kurduğunuz regresyon modelinin mutlaka doğru sonuçlar yansıtmasını beklersiniz. Çünkü bu sonuçlara göre bir sonraki gün için ürün siparişi vereceksiniz. Eğer gereğinden düşük düzeyde bir satış rakamı tahmin ederseniz muhtemelen sipariş verdiğiniz ürünleriniz tükenecek ve gelen müşteriler pasta alamadığı için memnuniyetsiz bir şekilde ayrılacaklar. Bu da müşterine kaybına yol açabilir. Mesela çok yüksek miktarda satış olacağını tahmin ettiniz ve bu sebeple çok miktarda pasta sipariş ettiniz. Bu durumda da pastalar çöpe girecek ve zarara uğrayacaksınız. Sonuç olarak iyi bir kazanç elde etmek için doğru miktarda pasta sipariş vermeniz lazım. ( Tüm bunlara rağmen ben regresyon analizi falan yapmam, uyanık geçinip de bir önceki günün pastalarını satarım diyorsanız, kısa zamanda batacağınıza dair garanti verebilirim J Çünkü o şekilde iflas eden birisini tanıyorum. )


Yukarıda aktardığım küçük bir örnek dahi regresyon analizinin ne kadar önemli olduğuna işaret etmektedir. Günümüz literatüründe birçok regresyon analizi tekniği bulunmaktadır. Bu teknikler en genel ifade ile klasik regresyon varsayımların sağlanıp sağlanmaması, bağımlı-bağımsız değişkenler arasındaki ilişkinin şekli ve bağımlı değişkenin yapısına göre farklılıklar göstermektedir. Bizim için asıl mesele, en doğru regresyon modelini kurmaktır. Doğru regresyon tekniği uygulandığında bile, doğru modeli seçmek için modeller arası karşılaştırma yapılmalıdır. Ben bu çalışmada çoklu doğrusal regresyon (Ç.D.R) modellerinin karşılaştırılması üzerinde duracağım.



Ç.D.R modellerini karşılaştırmak için kullanılan yöntemlerden bazıları şunlardır:


  •  İleriye Doğru Seçim (Forward)
  • Geriye Doğru Eleme (Backward)
  • Aşamalı Model Seçimi (Stepwise)
  • Maksimum R^2 Gelişimi (MAXR)
  • Minimum R^2 Gelişimi  (MINR)
  • R^2 Seçimi
  • Düzeltilmiş R^2 Seçimi
  • Mallow Cp Kriteri


Yukarıda saymış olduğum yöntemler dışında Akaike Bilgi Kriteri, Bayesci Bilgi Kriteri gibi çok çeşitli yöntemler mevcuttur. SAS programı ile bağımsız değişkenlerin farklı birleşimlerine (kombinasyon) göre model karşılaştırması yapılabilmektedir. Belirtmiş olduğum ilk üç yöntem diğer bir çok program kullanılarak uygulanabilir. Ancak diğer yöntemler için SAS en etkili araçtır. Model karşılaştırması için MODEL bağımlı değişken=bağımsız değişkenler / SELECTION=Yöntem şeklinde kod yazarak en uygun regresyon modeline karar verilebilir. Bahsetmiş olduğum model seçim yöntemleri üzerinde çok durmayacağım. Ancak şunu özellikle belirtmek isterim, farklı sayıda bağımsız değişkenler için R^2 seçimi uygun değildir. Çünkü serbestlik derecesi farklılığı ortaya çıkmaktadır. Bu sebeple model seçiminde R^2 ölçütünü kullanmayı önermiyorum. Onun yerine düzeltilmiş R^2 değerlerine göre model seçimi yapılabilir. Aşağıdaki tablolarda bir bağımlı üç bağımsız değişkenden oluşan bir veri seti kullanılarak elde edilen model seçimine ilişkin tabloları göstereceğim.


Son söz olarak şunu söylemeliyim: SAS uygulama konusunda diğer tüm programlardan çok daha etkili bir program. Özellikle regresyon analizi için MAXR, MINR ve Mallow Cp ölçütü gibi farklı ölçütleri kullanarak farklı modeller elde edilebilmektedir.


Bağımlı Değişken: Kilo
Bağımsız Değişkenler: Yaş, Günlük Alınan Kalori Miktarı (kcal), Günlük Spor Süresi (dakika)



                          ADJUSTED RSQUARE



Number in
Model
Adjusted
R-Square
R-Square
Variables in Model
3
0.9765
0.9882
KALORI SPOR YAS
2
0.9589
0.9726
KALORI YAS
1
0.9329
0.9441
KALORI
2
0.9180
0.9453
KALORI SPOR
2
0.4134
0.6090
SPOR YAS
1
0.1505
0.2920
SPOR
1
0.0724
0.2270
YAS




                                                               MALLOW CP



Number in
Model
C(p)
R-Square
Variables in Model
3
4.0000
0.9882
KALORI SPOR YAS
2
5.9764
0.9726
KALORI YAS
1
11.2445
0.9441
KALORI
2
12.9353
0.9453
KALORI SPOR
2
98.6536
0.6090
SPOR YAS
1
177.4135
0.2920
SPOR
1
193.9864
0.2270
YAS


                                                              

                  

                                    MAXR




Analysis of Variance
Source DF Sum of
Squares
Mean
Square
F Value Pr > F
Model 1 89.55495 89.55495 84.45 0.0003
Error 5 5.30219 1.06044
Corrected Total 6 94.85714

Variable Parameter
Estimate
Standard
Error
Type II SS F Value Pr > F
Intercept 53.73302 1.48022 1397.38363 1317.74 <.0001
KALORI 0.00844 0.00091799 89.55495 84.45 0.0003
Bounds on condition number: 1, 1
The above model is the best 1-variable model found.
Maximum R-Square Improvement: Step 2

Variable YAS Entered: R-Square = 0.9726 and C(p) = 5.9764
Analysis of Variance
Source DF Sum of
Squares
Mean
Square
F Value Pr > F
Model 2 92.26034 46.13017 71.06 0.0007
Error 4 2.59680 0.64920
Corrected Total 6 94.85714

Variable Parameter
Estimate
Standard
Error
Type II SS F Value Pr > F
Intercept 57.60197 2.22111 436.62836 672.56 <.0001
KALORI 0.00961 0.00092098 70.72680 108.94 0.0005
YAS -0.19462 0.09534 2.70539 4.17 0.1108
Bounds on condition number: 1.6441, 6.5764
The above model is the best 2-variable model found.
Maximum R-Square Improvement: Step 3

Variable SPOR Entered: R-Square = 0.9882 and C(p) = 4.0000
Analysis of Variance
Source DF Sum of
Squares
Mean
Square
F Value Pr > F
Model 3 93.74046 31.24682 83.95 0.0022
Error 3 1.11668 0.37223
Corrected Total 6 94.85714

Variable Parameter
Estimate
Standard
Error
Type II SS F Value Pr > F
Intercept 56.69597 1.74213 394.23095 1059.11 <.0001
KALORI 0.01148 0.00117 35.97705 96.65 0.0022
SPOR 0.08057 0.04041 1.48012 3.98 0.1401
YAS -0.34387 0.10399 4.07040 10.94 0.0455
Bounds on condition number: 4.6102, 32.667
The above model is the best 3-variable model found.
No further improvement in R-Square is possible.

11 Ekim 2011 Salı

SAS İLE ÇOKLU REGRESYON ANALİZİNE İLİŞKİN ÇEŞİTLİ GÖSTERGELERİN İNCELENMESİ

Çoklu regresyon analizi birçok paket program aracılığı ile uygulanabilmektedir. SAS paket programında çoklu regresyon analizine ilişkin birçok temel gösterge elde edilebilir. Halbuki diğer paket programların birçoğu menüler aracılığı ile sadece belirli hesaplamaları gerçekleştirebilmektedir. Sas’ ta hata değerleri  için her gözleme ait tahminler ayrı ayrı elde edilebilmektedir. Sas’ ı  regresyon analizi alanında diğer programlara göre güçlü kılan en temel özelliklerden birisi de model seçim kriterleri ve temel hesaplamaların dışında fazladan birçok istatistiğin elde edilebilmesidir. Bu hesaplamaların birçoğunu gelecek yazılarımda göstereceğim. Şimdilik belirli temel işlemleri göstereceğim.
                Elimizde 4 bağımsız 1 bağımlı değişkenden oluşan bir veri setinin olduğunu düşünelim. Bu analiz, PROC REG komutu kullanılarak gerçekleştirilmiştir. Hâlihazırdaki veri setine uygulanan çoklu regresyon analizi sonuçları aşağıdaki tablolarda gösterilmektedir.

The REG Procedure
Model: MODEL1
Dependent Variable: y

Analysis of Variance
Source
DF
Sum of
Squares
Mean
Square
F Value
Pr > F
Model
4
29737
7434.19399
1141030
<.0001
Error
30
0.19546
0.00652


Corrected Total
34
29737



Root MSE
0.08072
R-Square
1.0000
Dependent Mean
53.02857
Adj R-Sq
1.0000
Coeff Var
0.15222


Parameter Estimates
Variable
DF
Parameter
Estimate
Standard
Error
t Value
Pr > |t|
Intercept
1
-0.11438
0.05407
-2.12
0.0428
x1
1
0.01440
0.00049860
28.88
<.0001
x2
1
-0.01411
0.00046786
-30.16
<.0001
x3
1
0.05817
0.00051656
112.62
<.0001
x4
1
0.01430
0.00000671
2132.54
<.0001


Yukarıdaki tablolarda varyans analizi tablosu, modele ilişkin çeşitli karakteristik değerler ve her bağımsız değişken için β parametre tahminleri, tahminlerin standart hata ve anlamlılık değerleri gösterilmektedir. 


Aşağıdaki tablolarda her gözlem için tahminler, tahminlerin güven sınırları ve  hata değerleri hesaplanmıştır. Bu çıktılar “CLM” komutu kullanılarak elde edilmiştir.

The REG Procedure
Model: MODEL1
Dependent Variable: y

Output Statistics
Obs
Dependent
Variable
Predicted
Value
Std Error
Mean Predict
95% CL Mean
Residual
1
75.0000
74.9206
0.0334
74.8525
74.9887
0.0794
2
6.0000
6.0386
0.0261
5.9852
6.0919
-0.0386
3
5.0000
5.0262
0.0286
4.9678
5.0846
-0.0262
4
74.0000
74.0311
0.0293
73.9713
74.0910
-0.0311
5
10.0000
10.0284
0.0355
9.9559
10.1010
-0.0284
6
67.0000
66.9097
0.0285
66.8516
66.9678
0.0903
7
49.0000
48.9600
0.0195
48.9201
48.9998
0.0400
8
90.0000
90.0340
0.0391
89.9542
90.1138
-0.0340
9
74.0000
73.9134
0.0328
73.8464
73.9803
0.0866
10
94.0000
93.9185
0.0261
93.8653
93.9717
0.0815
11
21.0000
20.8783
0.0367
20.8035
20.9532
0.1217
12
95.0000
94.9982
0.0293
94.9383
95.0580
0.001817
13
14.0000
14.0605
0.0320
13.9951
14.1258
-0.0605
14
89.0000
89.1616
0.0241
89.1124
89.2108
-0.1616
15
38.0000
38.0815
0.0255
38.0295
38.1335
-0.0815
16
48.0000
47.9853
0.0182
47.9481
48.0226
0.0147
17
70.0000
69.9892
0.0413
69.9048
70.0736
0.0108
18
92.0000
91.9868
0.0252
91.9354
92.0382
0.0132
19
92.0000
92.0945
0.0434
92.0059
92.1830
-0.0945
20
43.0000
43.0742
0.0297
43.0135
43.1349
-0.0742
21
40.0000
39.9555
0.0325
39.8891
40.0219
0.0445
22
74.0000
73.9138
0.0232
73.8664
73.9612
0.0862
23
50.0000
49.8833
0.0185
49.8456
49.9210
0.1167
24
78.0000
78.0780
0.0322
78.0122
78.1439
-0.0780
25
32.0000
31.9375
0.0308
31.8746
32.0004
0.0625
26
21.0000
20.9632
0.0289
20.9043
21.0221
0.0368
27
88.0000
88.1001
0.0406
88.0172
88.1830
-0.1001
28
71.0000
71.0608
0.0328
70.9938
71.1279
-0.0608
29
43.0000
42.8722
0.0307
42.8094
42.9350
0.1278
30
3.0000
3.0245
0.0379
2.9472
3.1019
-0.0245
31
5.0000
5.1017
0.0319
5.0365
5.1669
-0.1017
32
50.0000
50.0340
0.0285
49.9758
50.0921
-0.0340
33
48.0000
47.9332
0.0200
47.8924
47.9741
0.0668
34
42.0000
42.1020
0.0249
42.0512
42.1528
-0.1020
35
65.0000
64.9493
0.0276
64.8928
65.0057
0.0507




Sum of Residuals
0
Sum of Squared Residuals
0.19546
Predicted Residual SS (PRESS)
0.26819


                Aşağıdaki tablolarda tahminlere ilişkin etki teşhisi için tüm gözlemlere ait istatistikler gösterilmektedir. “INFLUENCE” komutu ile etkili gözlem değerleri için tahminler ve karakteristik değerler elde edilmiştir. Bu yöntem sayesinde hangi gözlemlerin tahminler üzerine etkili olduğu tespit edilebilmektedir. Rstudent değerleri, her gözlem için kendi standart sapması kullanılarak standardize edilmiş değerleri göstermektedir. Rstudent değerinin mutlak değerinin 2’den büyük olması gözlemi etkili kılmaktadır. Covratio değerleri i. Gözlemin silinmesi durumunda varyans-kovaryans matrisinin determinantında meydana gelebilecek değişmeleri göstermektedir. Her gözlem için (covratio-1)=>3p/n  olması beklenir ( p parametre, n gözlem sayısı olmak üzere). Dffits değeri, tahmindeki i. gözlem için ölçeklendirilmiş ölçüm değeri olarak tanımlanır ve 2’den büyük olması durumunda o gözlemin etkili gözlem olduğu kabul edilir. Dffits değeri Cook uzaklığı ile aynı işlevi görmektedir. Dfbetas değerleri i. gözlemin silinmesi durumunda her parametre tahminindeki değişimin ölçeklendirilmiş ölçüsü olarak göstermektedir.

Output Statistics
Obs
Residual
RStudent
Hat Diag
H
Cov
Ratio
DFFITS
                                       DFBETAS
Intercept
x1
x2
x3
x4
1
0.0794
1.0832
0.1708
1.1718
0.4917
-0.1954
0.2412
-0.1680
0.2516
0.1687
2
-0.0386
-0.4987
0.1048
1.2681
-0.1707
-0.0959
0.0171
-0.0138
0.0161
0.1441
3
-0.0262
-0.3417
0.1254
1.3276
-0.1294
-0.0890
-0.0069
0.0393
0.0373
0.1033
4
-0.0311
-0.4083
0.1318
1.3261
-0.1591
0.0111
0.0267
0.0757
-0.0975
-0.0577
5
-0.0284
-0.3868
0.1938
1.4321
-0.1896
-0.0611
-0.0661
-0.0640
0.1070
0.1113
6
0.0903
1.2044
0.1243
1.0599
0.4537
0.0156
0.2830
-0.0635
-0.2481
0.0948
7
0.0400
0.5047
0.0585
1.2045
0.1258
0.0403
-0.0600
-0.0320
0.0584
-0.0103
8
-0.0340
-0.4749
0.2345
1.4888
-0.2629
0.1755
-0.0176
-0.1787
-0.1497
-0.1253
9
0.0866
1.1822
0.1649
1.1212
0.5253
0.0742
0.2656
-0.2350
-0.2673
0.1456
10
0.0815
1.0693
0.1042
1.0900
0.3646
0.0144
-0.0416
-0.1598
-0.0050
0.2648
11
0.1217
1.7489
0.2064
0.9042
0.8919
0.3905
-0.5223
0.4220
-0.0939
-0.3786
12
0.001817
0.0238
0.1319
1.3646
0.0093
0.0006
-0.0043
0.0014
-0.0013
0.0060
13
-0.0605
-0.8116
0.1571
1.2562
-0.3504
-0.1349
0.0542
0.1578
-0.1512
0.1920
14
-0.1616
-2.2332
0.0891
0.5882
-0.6984
0.2136
0.0273
-0.2796
-0.0233
-0.4896
15
-0.0815
-1.0668
0.0996
1.0854
-0.3548
0.1385
-0.2272
-0.1755
-0.1047
0.0858
16
0.0147
0.1833
0.0510
1.2412
0.0425
0.0172
0.0151
-0.0102
-0.0213
-0.0064
17
0.0108
0.1527
0.2621
1.5991
0.0910
-0.0708
0.0471
0.0621
0.0501
0.0214
18
0.0132
0.1694
0.0973
1.3060
0.0556
-0.0186
-0.0081
0.0187
0.0120
0.0407
19
-0.0945
-1.4104
0.2888
1.1955
-0.8987
-0.5367
0.5567
0.5039
0.3418
-0.3445
20
-0.0742
-0.9887
0.1355
1.1611
-0.3915
-0.0253
0.0337
0.1771
-0.2619
0.0478
21
0.0445
0.5957
0.1621
1.3305
0.2620
-0.0068
0.1175
0.1599
-0.1246
-0.0530
22
0.0862
1.1193
0.0827
1.0454
0.3361
-0.1307
0.1211
0.2035
-0.0321
0.1423
23
0.1167
1.5171
0.0524
0.8534
0.3568
-0.0969
0.0817
0.0745
0.2194
-0.0141
24
-0.0780
-1.0567
0.1595
1.1669
-0.4603
-0.2035
0.3108
-0.0321
0.1730
-0.1506
25
0.0625
0.8336
0.1458
1.2320
0.3444
0.2705
-0.2498
-0.1802
0.0116
-0.1149
26
0.0368
0.4817
0.1278
1.3053
0.1844
0.0898
-0.0761
-0.0703
0.0760
-0.0930
27
-0.1001
-1.4613
0.2527
1.1114
-0.8498
-0.0555
-0.4302
0.2444
0.5180
-0.3212
28
-0.0608
-0.8207
0.1655
1.2658
-0.3655
0.0013
0.2408
-0.1333
-0.1398
-0.0968
29
0.1278
1.7725
0.1451
0.8286
0.7303
0.6741
-0.3384
-0.4570
-0.4221
-0.1446
30
-0.0245
-0.3393
0.2201
1.4892
-0.1802
-0.0635
0.0322
-0.1043
0.0438
0.1136
31
-0.1017
-1.3935
0.1564
1.0157
-0.6001
-0.1002
-0.2276
0.1049
-0.1490
0.4070
32
-0.0340
-0.4436
0.1245
1.3083
-0.1673
-0.0671
-0.0156
-0.0406
0.1344
0.0152
33
0.0668
0.8499
0.0614
1.1162
0.2174
0.0245
-0.0989
0.0544
0.1077
-0.0216
34
-0.1020
-1.3466
0.0949
0.9666
-0.4361
-0.1253
-0.2069
0.2442
0.0778
0.0902
35
0.0507
0.6628
0.1172
1.2448
0.2415
-0.1098
0.1405
-0.0360
0.1275
0.0584