You are here

KISMİ EN KÜÇÜK KARELER REGRESYONU YARDIMIYLA OPTİMUM BİLEŞEN SAYISINI SEÇMEDE MODEL SEÇME KRİTERLERİNİN PERFORMANS KARŞILAŞTIRMASI

Journal Name:

Publication Year:

Abstract (2. Language): 
Partial Least Squares Regression (PLSR) is a multivariate statistical method for constructing predictive models when the variables are many and highly collinear. Its goal is to predict a set of response variables from a set of predictor variables. This prediction is achieved by extracting a set of orthogonal factors called latent variables from the predictor variables. This study investigated the performances of model selection criteria in selecting the optimum number of latent variables from PLSR models for data sets that have various observations and variable numbers. Their performances have been compared in a simulation study with k-fold cross validation. This simulation has been performed to compare the performance of MAIC (Bedrick & Tsai, 1994), MAIC (Bozdogan, 2000), MA_opt(PRESS) and Wold’s R criterion in finding the optimum number of latent variables. The simulation results show that all the criteria achieved the optimum number of latent variables for a smallsized design matrix. But when the data dimensions get bigger, MAKAKIE and MBEDRICK could not find the optimum number of latent variables. MA_opt(PRESS) and Wold’s R criteria gave almost the same results and found the optimum number of latent variables with a better performance than the MAIC’s.
Abstract (Original Language): 
Regresyon modellerinin çok sayıda açıklayıcı değişkene sahip olması, gözlem sayısının açıklayıcı değişken sayısından daha az olması ve açıklayıcı değişkenler arasında çoklu doğrusal bağlantı probleminin varlığı gibi durumlar, regresyon analizindeki problemlerden bazılarıdır. Bu problemler en küçük kareler yöntemi varsayımlarını bozmaktadır. Kısmi en küçük kareler regresyonu (KEKKR), bu varsayımların bozulduğu durumlarda regresyon analizi yapmaya olanak sağlayan: kısmi en küçük kareler (KEKK) ve çoklu doğrusal regresyon yöntemlerinden oluşan çok değişkenli istatistiksel bir metottur. Bu çalışmada, çoklu doğrusal bağlantı probleminin olduğu veri setlerinde KEKKR tarafından elde edilen gizli değişkenler ile model kurulup, gizli değişkenlerin optimum sayısını saptamak için ise MAIC (Bedrick & Tsai, 1994), MAIC (Bozdogan,2000), MA_opt(PRESS) ve Wold’s R model seçme kriterleri kullanılmıştır. Model seçme kriterlerinin optimum sayıda gizli değişkeni bulma performanslarını karşılaştırmak amacıyla k-çapraz geçerlilikte benzetim çalışması yapılmıştır. Benzetim çalışması sonucunda; kriterlerin küçük boyutlu veri setlerinde doğru bir şekilde gizli değişken sayısını bulduğu fakat veri setlerinin boyutu arttıkça kriterlerin optimum sayıdan daha fazla sayıda gizli değişken seçme eğiliminde oldukları görülmüştür. Ayrıca, MAKAKIE ve MBEDRICK kriterlerinin hemen hemen aynı sonuçları bulmakta olduğu fakat regresyon modellerinin boyutu büyütüldüğünde optimum sayıda gizli değişkenleri bulamadığı saptanmıştır. MA_opt(PRESS) kriteri ve Wold’s R kriteri yaklaşık olarak aynı sonuçları vermekte olup diğer kriterlere göre daha doğru iyi bir performansla optimum sayıda gizli bileşenleri bulmaktadırlar.
38-52

JEL Codes:

REFERENCES

References: 

Abdi, H. 2007. Partial Least Square Regression (PLS regression).–In: Salkind, N. J.
(ed.), Encylopedia of Measurement and Statistics. Sage.
Akaike, H. 1971. Autoregressive Model Fitting for Control. Ann. Inst. Statistics Math
23: 163-180.
Akaike, H. 1974. A New Look at the Statistical Model Identification. IEEE
Transactions on Automatic Control 19:716–723.
Bedrick, E. J., and Tsai, C. L. 1994. Model Selection for Multivariate Regression in
Small Samples. Biometrics 50:226-231.
Bozdogan, H. 2000. Akaike’s Information Criterion and Recent Developments in
Information Complexity. Journal of Mathematical Psychology 44:62-91.
Carrascal, L. M, and Galva´n I Gordo O., 2009. Partial Least Squares Regression as an
Alternative to Current Regression Methods Used in Ecology. The Authors. Journal
Compilation, Oikos 118:681-690.
Dayal, B., and MacGregor., J. 1997. Improved PLS algorithms. Journal of
Chemometrics 11:73-85.
De Jong, S. 1993. SIMPLS: An Alternative Approach to Partial Least Squares
Regression. Chemometrics and Intelligent Laboratory Systems 18:251-263.
De Jong, S., and Ter Braak, C. J. F. 1994. Comments on the PLS kernel algorithm.
Journal of Chemometrics 8:169–174.
Garthwaite, P. H. 1994. An Interpretation of Partial Least Squares. Journal of the
American Statistical Association 89:122-127.
Geladi, P., and Kowalski, R. 1986. Partial Least Squares Regression: A Tutorial.
Analytica Chimical Acta 185:1-17.
Geladi, P. 1988. Notes on the History and Nature of Partial Least Squares (PLS)
Modelling. Journal of Chemometrics 2:231-246.
Helland, I. S. 1990. Partial Least Squares Regression and Statistical Models.
Scandinavian Journal of Statistics 17:97-114.
Höskuldson, A. 1988. PLS Regression Methods. Journal of Chemometrics 2:211-228.
Last, M. 2006. The Uncertainty principle of cross-validation. Member, IEEE:275-280.
Li, B., Morris, J., and Martin, B. 2002. Model Selection for Partial Least Squares
Regression. Chemometrics and Intelligent Laboratory Systems 64:79-89.
Lindgren, F., Geladi, P., and Wold, S. 1993. The Kernel Algorithm for PLS. Journal
of Chemometrics 7:45-59.
Lindgren, F., and Rannar, S. 1998. Alternative Partial Least-Squares (PLS) Algorithm.
Perspective in Drug Discovery and Design 12/13/14:105-113.
Martens, H. and Naes, T. 1989. Multivariate Calibration. John Wiley & Sons.
Neter, J., Kutner, M. H., Nachtsheim, C. J., and Wasserman, W. 1996. Applied Linear
Regression Models. Times Mirror Higher Education Group, Inc.
Rännar, S., Lindgren, F., Geladi, P., and Wold, S. 1994. A PLS Kernel Algorithm For
Data Sets With Many Variables and Fewer Objects. Part 1: Theory and Algorithm. Journal of
Chemometrics 8:111-125.
Shao, J. 1993. Linear Model Selection by Cross-validation. J.Amer.Stat.Assoc.
88:486-494
Stone, M., and Brooks, R. J. 1990. Continuum Regression: Cross-Validated
Sequentially Constructed Prediction Embracing Ordinary Least Squares, Partial Least Squares
and Principal Components Regression (with discussion). Journal of the Roya1 Statistical
Society, Ser. B 52:237-269.
Tobias, R. D. 2003. An Introduction to Partial Least Squares Regression
from:www.ats.ucla.edu/stat/sas/library/pls.pdf. (08.10.2011)
Wold, S., Ruhe, A., Wold, H., and Dunn, W. 1984. The Collinearity Problem in Linear
Regression. The PLS Approach to Generalised Inverses. Journal of Scientific Statistical
Computing, SIAM 5:735-743.
Wold, S., Sjöström, M., and Eriksson, L. 2001. PLS-regression:a Basic Tool of
Chemometrics. Chemometrics and Intelligent Laboratory Syste

Thank you for copying data from http://www.arastirmax.com