Abstract
The purpose of this study is to compare the missing data handling methods in terms of the influence on measurement invariance. For this purpose, data of 5496 students participated in PISA 2015 tests from Turkey and responded to the items about science learning motivation was used. Sampling of 300, 1000, and 2000 students were created from the complete data to research on missing data of different sample sizes and different rates. 5%, 10% and 20% missing data were generated as having missing completely at random (MCAR) mechanism from the size of each sample. In all data sets, missing data was completed with listwise deletion (LD), serial mean imputation (SMI), regression imputation (RI), expectation maximization (EM) and multiple imputation (MI) methods, and measurement invariance study between genders was investigated with multiple-group confirmatory factor analysis. Findings from each dataset were compared with reference values.
In the result of the study, EM method in the data set with 300 students and 5% missing, MI and EM methods in the data sets with 300 students and 10% and 20% missing gave more similar results than the other methods. In data sets of 1000 students, RI method in the data set with 5% missing, EM and MI methods in the data set with 10% missing, EM method in the data set with 20% missing show more similar results than the other methods. In the data sets of 2000 students, RI, EM and MI methods in the data set with 5% missing, MI method in the data set with 10% missing and EM method in the data set with 20% missing gave more similar results than the other methods.
xmlui.mirage2.itemSummaryView.Collections
xmlui.dri2xhtml.METS-1.0.item-citation
Acock, A. C. (2005). Working with missing values. Journal of Marriage and Family, 67, 1012-1028
Akbaş, U. ve Tavşancıl, E. (2015). Farklı örneklem büyüklüklerinde ve kayıp veri örüntülerinde ölçeklerin psikometrik özelliklerinin kayıp veri baş etme teknikleri ile incelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 6(1), 38-57.
Allison, P. D. (2001). Missing data. Thousand Oaks, CA: Sage.
Allison, P. D. (2003). Missing data techniques for structural equation modeling. Journal of Abnormal Psychology, 112(4), 545-557.
Asparouhov, T., & Muthen, B. (2014). Multiple-group factor analysis alignment. Structural Equation Modeling: A Multidisciplinary Journal, 21, 1-14.
Başman, M. (2014). Likert tipi ölçeklerde kayıp verilere değer atamada yapay sinir ağlarının kullanımı. (Yayımlanmamış Yüksek Lisans Tezi). Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
Başusta, N. B. ve Gelbal, S. (2015). Gruplararası karşılaştırmalarda ölçme değişmezliğinin test edilmesi: PISA öğrenci anketi örneği. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi [H. U. Journal of Education], 30(4), 80-90.
Baygül, A. (2007). Kayıp veri analizinde sıklıkla kullanılan etkin yöntemlerin değerlendirilmesi. (Yayımlanmamış Yüksek Lisans Tezi). İstanbul Üniversitesi, Sağlık Bilimleri Enstitüsü, İstanbul.
Brown, T. A. (2006). Confirmatory factor analysis for applied research. New York: The Guilford Press.
Byrne, B. M., Shavelson, R. J., & Muthen, B. (1989). Testing for the equivalence of factor covariance and mean structures: The issue of partial measurement invariance. Psychological Bulletin, 105(3), 456-466.
Chen, F. F. (2007). Sensitivity of goodness of fit indexes to lack of measurement invariance. Structural Equation Modeling: A Multidisciplinary Journal, 14(3), 464-504.
Chen, F. F., Sousa, K. H., & West, S. G. (2005). Teacher's corner: Testing measurement invariance of second-order factor models. Structural Equation Modeling: A Multidisciplinary Journal, 12(3), 471-492.
Chen, S. F., Wang, S., & Chen, C. Y. (2012). A simulation study using EFA and CFA programs based the impact of the missing data on test dimensionality. Expert Sysytems with Applications, 39, 4026-4031.
Cheung, G. W., & Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural Equation Modeling: A Multidisciplinary Journal, 9(2), 233-255.
Çokluk, Ö. ve Kayrı, M. (2011). Kayıp değerlere yaklaşık değer atama yöntemlerinin ölçme araçlarının geçerlik ve güvenirliği üzerindeki etkisi. Kuram ve Uygulamada Eğitim Bilimleri [Educational Sciences: Theory & Practice], 11(1), 289-309.
Demir, E. (2013). Kayıp verilerin varlığında çoktan seçmeli testlerde madde ve test parametrelerinin kestirilmesi: SBS örneği. Eğitim Bilimleri Araştırmaları Dergisi [Journal of Educational Sciences Research], 3(2), 47-68.
Demir, E. (2013). Kayıp verilerin varlığında iki kategorili puanlanan maddelerden oluşan testlerin psikometrik özelliklerinin incelenmesi. (Yayımlanmamış Doktora Tezi). Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
Demir, E. ve Parlak, B. (2012). Türkiye’de eğitim araştırmalarında kayıp veri sorunu. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 3(1), 230-241.
Dempster, A. P., Laird, N. M., & Rubin, D. B. (1977). Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society, 39(1), 1-38.
Downey, R. G. & King, C. V. (1998). Missing data in likert ratings: A comparison of replacement methods. The Journal of General Psychology, 125(2), 175-191.
Drasgow, F. (1984). Scrutinizing psychological tests: Measurement equivalence and equivalent relations with external variables are the central issues. Psychological Bulletin, 95(1), 134-135.
Enders, C. K. (2010). Applied missing data analysis. New York: The Guilford Press.
Fraenkel, J. R., Wallen, N. E., & Hyun, H. H. (2012). How to design and evaluate research in education. (8th edition). New York: The McGraw-Hill Companies.
Gujarati, D. N. (2004). Basic Econometric. (4th edition). New York: The McGraw-Hill Companies.
Harrington, D. (2009). Confirmatory factor analysis. New York: Oxford University Press.
Hu, L. & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1-55.
Jöreskog, K. G. (1971). Simultaneous factor analysis in several populations. Psychometrika, 36(4), 409-426.
Karakoç Alatlı, B. (2016). Uluslararası öğrenci değerlendirme programı (PISA-2012) okur yazarlık testlerinin ölçme değişmezliğinin incelenmesi. (Yayımlanmamış Doktora Tezi). Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
Karasar, N. (2009). Bilimsel araştırma yöntemi. (20. Baskı). Ankara: Nobel Yayıncılık.
Kıbrıslıoğlu N. (2015). PISA 2012 matematik öğrenme modelinin kültürlere ve cinsiyete göre ölçme değişmezliğinin incelenmesi: Türkiye-Çin(Şangay)-Endonezya örneği. (Yayımlanmamış Yüksek Lisans Tezi). Hacettepe Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
Kline, R. B. (2013). Assessing statistical aspects of test fairness with structural equation modeling. Educational research and evaluation: An international journal on theory and practice, 19(2-3), 204-222.
Kürşad, M. Ş. (2014). Sıklıkla kullanılan kayıp veri yöntemlerinin betimsel istatistik, güvenirlik ve geçerlik açısından karşılaştırılması. (Yayımlanmamış Yüksek Lisans Tezi). Abant İzzet Baysal Üniversitesi, Eğitim Bilimleri Enstitüsü, Bolu.
Little, T. D. (2013). Longitudinal structural equation modeling. New York: Guilford Press.
Little, R. J. A. & Rubin, D. B. (2002). Statistical analysis with missing data. (2nd edition). New York: Wiley
MEB (Milli Eğitim Bakanlığı) (2016). PISA 2015 ulusal raporu. [Çevrim-içi: http://pisa.meb.gov.tr/wp-content/uploads/2016/12/PISA2015_Ulusal_Rapor1.pdf Erişim tarihi: 12 Şubat 2017.]
Milfont, T. L., & Fischer, R. (2010). Testing measurement invariance across groups: Applications in cross-cultural research. International Journal of Psychological Research, 3(1), 111-121.
OECD (Organization for Economic Cooperation and Development) (2016). PISA 2015 results in focus. [Çevrim-içi: https://www.oecd.org/pisa/pisa-2015-results-in-focus.pdf, Erişim tarihi: 12 Şubat 2017.]
Olinsky, A., Chen, S., & Harlow, L. (2003). The comparative efficacy of imputation methods for missing data in structural equation modeling. European Journal of Operational Research, 151, 53-79.
Önen, E. (2007). Gruplar arası karşılaştırmalarda ölçme değişmezliğinin incelenmesi: Epistemolojik İnançlar Envanteri üzerine bir çalışma. Ege Eğitim Dergisi, 8(2), 87-110.
Öztemür, B. (2014). Kayıp veri yöntemlerinin farklı değişkenler altında varyans analizi (t-testi, anova) parametreleri üzerine etkisinin incelenmesi. (Yayımlanmamış Yüksek Lisans Tezi). Abant İzzet Baysal Üniversitesi, Eğitim Bilimleri Enstitüsü, Bolu.
Reise, S. P., Widaman, K. F., & Pugh, R. H. (1993). Confirmatory factor analysis and item response theory: Two approaches for exploring measurement invariance. Psychological Bulletin, 114(3), 552-566.
Rubin, D. B. (1976). Inference and missing data. Biometrica, 63(3), 581-592.
Rubin, D. B. (1976). Multiple imputation for nonresponse in surveys. New York: Wiley
Sass, D. A. (2011). Testing measurement invariance and comparing latent factor means within a confirmatory factor analysis freamwork. Journal of Psychoeducational Assessment, 29(4), 347-363.
Schnabel, D. B. L., Kelava, A., Vijver, F. J. R., & Seifert, L. (2015). Examining psychometric properties, measurement invariance, and construct validity of a short version of the Test to Measure Intercultural Competence (TMIC-S) in Germany and Brazil. International Journal of Intercultural Relations, 49, 137-155.
Schoot, R., Lugtig, P., & Hox, J. (2012). A checklist for testing measurement invariance. European Journal of Developmental Psychology, 9(4), 486-492.
Shrive, F. M., Stuart, H., Quan, H., & Ghali, W. A. (2006). Dealing with missing data in multi-question depression scale: A comparison of imputation methods. BMC Medical Research Methodology, 6(57).
Tabachnick, B. G. & Fidell, L. S. (2013). Using multivariate statistics. (6th edition). Boston: Pearson
Uyar, Ş. (2011). PISA 2009 Türkiye örnekleminde öğrenme stratejileri modelinin farklı gruplarda ölçme değişmezliğinin incelenmesi. (Yayımlanmamış Yüksek Lisans Tezi). Hacettepe Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
Uzun, B. ve Öğretmen, T. (2010). Fen başarısı ile ilgili bazı değişkenlerin TIMSS-R Türkiye örnekleminde cinsiyete göre ölçme değişmezliğinin değerlendirilmesi. Eğitim ve Bilim[Education and Science], 35(155), 26-35.
Vandenberg, R. J., & Lance, C. E. (2000). A review and synthesis of the measurement invariance literature: Suggestions,Practices, and recommendations for organizational research. Organizational Research Methods, 3(1), 4-70.
Wang, M., Willett, J. B., & Eccles, J. S. (2011). The assessment of school engagement: Examining dimensionality and measurement invariance by gender and race/ethnicity. Journal of School Psychology, 49, 465-480.
West, S. G., Taylor, A. B., & Wu, W. (2012). Model fit and model selection in structural equation modeling. In R. H. Hoyle (Ed.). Handbook of structural equation modeling, 209-231. New York: Guilford Press.
Whitaker, B. G., & Mckinney, J. L. (2007). Assessing the measurement invariance of latent job satisfaction ratings across survey administration modes for respondent subgroups: A MIMIC modeling approach. Behavior Research Methods, 39(3), 502-509.
Widaman, K. F., & Reise, S. P. (1997). Exploring the measurement invariance of psychological instruments: Applications in the substance use domain. The science of prevention: Methodological advances from alcohol and substance abuse research, 281-324
Xu, H., & Tracey, T. J. G. (2017). Use of multi-group confirmatory factor analysis in examining measurenet invariance in counseling psychology research. The European Journal of Counselling Psychology, 6(1), 75-82.
Yandı, A., Köse, İ. A. ve Uysal, Ö. (2017). Farklı yöntemlerle ölçme değişmezliğinin incelenmesi: PISA 2012 örneği. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 13(1), 243-253.
