dc.contributor.advisor | Nuri, Doğan | |
dc.contributor.author | Gündeğer, Ceylan | |
dc.date.accessioned | 2017-12-18T12:57:11Z | |
dc.date.available | 2017-12-18T12:57:11Z | |
dc.date.issued | 2017 | |
dc.date.submitted | 2017-10-13 | |
dc.identifier.uri | http://hdl.handle.net/11655/4113 | |
dc.description.abstract | Computerized Adaptive Classification Testing (CACT) aims to classify the persons
with the highest classification accuracy using the least number of items according
to one or more predefined cut-points. The efficiency of these classifications varies
by item pools, classification criteria, item selection methods and ability estimation
methods. According to this, in the CACT, forming of different patterns and
identification of these patterns under Monte Carlo (MC) and Post Hoc (PH)
simulations are important for real applications.
In this study, different classification criteria, various methods for item selection and
ability estimation in the CACT, are compared using classification accuracy, test
length and precision of measurement under the simulations of both MC and PH. In
our research, as classification criteria, Sequential Probability Ratio Test (SPRT),
Generalized Likelihood Ratio (GLR) and Confidence Interval (CI) methods; as
ability estimation methods, Expected a Posteriori (EAP) and Weighted Likelihood
Estimation (WLE) methods; and as item selection methods, Maximum Fisher
Information (MFI) and Kullback-Leibler Information (KLI) methods on the basis of
cut-point (CP) and estimated ability (EA) have been examined. For this aim, for the
MC simulation, a pool of 500 items, which is based on 3 PLM and informs at the
cut-point (theta=1,0) and around, has been generated; for the PH simulation, a
real data set including 80 items has been used. In the MC simulation, individual
abilities have been generated using normal distribution (N(0,1)) for 3000
individuals. In the PH simulation, the ability level of the 994 individuals in the data
set have been estimated by EAP on the basis of 3 PLM. The item response
patterns have been generated randomly in R software in the MC simulation,
whereas, the real item response pattern has been used without any manipulation
in PH simulation. In our study, 96 conditions have been investigated for the MC
and the PH simulations. At the end of the CACT simulations, the mean values of
Average Test Length (ATL), Average Classification Accuracy (ACA), correlation
ix
between the real thetas and estimated thetas (r), bias, Root Mean Square Error
(RMSE) and Mean Absolute Error (MAE) for 25 replications have been calculated.
According to results of the study, it has been observed in both the MC and the PH
simulation results that the GLR and the CI classification criteria perform better
compared to the SPRT in terms of test efficiency, however the SPRT works better
compared to the other two methods in terms of bias, RMSE and MAE. It has also
been deduced that the ATL decreases and test efficiency increases as the
indifference region of classification criteria expands or the error value decreases.
In addition, it has been concluded that all classification criteria have considerably
high level of the classification accuracy in all conditions; and both ability estimation
methods, the EAP and the WLE, have successful estimation results in terms of the
correlation between real and estimated thetas (r); wheras the EAP relatively
performs better than the WLE in terms of the bias, RMSE and MAE. It has also
been observed that, all of the item selection methods work similarly to each other
however the MFI-EA performs better for all conditions in terms of all dependent
variables. | tr_TR |
dc.description.tableofcontents | KABUL ve ONAY ..................................................................................................... ii
YAYIMLAMA VE FİKRİ MÜLKİYET HAKLARI BEYANI ......................................... iii
ETİK BEYANNAMESİ ............................................................................................ iv
TEŞEKKÜR ............................................................................................................. v
ÖZ……………… ..................................................................................................... vi
ABSTRACT… ....................................................................................................... viii
İÇİNDEKİLER .......................................................................................................... x
TABLOLAR DİZİNİ ............................................................................................... xiii
ŞEKİLLER DİZİNİ ................................................................................................. xiv
SİMGELER VE KISALTMALAR DİZİNİ ................................................................. xv
1. GİRİŞ……… ........................................................................................................ 1
1.1. Problem Durumu ........................................................................................... 1
1.2. Araştırmanın Amacı ve Önemi: ..................................................................... 4
1.3. Problem Cümlesi: ......................................................................................... 7
1.3.1. Alt Problemler: ........................................................................................ 7
1.4. Sınırlılıklar: .................................................................................................... 8
1.5. Araştırmanın Kuramsal Temeli ..................................................................... 9
1.5.1. Bireyselleştirilmiş Bilgisayarlı Sınıflama Testi Uygulamaları (BBST) ...... 9
1.5.1.1. Psikometrik Model .........................................................................11
1.5.1.1.1. Madde Tepki Kuramı (MTK) ....................................................11
1.5.1.1.2. MTK Modellerinin Varsayımları ...............................................12
1.5.1.1.3. MTK Modelleri .........................................................................13
1.5.1.1.3.1. 1 Parametreli Lojistik Model .................................................13
1.5.1.1.3.2. 2 Parametreli Lojistik Model .................................................14
1.5.1.1.3.3. 3 Parametreli Lojistik Model .................................................14
1.5.1.1.3.4. 4 Parametreli Lojistik Model .................................................15
1.5.1.1.4. Değişmezlik Özelliği ................................................................15
1.5.1.2. Kalibre Edilmiş Madde Havuzu ......................................................16
1.5.1.3. Başlama Noktası ............................................................................17
1.5.1.4. Madde Seçimi ................................................................................17
1.5.1.5. Yeteneğin Kestirilmesi ...................................................................19
1.5.1.5.1. Beklenen Sonsal Dağılım Kestirim Yöntemi ............................21
1.5.1.5.2. Ağırlıklandırılmış Olabilirlik Kestirim Yöntemi ..........................22
1.5.1.6. Sonlandırma Kriteri ........................................................................23
1.5.1.6.1. Ardışık Olasılık Oran Testi Sonlandırma Kriteri .......................23
1.5.6.6.2. Genelleştirilmiş Olabilirlik Oranı Sonlandırma Kriteri ...............25
1.5.1.6.3.Güven Aralığı Sonlandırma Kriteri ............................................26
2. İLGİLİ ARAŞTIRMALAR .................................................................................... 27
2.1. Yetenek Kestirimi ve Madde Seçme Yöntemleri ile İlgili Çalışmalar ........... 27
2.2. Bireyselleştirilmiş Bilgisayarlı Sınıflama Testleri (BBST) ile İlgili
Çalışmalar .................................................................................................. 36
2.3. İlgili Araştırmalar Özet ................................................................................ 45
xi
3. YÖNTEM ........................................................................................................... 49
3.1. Araştırmanın Yöntemi ................................................................................. 49
3.2. Verinin Türetilmesi ve Elde Edilmesi ........................................................... 49
3.2.1. Monte Carlo (MC) Simülasyonu İçin Madde ve Yetenek
Parametrelerinin Türetilmesi ................................................................. 49
3.2.1.1. MC Veri Setinin Tek Boyutluluk Varsayımının İncelenmesi ...........51
3.2.1.2. MC Veri Setinin Yerel Bağımsızlık Varsayımının İncelenmesi .......53
3.2.1.3. Testin Hız Testi Olmaması.............................................................54
3.2.2. Post Hoc (PH) Simülasyonu İçin Madde ve Yetenek
Parametrelerinin Elde Edilmesi ............................................................. 55
3.2.2.1. PH Veri Setinin Tek Boyutluluk Varsayımının İncelenmesi ............56
3.2.2.2. PH Veri Setinin Yerel Bağımsızlık Varsayımının İncelenmesi .......59
3.2.2.3. Testin Hız Testi Olmaması.............................................................60
3.2.2.4. PH Veri Setinin Model-Veri Uyumunun İncelenmesi ......................60
3.2.2.5. PH Veri Setinin Madde ve Yetenek Parametrelerinin
Değişmezliğinin İncelenmesi ......................................................................62
3.3. BBST Simülasyonu Koşulları ...................................................................... 63
3.4. Verilerin İşlenmesi ve Çözümlenmesi ......................................................... 64
4. BULGULAR VE TARTIŞMA .............................................................................. 65
4.1. Birinci Alt Probleme Ait Bulgular ve Yorumlar ............................................. 65
4.2. İkinci Alt Probleme Ait Bulgular ve Yorumlar............................................... 69
4.3. Üçüncü Alt Probleme Ait Bulgular ve Yorumlar ........................................... 73
4.4. Dördüncü Alt Probleme Ait Bulgular ve Yorumlar ....................................... 74
4.5. Beşinci Alt Probleme Ait Bulgular ve Yorumlar ........................................... 76
4.6. Altıncı Alt Probleme Ait Bulgular ve Yorumlar ............................................. 76
4.7. Yedinci Alt Probleme Ait Bulgular ve Yorumlar ........................................... 80
4.8. Sekizinci Alt Probleme Ait Bulgular ve Yorumlar ......................................... 84
4.9. Dokuzuncu Alt Probleme Ait Bulgular ve Yorumlar ..................................... 86
4.10. Onuncu Alt Probleme Ait Bulgular ve Yorumlar ........................................ 88
5. SONUÇ ve ÖNERİLER ..................................................................................... 89
5.1. Sonuçlar...................................................................................................... 89
5.2. Öneriler ....................................................................................................... 91
5.2.1. Araştırmaya Dönük Öneriler ................................................................. 91
5.2.2. Uygulamaya Dönük Öneriler ................................................................ 92
KAYNAKÇA ........................................................................................................... 94
EKLER DİZİNİ ..................................................................................................... 100
EK 1. ETİK KOMİSYON İZİN MUAFİYET FORMU ............................................. 101
EK 2. ORİJİNALLİK RAPORU ............................................................................. 102
EK 3. MONTE CARLO SİMÜLASYONU İÇİN TÜRETİLEN MADDE
PARAMETRELERİNİN BETİMSEL ÖZELLİKLERİ........................... 104
EK 4. MONTE CARLO SİMÜLASYONU İÇİN TÜRETİLEN YETENEK
PARAMETRELERİNİN BETİMSEL ÖZELLİKLERİ........................... 105
EK 5. POST HOC SİMÜLASYONUNDA KULLANILAN MADDELERİN
FAKTÖR YÜKLERİNİN BETİMSEL ÖZELLİKLERİ .......................... 106
xii
EK 6. POST HOC SİMÜLASYONUNDA KULLANILAN MADDE
HAVUZUNUN 3 PLM TEMELİNDE KESTİRİLEN MADDE
PARAMETRELERİNİN BETİMSEL ÖZELLİKLERİ........................... 107
EK 7. POST HOC SİMÜLASYONUNDA MADDE TEPKİ KURAMINA DAYALI
KESTİRİLEN YETENEK PARAMETRELERİNİN BETİMSEL
ÖZELLİKLERİ .................................................................................. 108
ÖZGEÇMİŞ ......................................................................................................... 109 | tr_TR |
dc.language.iso | tur | tr_TR |
dc.publisher | Eğitim Bilimleri Enstitüsü | tr_TR |
dc.rights | info:eu-repo/semantics/restrictedAccess | tr_TR |
dc.subject | Bireyselleştirilmiş bilgisayarlı sınıflama testleri | tr_TR |
dc.subject | Sınıflama kriterleri | |
dc.subject | Yetenek kestirim yöntemleri | |
dc.subject | Madde seçme yöntemleri | |
dc.subject | Post hoc simülasyon | |
dc.title | Bireyselleştirilmiş Bilgisayarlı Sınıflama Testi Kriterlerinin Sınıflama Doğruluğu Ve Test Uzunluğu Açısından Karşılaştırılması | tr_TR |
dc.type | info:eu-repo/semantics/doctoralThesis | tr_TR |
dc.description.ozet | Bireyselleştirilmiş Bilgisayarlı Sınıflama Testleri (BBST) bireyi, önceden belirlenen
bir ya da birden fazla sayıda kesme noktasına göre en az sayıda maddeyle en
yüksek sınıflama doğruluğunda sınıflamayı amaçlar. Bu sınıflamaların etkililiği,
madde havuzlarına, sınıflama kriterlerine, madde seçme ve yetenek kestirim
yöntemlerine göre değişkenlik göstermektedir. Buna göre BBST’de farklı
desenlerin oluşturulması ve bu desenlerin Monte Carlo (MC) ve Post Hoc (PH)
simülasyonlar altında incelenmesi gerçek uygulamalar için önem arz etmektedir.
Bu çalışmada BBST’de farklı sınıflama kriterleri, yetenek kestirim ve madde seçme
yöntemleri hem MC hem de PH simülasyonları altında, sınıflama doğruluğu, test
uzunluğu ve ölçme kesinliği bakımından karşılaştırılmıştır. Araştırmada sınıflama
kriterlerinden Ardışık Olasılık Oran Testi (AOOT), Genelleştirilmiş Olabilirlik Oranı
(GOO) ve Güven Aralığı (GA) yöntemleri; yetenek kestirim yöntemlerinden
Beklenen Sonsal Dağılım (BSD) ve Ağırlıklandırılmış Olabilirlik Kestirimi (AOK)
yöntemleri; madde seçme yöntemlerinden ise kesme noktasında (KN) ve kestirilen
yetenek (KY) temelinde Maksimum Fisher Bilgisi (MFB) ve Kullback-Leibler Bilgisi
(KLB) yöntemleri incelenmiştir. Bu amaçla MC simülasyonu için 3 PLM temel
alınarak kesme noktası 1,0 ve etrafında yüksek bilgi verecek şekilde 500 maddelik
bir havuz oluşturulmuş; PH simülasyonu için ise 80 maddelik gerçek veri setinden
yararlanılmıştır. MC simülasyonunda birey yetenekleri normal dağılım yardımıyla
(N(0,1)) toplam 3000 kişi üzerinden türetilmiştir. PH simülasyonunda ise veri
setindeki 994 bireyin yetenek düzeyleri 3 PLM temelinde BSD ile kestirilmiştir. MC
simülasyonunda bireylerin madde cevap örüntüleri R yazılımda rasgele türetilmiş;
PH simülasyonda ise herhangi bir manüpülasyon olmaksızın gerçek madde cevap
örüntüsü kullanılmıştır. Çalışmada PH ve MC simülasyonları için toplam 96 koşul
incelenmiştir. BBST simülasyonu sonunda, ortalama test uzunluğu (OTU),
ortalama sınıflama doğruluğu (OSD), bireylerin gerçek yetenek düzeyleriyle
vii
kestirilen yetenek düzeyleri arasındaki korelasyon (r), yanlılık, RMSE ve ortalama
mutlak hata (OMH) değerlerinin 25 tekrara ait ortalamaları hesaplanmıştır.
Araştırma sonuçlarına göre hem MC hem de PH simülasyon çalışmasında test
etkililiği bakımından GOO ve GA yöntemlerinin AOOT’ye kıyasla daha iyi
performans gösterdiği; AOOT’nin yanlılık, RMSE ve OMH bakımından diğer iki
yönteme kıyasla daha başarılı çalıştığı; sınıflama kriterlerinin farksızlık bölgesi
genişledikçe veya hata düzeyi değeri küçüldükçe OTU’nun azaldığı ve test
etkililiğinin arttığı görülmüştür. Bununla birlikte sınıflama kriterlerinin tümünün her
koşulda oldukça yüksek düzeyde sınıflama doğruluğuna sahip oldukları; gerçek ve
kestirilen yetenekler arasındaki korelasyonlar bakımından BSD ve AOK yetenek
kestirim yöntemlerinin her ikisinin de başarılı kestirimlerde bulundukları ancak
yanlılık, RMSE ve OMH bakımından BSD’nin AOK’tan göreli olarak daha iyi
performans sergilediği belirlenmiştir. İncelenen madde seçme yöntemlerinin ise
tümünün birbirine benzer çalıştığı; ancak MFB-KY’nin tüm bağımlı değişkenler
açısından tüm koşullarda daha iyi performans gösterdiği görülmüştür. | tr_TR |
dc.contributor.department | Eğitim Bilimleri | tr_TR |
dc.contributor.authorID | 33152 | tr_TR |