Eğitim Bilimleri Ana Bilim Dalı Eğitimde Ölçme ve Değerlendirme Programı MADDE YAZARI ÖZELLİKLERİNİN MADDE PSİKOMETRİK ÖZELLİKLERİNE ETKİSİ Kenan Burak YÜKSEL Doktora Tezi Ankara, 2022 Liderlik, araştırma, inovasyon, kaliteli eğitim ve değişim ile Eğitim Bilimleri Ana Bilim Dalı Eğitimde Ölçme ve Değerlendirme Programı MADDE YAZARI ÖZELLİKLERİNİN MADDE PSİKOMETRİK ÖZELLİKLERİNE ETKİSİ EFFECT OF ITEM WRITER CHARACTERISTICS ON ITEM PSYCHOMETRIC PROPERTIES Kenan Burak YÜKSEL Doktora Tezi Ankara, 2022 i Kabul ve Onay Eğitim Bilimleri Enstitüsü Müdürlüğüne, Kenan Burak YÜKSEL’in hazırladığı “Madde Yazarı Özelliklerinin Madde Psikometrik Özelliklerine Etkisi” başlıklı bu çalışma jürimiz tarafından Eğitim Bilimleri Ana Bilim Dalı, Eğitimde Ölçme ve Değerlendirme Bilim Dalında Doktora Tezi olarak kabul edilmiştir. Jüri Başkanı Prof. Dr. Hülya KELECİOĞLU İmza Jüri Üyesi (Danışman) Prof. Dr. Nuri DOĞAN İmza Jüri Üyesi Prof. Dr. Selahattin GELBAL İmza Jüri Üyesi Doç. Dr. Celal Deha DOĞAN İmza Jüri Üyesi Doç. Dr. Gökhan AKSU İmza Bu tez Hacettepe Üniversitesi Lisansüstü Eğitim, Öğretim ve Sınav Yönetmeliği’nin ilgili maddeleri uyarınca yukarıdaki jüri üyeleri tarafından 25 / 02 / 2022 tarihinde uygun görülmüş ve Enstitü Yönetim Kurulunca ..... / ..... / ......... tarihi itibarıyla kabul edilmiştir. Prof. Dr. Selahattin GELBAL Eğitim Bilimleri Enstitüsü Müdürü ii Öz Bu araştırmanın temel amacı madde yazarı özellikleri ile bu yazarlarca yazılan çoktan seçmeli maddelerin psikometrik özellikleri arasındaki ilişkinin incelenmesidir. Araştırma 2020-2021 Eğitim ve Öğretim Yılı’nda devlet okullarında 8. sınıf öğrencilerine Türkçe dersi veren 320 öğretmen ile yürütülmüştür. Alana hâkimiyet, yazma becerisi, cevaplayıcı özelliklerini bilme, yaratıcılık, madde yazmada öz yeterlilik, madde yazarlığında tecrübeli ve eğitimli olma şeklinde alanda öne sürülen yedi madde yazarlığı özelliğinin öğretmenlerde ne düzeyde bulunduğu ölçülmüştür. LGS Sözel Bölüm Türkçe alt testi maddelerinin alan uzmanlarınca incelenmesi sonucu oluşturulan belirtke tablosundaki birer kazanım karşılığı, öğretmenlerden orta güçlükte ve ayırıcılığı yüksek çoktan seçmeli madde yazmaları istenmiştir. Yazılan maddeler 8. sınıf öğrencilerine uygulanarak, öğrenci yanıtları üzerinden madde psikometrik özellikleri kestirilmiştir. Madde yazarı özellikleri ile madde psikometrik özelliklerine ait değişkenler açımlayıcı faktör analizi ve aralarındaki ilişki yapısal eşitlik modellemesi ile analiz edilmiştir. Analiz sonuçları madde yazarı özelliklerinin iki boyutlu bir yapı gösterdiği yönünde bulunmuştur. Birinci boyutta, yazarın bilgi sahibi olması gereken; cevaplayıcı özelliklerini bilme, madde yazım kurallarına hakimiyet, üzerine madde yazılan alana hakimiyet ve madde yazılarak kazanılan deneyim (tecrübe) olmak üzere dört özelliğin bulunduğu belirlenmiştir. Yazma becerisi, öz yeterlik ve yaratıcılık ise yazarın sahip olması gereken beceriler olarak ikinci boyutta yer almıştır. Madde yazarının birtakım bilgi ve becerilere sahip olması gerektiği, bu bilgi ve beceriler arttıkça madde psikometrik özelliklerinin de iyileştiği bulgusuna ulaşılmış, yazar özelliklerinin madde psikometriğine görece etkileri ortaya konmuştur. Anahtar sözcükler: madde psikometrik özellikleri, madde ve test istatistikleri, madde yazarı özellikleri, madde yazma, yapısal eşitlik modellemesi. iii Abstract The main purpose of this study is to examine the relationship between the item writer characteristics and the psychometric properties of multiple-choice items developed by these writers. The research was conducted with 320 teachers who teach Turkish to 8th grade students in public schools in the 2020-2021 academic year. It was measured to what extent the teachers had seven item writer characteristics, which were claimed in the field, such as mastery of the field, writing skill, knowing the characteristics of the respondent, creativity, self-efficacy in item writing, and being experienced and educated in item writing. As a result of the evaluation of the LGS Verbal Section Turkish subtest items by the field experts, a blueprint was developed and teachers were asked to write a multiple-choice item with medium difficulty and high discrimination for one achievement of designed blueprint. The items developed by the teachers were applied to the 8th grade students and the psychometric properties of the items were estimated based on the student responses. The variables of item writer characteristics and item psychometric properties were analyzed by exploratory factor analysis and the relationship between them using structural equation modeling. The results of the analysis were found that the characteristics of the item writer showed a two-dimensional structure. In the first dimension, four item writer characteristic as knowing the characteristics of the respondent, mastering the rules of item writing, mastering the area on which the item was developed, and experience gained by writing the item were evaluated. Writing skill, self-efficacy and creativity were included in the second dimension as the skills that the writer should have. It was found that the writer of the item should have some knowledge and skills, and as these knowledge and skills increase, the psychometric properties of the item also improve, and also the relative effects of the characteristics of writer on the item psychometrics were introduced. Keywords: item psychometric properties, item and test statistics, item writer properties, item writing, structural equation modelling. iv Teşekkür Başta ulu önderimiz Mustafa Kemal ATATÜRK olmak üzere, bilime inanan, onu yol olarak tutan herkese; değerli danışmanım Prof.Dr. Nuri DOĞAN’a, eğitimimde ve araştırmamda emeği geçen Prof.Dr. Selahattin GELBAL’a, Prof.Dr. Hülya KELECİOĞLU’na, Doç.Dr. Celal Deha DOĞAN’a, Doç.Dr. Gökhan AKSU’ya; araştırmada yer alan uzmanlarına, kıymetli öğretmen ve öğrencilerimize; ölçme araçlarının bu araştırmada kullanılmasına izin veren Prof.Dr. Ayşe Esra ASLAN’a ve Dr. Mustafa KILINÇ’a, son olarak veri toplama sürecinde emek ve desteğini gördüğüm Yusuf ve Sena hocalarıma teşekkürü bir borç bilirim. v İçindekiler Öz………………………………………………………………………………….. ii Abstract…………………………………………………………………………… iii Teşekkür………………………………………………………………………….. iv İçindekiler………………………………………………………………………… v Tablolar Dizini……………………………………………………………………. vii Şekiller Dizini……………………………………………………………………... ix Simgeler ve Kısaltmalar…………………………………………………………. x Bölüm 1.Giriş……………………………………………………………………... 1 Problem Durumu……………………………………………………………… 1 Araştırmanın Amacı ve Önemi………………………………………………. 6 Araştırma Problemi…………………………………………………………… 6 Sayıltılar………………………………………………………………………... 7 Sınırlılıklar……………………………………………………………………… 8 Tanımlar………………………………………………………………………... 8 Bölüm 2. Araştırmanın Kuramsal Temeli ve İlgili Araştırmalar……………… 9 Madde Yazarı Özellikleri……………………………………………………... 9 Madde Psikometrik Özellikleri……………………………………………….. 23 Yapısal Eşitlik Modellemesi………………………………………………….. 34 Bölüm 3. Yöntem………………………………………………………………… 38 Araştırmanın Türü…...………………………………………………………... 38 Çalışma Grubu………………………………………………………………... 38 Veri Toplama Süreci………………………………………………………….. 39 Veri Toplama Araçları………………………………………………………… 43 Verilerin Analizi………………………………………………………………... 50 Bölüm 4. Bulgular ve Yorumlar…………………………………………………. 64 Bölüm 5. Tartışma, Sonuç ve Öneriler………………………………………… 87 Tartışma…………………………………..…………………………………… 87 Sonuç ve Öneriler………………………..…………………………………… 93 Kaynaklar…………………………………………………………………………. 97 Ekler……………………………………………………………………………….. . 121 EK-A: TYDT ve ÖAÖ Uygulama İzin Belgesi………………………………. 121 EK-B: Katılım Kabul Formu…………………………………………………... 122 EK-C: Veli Onam Formu……………………………………………………… 123 vi EK-Ç: Alana Hâkimiyet Testi…………………………………………………. 124 EK-D: Yazma Beceri Testi…………………………………………………… Testi……………………………………………………... 129 EK-E: Analitik Dereceli Puanlama Anahtarı………………………………… 131 EK-F: Çoktan Seçmeli Madde Yazım Kuralları…………………………….. 140 EK-G: Madde Yazma Kurallarına Hakimiyet Testi…………………………. 144 EK-Ğ: Demografik Bilgi Formu………………………………………………. 156 EK-H: Belirtke Tablosu………………………………………………………... 157 EK-I: Örnek Test Formu……………………………………………………... 158 EK-İ: Gözlenen Değişkenler Arasındaki Saçılım Grafikleri…………...…. 166 EK-J: Değişen Madde Fonksiyon Değerleri………………………………... 167 EK-K: Değişken Eksilterek Elde Edilen Model Değerleri…………………. 168 EK-L: Etik Komisyonu Onay Bildirimi……………………………………….. 169 EK-M: Etik Beyanı…………………………………..………………………… 170 EK-N: Doktora Tez Çalışması Orijinallik Raporu…………………………... 171 EK-O: Thesis/Dissertation Originality Report………………………………. 172 EK-Ö: Yayımlama ve Fikrî Mülkiyet Hakları Beyanı……………………….. 173 vii Tablolar Dizini Tablo 1 2015-2019 Yılları Arasında İptal Edilen, Doğru Yanıtı Değiştirilen Madde Sayıları 2 Tablo 2 Madde Psikometrik Özellikleri 25 Tablo 3 Örnek Madde Çeldiricilik İndeksi Hesaplaması için Seçenek Frekansları 32 Tablo 4 Çalışma Grubunun Demografik ve Mezuniyet Bilgileri 39 Tablo 5 Cevaplayıcı Özelliklerini Bilme Çizelgesi 44 Tablo 6 TYDT Türkçe Uyarlama Çalışma Sonuçları 47 Tablo 7 Log-linear Analiz Tekniğiyle Üç Puanlayıcı ile Elde Edilen Bulgulara İlişkin Değerler 51 Tablo 8 Üç Puanlayıcının TYDT Ölçüt Puanları Arasındaki Korelasyon Katsayıları 52 Tablo 9 Üç Puanlayıcının Ölçüt Puanları ANOVA Sonuçları 53 Tablo 10 G Çalışması ile Kestirilen Varyansları ve Toplam Varyansı Açıklama Oranları 54 Tablo 11 KMO Değerleri Ölçüt ve Yorumları 57 Tablo 12 Fleiss Kappa Katsayısı Hesaplaması için Düzenlenmiş Veri Seti 59 Tablo 13 Kappa İstatistiği ve Krippendorff Alfa Yorum Ölçütleri 60 Tablo 14 Öğrenci Puanlarının Formlara Göre Normallik ve Homojenlik Test Sonuçları 61 Tablo 15 Puanların Uygulanan Formlara Göre Farklılıklarını Sınayan ANOVA Sonuçları 61 Tablo 16 KGO Belirleme Çizelgesi 62 Tablo 17 Çok Değişkenli Normallik Analiz Sonuçları 64 Tablo 18 Madde Yazarı Özellikleri Değişkenleri Arasındaki Korelasyon Katsayıları 65 Tablo 19 Madde Psikometrik Özellikleri Değişkenleri Arasındaki Korelasyon Katsayıları 65 Tablo 20 Uyum İndeksleri ve Yorumları 68 Tablo 21 Madde Yazarı Özelliklerine ait Betimsel İstatistikler 69 Tablo 22 Madde Yazarlığı Özellikleri Puanlarının AFA Sonuçları 72 Tablo 23 Madde Psikometrik Özelliklerine ait Betimsel İstatistikler 75 viii Tablo 24 Madde Psikometrik Özellikleri Puanlarının AFA Sonuçları 79 Tablo 25 Yapısal Modelin Regresyon Katsayıları 83 Tablo 26 Model-Veri Uyum Ölçüt, Bulgu ve Yorumları 86 ix Şekiller Dizini Şekil 1 Üç Çeldiricili Maddenin Çeldirici Frekanslarının Üç Boyutlu Düzlemde Gösterimi 29 Şekil 2 Örnek Ölçme Modeli 35 Şekil 3 Örnek Yapısal Model 36 Şekil 4 Veri Toplama Süreci 42 Şekil 5 ÖAÖ’nün Faktör Yapısına İlişkin Tanımlanan İki Faktörlü Ölçme Modeli 56 Şekil 6 Madde Yazarlığı Özellik Puanlarının AFA Sonucu Elde Edilen Yamaç Grafiği 73 Şekil 7 Madde Psikometrik Özellik Puanlarının AFA Sonucu Elde Edilen Yamaç Grafiği 80 Şekil 8 Kavramsal Model ve Hipotezler 81 Şekil 9 Madde Yazarı Özellikleri ile Madde Psikometrik Özelliklerine İlişkin Yapısal Model 82 x Simgeler ve Kısaltmalar ALES : Akademik Personel ve Lisansüstü Eğitimi Giriş Sınavı IELTS : The International English Language Testing System İSG : İş Güvenliği Uzmanlığı Sınavı KPSS : Kamu Personeli Seçme Sınavı LGS : Liselere Giriş Sınavı LYS : Lisans Yerleştirme Sınavı MEB : Millî Eğitim Bakanlığı ÖSYM : Ölçme, Seçme ve Yerleştirme Merkezi TEOG : Temel Eğitimden Ortaöğretime Geçiş Sistemi TUS : Tıpta Uzmanlık Eğitimi Giriş Sınavı YGS : Yükseköğretime Geçiş Sınavı YKS : Yükseköğretim Kurumları Sınavı YMS : Yurtdışında Görevlendirilecek Okutman ve Öğretmenlerin Mesleki Yeterlik Sınavı 1 Bölüm 1 Giriş Bu bölümde problem durumu, araştırmanın amacı ve önemi, araştırma problemi, sayıltılar, sınırlılıklar ve tanımlara yer verilmiştir. Problem Durumu Okullara yerleştirme, meslek ataması, işe kabul, hastalık teşhisi veya mahkeme yargılamaları gibi insan hayatını önemli derecede etkileyebilecek kararların bir kısmı test sonuçlarına dayanarak alınmaktadır. Bu nedenle, özellikle eğitimde kullanılan testlerden güvenilir, geçerli ve yansız (fair) ölçme sonuçları vermeleri beklenir (AERA, APA & NCME, 2014, s.11). Aksi halde, ölçme sonuçlarına dayalı kararlar isabetli olmaktan uzaklaşarak; bireylerin yaşamları olumsuz yönde etkilenebilecek, başta devlet kurumları olmak üzere organizasyonların ihtiyaç duydukları yeterlik sahibi çalışanlara ulaşmaları güçleşebilecektir. Sonuçlarının önemine rağmen, ülkemizde uygulanan geniş ölçekli testlerin birçoğunda, ne derecede güvenilir, geçerli ve yansız ölçme yaptıklarının değerlendirilmesi dahi yapılamadan, birçok madde (soru) iptal edilmiş veya doğru yanıtı değiştirilmiştir. Son on yılda üniversiteye yerleştirme, meslek ataması ve ortaöğretim kurumlarına geçiş amacıyla uygulanan testlerde iptal edilen veya doğru yanıt değişikliğine uğrayan madde sayıları Tablo 1’de sunulmuştur. 2 Tablo 1 2012-2021 Yılları Arasında İptal Edilen, Doğru Yanıtı Değiştirilen Madde Sayıları* Sınav Türü Sınav Yılı İptal Edilen Madde Sayısı Doğru Cevabı Değiştirilen Madde Sayısı KPSS 2020 2 1 YKS 2019 2 LYS 2017 2 KPSS 2017 3 LYS 2016 2 2 YGS 2016 2 1 KPSS 2016 2 ALES 2016 1 LYS 2015 3 YGS 2015 1 KPSS 2015 12 3 TEOG 2015 2 KPSS 2014 1 KPSS 2013 7 KPSS 2012 2 * Kurum basın açıklamalarından derlenmiştir. Yalnızca Tablo 1’deki sınavlar esas alındığında dahi, çok sayıda maddenin iptal edildiği veya doğru cevabının değiştirildiği görülmektedir. Buna, araştırma kapsamına alınmayan diğer geniş ölçekli sınavlar (TUS, İSG, Arabuluculuk, vb.) da dâhil edildiğinde sayının artacağı açıktır. Ölçme işleminin güvenilirliğini zedeleyen iptal/değişikliklerin olası istenmeyen bazı sonuçlarından söz edilebilir. Öncelikle cevaplayıcıların gerek sınava hazırlanmada gerekse maddeyi yanıtlamada harcayacağı zaman ve emek karşılık bulamayacaktır. Sadece 2021 yılında Yükseköğretim Kurumları Sınavı (YKS)’na katılan 2 milyon 607 bin 903 öğrenci düşünüldüğünde bile, etkilenen kişi sayısı ve ortaya çıkan kaybın büyüklüğü anlaşılabilir. Benzer kayıplar ÖSYM ve MEB gibi test geliştiriciler ile maddeyi yazmaktan sorumlu madde yazarları için de söz konusudur. Soru iptali ve doğru yanıt değişiklikleri, merkezi sınavlara karşı olumsuz algının oluşmasına da neden olmaktadır (Baş ve Kıvılcım, 2019, s.655; Büyüköztürk, 2016, s.355; Karataş ve Güleş, 2013, s.117). Ayrıca genellikle başvurulan “iptal edilen maddelerin puanlamada tüm yanıtlayıcılar için doğru kabul edilmesi” uygulaması; kazanım, bilgi veya yeteneğe sahip olmayan yanıtlayıcıları da sahipmiş gibi varsayarak, analiz ve değerlendirmeleri olumsuz yönde etkileyebilmektedir. 3 Ülkemizde geniş ölçekli testlerde iptal veya değişiklik yaşamayan maddeler üzerine yapılan bazı araştırmalar güvenirlik ve geçerlik bakımından madde ve testlerin yeterli düzeyde olmadığına işaret etmektedir (Kaya, 2017, s.126; Özkan ve Güvendir, 2014, s.41; Şata, 2016, s.58; Yorgancı, 2015, s.54). Bazı maddelerin ise bilimsel, dilbilgisi veya anlatım özellikleri bakımından tartışmalı olması da diğer bir sorundur. Buna, ÖSYM tarafından kamuoyuyla paylaşılan 2016 YGS A kitapçığı matematik alt testi 30. madde örnek olarak gösterilebilir. Madde Kökü Banu, üç vagonlu bir yolcu treni için bilet satışı yapmaktadır. Belirli sayıda bilet sattıktan sonra Banu; ilk vagonda 6, ikinci vagonda ise 13 koltuğun boş kaldığını görüyor. Banu, her üç vagondan da birer bilet satışını garantilemek için en az kaç bilet satması gerektiğini hesaplıyor ve sonucu 23 buluyor. Buna göre, trendeki toplam boş koltuk sayısı kaçtır? Seçenekler A) 24 B) 28* C) 30 D) 33 E) 35 * Doğru yanıt Madde kökünün “kaç bilet daha mı satmalı” yoksa “toplam kaç bilet mi satılmalı” sorularını akla getiren belirsiz ifadesi, cevaplayıcıların maddeyi yanıtlarken tereddüt etmelerine neden olabilecektir. Madde kökünün 2.cümlesiyle 3.cümlesi arasına “Bu andan sonra” gibi bir ifade eklenmesi durumunda daha anlaşılır olabileceği düşünülmektedir. Maddenin güçlük ve ayırıcılık indeksleri ÖSYM tarafından açıklanmamıştır. Fakat gerek alan uzmanları gerekse sınava giren öğrencilerce sosyal medyada yapılan yorumlar, soru kökünün anlaşılırlıktan uzak olduğu yönündedir. Bu sebeple öğrencilerin bilgi düzeylerini ölçmeyi “garantilemek” için maddelerin anlaşılır yazılması, bu nitelikte maddeleri yazabilecek yeterlikteki bireylere madde yazma görevinin verilmesi gerekmektedir. Merkezi sınavlardaki durumun, sınıf içi testler için de geçerli olduğu söylenebilir. Öğretmenlerin ölçme ve değerlendirme yeterliklerine yönelik yapılan bazı araştırmalar, madde yazma konusunda kendilerini yetersiz hissettiklerine (Çakan, 2004; Gelbal ve Kelecioğlu, 2007; Karamustafaoğlu, Çağlak ve Meşeci, 2012) ve eğitime ihtiyaç duyduklarına (Akçadağ, 2010; Bıçak ve Çakan, 2004; Çelikkaya, Karakuş ve Demirbaş, 2010) işaret etmektedir. Sonuç olarak gerek geniş ölçekli testlerde gerekse sınıf içi ölçmelerde ülkemizin madde yazma konusunda yeterli düzeyde olmadığı söylenebilir. Millî Eğitim Bakanlığı (MEB)’nca 23 Ekim 2018 tarihinde açıklanan 2023 Eğitim Vizyonu (MEB, 2018), ölçme ve değerlendirme alanı ile ilgili eğitim sistemindeki tüm sınavların, amacı, içeriği, soru tiplerine bağlı yapısı ve sağlayacağı yarar bağlamında yeniden düzenlenmesini amaçlamaktadır. Madde yazma konusunda yetersizlik ortada iken, amaçlanan düzenlemenin hayata nasıl geçirilebileceği sorusu akla gelmektedir. Bu sınavların maddelerini hazırlayacak yazarlar hangi özellikteki uzmanlar arasından seçilsin veya bu kişilere nasıl bir eğitim uygulansın ki; öğrencilerin bilgi ve becerileri güvenilir, geçerli ve yansız ölçülebilsin? Diğer bir ifade ile madde yazarı hangi özelliklere sahip olmalı ki istenen düzeyde madde geliştirebilsin? Ölçme ve Değerlendirme Bilim Alanı’nda önde gelen yazar görüşleri (Baykul, 2015, s.292; Ebel, Maddenin “kaç bilet daha mı satmalı” yoksa “toplam kaç bilet mi satılmalı” şeklindeki belirsiz ifadesinin, cevaplayıcıların maddeyi yanıtlarken tereddütte kalmalarına neden olabilmektedir. Madde kökünün 2. cümlesiyle 3. cümlesi arasına “Bu andan sonra” gibi bir ifade eklenmesi durumunda daha anlaşılır olabileceği öne sürülebilir. Madde istatistikleri veya maddeye özgü herhangi bir bilgi ÖSYM tarafından açıklanmamıştır. Fakat arama motorlarında madde ile ilgili yapılan tarama sonuçları gerek eğitimciler gerekse sınava giren öğrencilerin maddenin anlaşılırlıktan uzak olduğunu düşündükleri yönündedir. Bu sebeple öğrencilerin bilgi düzeylerini ölçmeyi “garantilemek” için maddelerin anlaşılır yazılmasının, bu nitelikte maddeleri yazabilecek yeterlikteki bireylere madde yazma görevinin verilmesinin gerekli olduğu söylenebilir. Merkezi sınavlardaki olumsuzlukların, bir amacı da bu sınavlara öğrencileri hazırlamak olan sınıf içi testler için de geçerli olduğu söylenebilir. Sınıf içi ölçme yapan öğretmenlerin ölçme ve değerlendirme yeterliklerine yönelik yapılan bazı 4 araştırmalar, madde yazma konusunda kendilerini yetersiz hissettikleri (Çakan, 2004, s.108; Karamustafaoğlu, Çağlak ve Meşeci, 2012, s.175) ve eğitime ihtiyaç duydukları (Akçadağ, 2010, s.46; Anıl ve Acar, 2010, s.58; Çelikkaya, Karakuş ve Demirbaş, 2010, s.27) yönündedir. Özetle gerek geniş ölçekli gerekse sınıf içi testlerde ülkemizin öğrenci başarısını ölçme için kullanılacak maddeleri yazma konusunda yeterli düzeyde olmadığı öne sürülebilir. Millî Eğitim Bakanlığı (MEB)’nca 23 Ekim 2018 tarihinde açıklanan 2023 Eğitim Vizyonu (MEB, 2018, s.35), ölçme ve değerlendirme alanı ile ilgili “eğitim sistemindeki tüm sınavların, amacı, içeriği, soru tiplerine bağlı yapısı ve sağlayacağı yarar bağlamında yeniden düzenlenmesini” amaçlamaktadır. Madde yazma konusunda yetersizlik söz konusu iken, amaçlanan düzenlemenin gerçekleştirilmesinin güçlüğünden söz edilebilir. Bu düzenlemeyi başarmak için bu sınavlara madde hazırlayacak yazarların belirli nitelikteki kişilerden seçilmesinin ve/ veya bu kişilerin bazı işlemlere (eğitim, kurs, tecrübe aktarımı, vb.) tutulmasının gerekliliğinden söz edilebilir. Fakat psikometri alanında bu nitelik ve işlemlerin neler olduğunun belirgin şekilde ortaya konamadığı, test geliştirme sürecinde önemli bir rol oynayan madde yazarının özelliklerine ve madde yazma sürecine dönük araştırmaların ihmal edildiği görülmektedir (Johnson, Constantinou, & Crisp, 2017, s.701; Johnson, & Rushton, 2019, s.198; Kim vd., 2010, s.160). Test geliştirmede, bir plan çerçevesinde aday maddeler yazılarak madde havuzu oluşturulması sonrası gözden geçirme, deneme uygulaması ve madde analizi ile yapılan düzeltmelerle madde istatistikleri en iyi düzeyde olanların teste alınması görüş ve uygulaması hâkimdir (Haladyna, 2004, s.99; Hambleton, & Eignor, 1979, s.106; Hughes, Booth, & Irwing, 2018, s.4; Lane, Raymond, & Haladyna, 2015, s.4). Nitelikli madde yazmanın zorluğu (Haladyna, & Rodriguez, 2013, s.6; Shizuka, Takeuchi, Yashima, & Yoshizawa, 2006, s.36; Tindal, & Haladyna, 2002, s.101) nedeniyle dikkatin iyi düzeyde madde yazmaya verilmesi yerine çok sayıda madde yaz, yazılanları incele, mümkünse dene, düzelt ve içlerinden en iyi olanları seç döngüsünün bulunduğu öne sürülebilir. Dikkat, önem ve emeğin maddenin yazılması süreci yerine bir şekilde oluşturulan maddelerin gözden geçirme ve analizler ile düzenlenmesi ve düzeltilmesine verildiğinden söz edilebilir. Halbuki yalnızca gözden geçirme ve madde analizleri ile iyi maddeler elde edilebileceği algısının iki nedenden ötürü bir yanılgı olduğu öne sürülebilir. 5 Birincisi başlangıçta ehil madde yazarları tarafından tasarlanmayan maddelerin, analiz sonuçlarına göre gözden geçirilerek düzeltilebilmesi için yine madde yazmada uzman bireylere olan ihtiyaç söz konusu olacaktır. İkinci olarak test maddelerine verilen yanıtların analizi için istatistiksel yöntemlerin kullanımının, madde yazmanın, madde yazarının becerisinin ikincil öneme sahip olduğu bir istatistik bilimi ile yapılabileceği gibi kabul edilmesi güç denebilecek bir düşüncenin varlığıdır. Bu durum, madde analizinin rolünün yanlış anlaşılmış olmasına bağlanabilir. Madde analizi, özellikleri gerçekten de iyi maddelerdeki belirli zayıflıklara dikkat çekebilir ve böylece uzman bir madde yazarının iyileştirmeler yapabileceği ipuçları verebilir. Bu tür analizler ayrıca bazı zayıf maddelerin belirlenmesini mümkün kılabilir, ancak bu işlemle gerçekleştirilebilecek iyileştirme miktarı da azdır (Ebel, 1951, s.186). Test maddelerinin analizinin hiçbir şekilde başlangıçtaki yazma sürecindeki bilgi ve beceri ihtiyacını azaltmadığı söylenebilir. Uzmanlığa olan gereksinim açık olmasına rağmen hangi bilgi ve becerilere sahip bireylerin madde yazma konusunda uzman kabul edileceği ise belirsiz görünmektedir. Kelly (1916) tarafından oluşturulan Kansas Sessiz Okuma Testi ile başlayan çoktan seçmeli madde serüveninde, sık kullanımlarına rağmen, bu tipteki maddeyi tasarlayacak hangi nitelikteki yazarlara başvurulacağının ayrıntılı ve kapsamlı belirlenememesi yüzyılı aşan bir eksiklik olarak görülebilir. Hâlbuki geçerlik kanıtının önemli bir parçası, madde yazarlarının uzmanlığı ve bunların seçimi ve eğitimi ile ilgilidir, madde yazarlarının nasıl seçildiğini belgelemek, madde geçerliği kanıtı için önemlidir (Downing, & Haladyna, 1997, s.66). Bu nedenle kimlerin madde yazarı olarak seçileceği, bu kişilere nasıl bir eğitim verileceğinin belirlenmesinin nitelikli madde yazmak adına gerekli olduğu öne sürülebilir. Bu kapsamda, araştırmada madde yazarı özellikleri ile madde psikometrik özellikleri arasındaki ilişki incelenmiştir. Türkçe dersinin diğer derslerle yakından ilişkili olması (Güleç ve Alkış, 2003, s.26) ve madde yazarlarının yazma becerilerini kullanmalarını gerektiren bir alan olması nedeniyle bu dersin eğitimini veren öğretmenlerin, madde yazarlığı özellikleri ile yazdıkları çoktan seçmeli maddelerin psikometrik özellikleri arasındaki ilişki, bu özelliklerden hangilerinin anlamlı etkiye sahip olduğu ve birbirlerine göre hangi özelliğin daha güçlü etkide bulunduğu belirlenmeye çalışılmıştır. 6 Araştırmanın Amacı ve Önemi Bu araştırmanın temel amacı; madde yazarında bulunması gerektiği düşünülen özellikler ile bu özelliklere farklı düzeylerde sahip olan madde yazarlarının yazdığı maddelerin psikometrik özellikleri arasındaki ilişkilerin yapısal bir modelini ortaya koymaktır. Böylece nitelikli madde yazmak için madde yazarında bulunması gereken özelliklerin belirlenebileceği, bunun da madde yazarı seçimi ve yetiştirilmesine katkı sağlayabileceği düşünülmüştür. Bu özelliklerin belirlenmesi ile geniş ölçekli test uygulayan kurumlara, ölçme ve değerlendirme merkez/şirketlerine, madde yazarlığı hakkında araştırma yapacak bilim insanlarına, öğretmen yetiştirme ve ölçme değerlendirme alanında eğitim veren bölümlere, test veya ölçek geliştireceklere, öğrenci başarısını izleme ve değerlendirme amacıyla sınıf içi ölçme yapacak eğitimcilere katkı sağlayabilecek kuramsal ve uygulamaya dönük sonuçlar elde edilebilecektir. Araştırma bulguları, psikometrik özellikleri gelişmiş maddelerin yazılması ve madde iptali veya doğru yanıtın değiştirilmesi gibi sonuçlarla karşılaşmamak için madde yazma aşamasında alınabilecek önlemlerin belirlenmesinde de kullanılabilir. Geniş ölçekli testler için bir maddenin ortalama maliyetinin 1500 ilâ 2500 $ civarında olması (Koon & Kamata, 2013, s.2; Rudner, 2009, s.8) araştırma bulgularının ekonomik değerine de işaret etmektedir. Türkiye’de eğitimde ölçme ve değerlendirme alanında yayımlanmış makale, bildiri ve tezler incelendiğinde madde yazma, madde yazarlığı ve madde yazarı özellikleri ile ilgili araştırma yapılmadığı görülmektedir (Şenyurt ve Özkan, 2017, s.636; Ukşul, 2016, s.68-70). Araştırmanın ülkemizde alanyazında bulunan bu eksikliği kapatmaya yönelik bir katkı sağlayacağı da düşünülmüştür. Araştırma Problemi Madde yazarı özellikleri ile yazdıkları maddelerin psikometrik özellikleri arasında nasıl bir ilişki vardır? Alt problemler. Araştırma probleminin yanıtlanması amacıyla aşağıda sunulan üç alt problem belirlenmiştir; 1. Öğretmenlerin madde yazarlığı özellikleri nasıldır? Öğretmenlerin; 7 a. Türkçe alan bilgisi ne düzeydedir? b. Madde yazmada tecrübe yılları ne kadardır? c. 8.sınıf öğrencilerinin Türkçe dersi bilgi düzeylerine hakimiyeti ne düzeydedir? d. Madde yazım kurallarına hakimiyetleri ne düzeydedir? e. Madde yazmada özyeterlikleri ne düzeydedir? f. Yaratıcılık puanları ne düzeydedir? g. Yazma becerileri ne düzeydedir? h. Uzaktan ve yüzyüze veri toplama yöntemleri hakkındaki görüşleri nasıldır? 2. Öğretmenlerce yazılan çoktan seçmeli maddelerin psikometrik özellikleri nasıldır? Maddelerin; a. Puan dağılım istatistikleri (varyans, çarpıklık, basıklık) ne düzeydedir? b. Maddeye özgü istatistikleri (güçlük, ayırıcılık, çeldiricilik) ne düzeydedir? c. Güvenirlik katsayıları ne düzeydedir? d. Geçerliğe kanıt istatistikleri (geçerlik katsayısı, kapsam geçerlik oranı, faktör yükü) ne düzeydedir? e. Değişen Madde Fonksiyon değerleri ne düzeydedir? 3. Öğretmenlerin madde yazarlığı özellikleri ile yazdıkları çoktan seçmeli maddelerin psikometrik arasında nasıl bir ilişki bulunmaktadır? Sayıltılar 1. Maddelerin gözden geçirme, deneme uygulaması, alan uzmanlarınca düzeltilme gibi işlemlerden geçirilmeden ve yalnızca bir yazar tarafından yazıldığı, 2. Öğretmenlerin sınıf içinde ölçme yapmalarından dolayı meslekteki yıl süresi kadar madde yazmada tecrübelerinin olduğu varsayılmıştır. 8 Sınırlılıklar Araştırma; Türkçe alanı, başarı testi ve tek doğru yanıtlı çoktan seçmeli madde tipi ile sınırlıdır. Tanımlar Çeldiricilik İndeksi : Çoktan seçmeli maddenin çeldiricilerinin ne derecede dengeli dağıldığını gösteren katsayıdır. İyi Madde : Psikometrik özellikleri, yazma öncesi hedeflenen düzeydeki güvenilir, geçerli ve yansız maddedir. Madde Yazma : Belirli ölçütlerle, bilginin, kazanımın veya özelliğin bireylerde bulunup bulunmadığını ortaya çıkaracak maddeyi tasarlama ve ortaya koyma işlemidir. Madde Yazarı : Maddeyi ortaya koymak üzere görevlendirilmiş veya seçilmiş bireydir. 9 Bölüm 2 Araştırmanın Kuramsal Temeli ve İlgili Araştırmalar Bu bölümde araştırma kapsamında ele alınan madde yazarı özellikleri, maddenin psikometrik özellikleri ve yapısal eşitlik modeli ile ilgili kavramsal ve kuramsal çerçeve belirginleştirilmeye çalışılmış, ayrıca, madde yazarı özellikleriyle ilgili yapılan araştırmalara değinilmiştir. Madde Yazarı Özellikleri Madde yazma sürecini anlamaya ve modellemeye yönelik kimi çalışmalar (Fulkerson, Mittelholtz, & Nichols, 2009; Fulkerson, Nichols, & Mittelholtz, 2010; Fulkerson, Nichols, & Snow, 2011; Johnson, & Rushton, 2019; Johnson, Constantinou, & Crisp, 2017) bulunsa da alanda bu süreci yürüten madde yazarının sahip olması gereken özelliklerin tam olarak neler olduğunu belirlemeye dönük herhangi bir araştırmaya rastlanmamıştır. Konunun uzman görüşlerine dayalı veya madde yazarının bir özelliğiyle (madde yazarlığı eğitimi ve tecrübesi) sınırlı kaldığı görülmektedir. Bu nedenle, madde yazarı özellikleri alandaki görüş ve araştırma bulguları ışığında belirlenmeye çalışılmıştır. Konuyla ilgili bilinen ilk kapsamlı yayının Ebel (1951), takiben, paralel görüşlerle Wesman (1971) tarafından ortaya konduğu görülmektedir. Ebel (1951, s.185) madde yazmanın bir sanat olduğunu ve yaratıcılık gerektirdiğini, özel yeteneklerin eşsiz bir kombinasyonuna gereksinim duyduğunu, yalnızca kapsamlı ve eleştirel rehberlerin nezaretindeki uygulamaların sonucunda uzmanı olunabileceğini, ancak bilgi ve yeteneğin birleşimiyle gelişmeye yatkın bir alan olduğunu belirtmiştir. Eğer madde yazarı kendisinde bulunması gereken eğitimsel değerlerin açıkça farkında değilse, sahip olduklarından habersizce yüzeysel bir madde yazacağının neredeyse kesin olduğunu öne sürmüştür. Kendisinden önceki yazar görüşleri ve deneyimlerine dayanarak, iyi maddeler yazmak için madde yazarının sahip olması gereken özellikleri beş başlıkta toplamıştır. Madde yazarı; 1. Test edilen konunun derinlemesine uzmanlığına sahip olmalı, 2. Eğer eğitimde kullanılacak başarı testine madde yazacaksa, eğitim ile ilgili kavramlar (amaç veya kazanımlar gibi) ve değerler bakımından donanımlı olmalı, 3. Testin uygulanacağı grubu psikolojik ve eğitsel bakımdan tanımalı, 10 4. Sözel iletişimde usta olmalı, 5. Madde yazmaya özgü teknikleri kullanma becerisine sahip olmalıdır (Ebel, 1951, s.186-187). Ebel (1951) ve sonrası araştırmacıların görüşleri madde yazmanın hem yetenek hem de bazı bilgilere sahip olmayı gerektirdiği yönünde bütüncül bir anlayışa sahip görünmektedir. Takip eden araştırmacıların bir kısmı ise yetenek temelli sanat yönüne (Crehan, Haladyna, & Brewer, 1993; Haladyna, 2004, s.ix; Haladyna, Downing, & Rodriguez, 2002; Hambleton, & Eignor, 1979; Haladyna, Rodriguez, & Stevens, 2019; Rodriguez, 1997; Wood, 1977) bir kısmı ise bilgi temelli bilimsel yönüne (Bejar, 2002; Haladyna, 2004:127; Haladyna, & Downing, 1989a; 1989b; Haladyna & Shindoll, 1989; Irvine, & Kyllonen, 2002) vurgu yapılan iddialarda bulunmuşlar veya araştırma bulgularına ulaşmışlardır. Bilimsel görüşte yer alan araştırmacılara göre; madde yazarı eğer bu konuda ihtiyaç duyulan bilgilere sahipse veya eğitimini alırsa istenen seviyedeki maddeleri yazabilecektir. Sanatsal görüş ise bilimsel altyapısı olsa dahi eğer yazarda madde yazmak için gereken sanatsal yön gelişmemiş ise büyük bir olasılıkla, özellikle üst düzey bilişsel süreçleri yoklayan maddeleri yazamayacağını savunmaktadır (Haladyna, 2004, s.26). Madde yazmanın bilimden çok sanat olarak görüldüğü (Crehan, Haladyna, & Brewer, 1993, s.241) bu nedenle de, sanatsal yönü gelişmemiş bazı yazarların iyi madde yazma becerisine sahip olmadığı öne sürülmektedir (Rodriguez, 1997, s.2). Alanda başlangıçtaki bütüncül anlayışın zamanla “madde yazmak bilim midir? yoksa sanat mıdır?” eksenindeki tartışmaya kaydığı söylenebilir. Madde yazmanın bir bilim olduğunu öne süren kimi araştırmacıların çabaları sonucu madde yazma konusunda birtakım ilerlemeler yaşanmasına rağmen, madde yazmanın bazı yetenekleri gerektirdiği; madde yazım kuralları, madde üretim sistematikleri, madde kabukları (item shells) gibi tekniklerin ancak belirli bir düzeye kadar verimli olduğu görülmektedir (Haladyna, Downing, & Rodriguez, 2002, s.326). Çoktan seçmeli madde (ÇSM) yazmanın bilimden ziyade bir sanat olarak kabul görülmesi tezini (Ebel, 1951, s.185; Haladyna, 2004, s.ix; Wood, 1977, s.196) çürütecek yeterli kanıtın elde edilemediğinden söz edilebilir. Fakat madde yazmanın sanat olduğu görüşüne karşın özellikle madde yazarlığı eğitiminin madde 11 psikometrik özelliklerine olumlu etkisine işaret araştırma bulguları da bulunmaktadır (Downing, & Haladyna, 1997; Iramaneerat, 2012; Jozefowicz vd., 2002). Ayrıca tecrübeli madde yazarlarınca yazılan maddelerin psikometrik özelliklerinin, tecrübesiz yazarlara göre daha iyi düzeyde olduğu belirlenmiştir (Fulkerson, Nichols, & Mittelholtz, 2010; Rodriguez, 1997; Salisbury, 2005). Johnson, Constantinou, & Crisp (2017) bu görüşlerden farklı olarak kendilerine kadar olan araştırmaların büyük ölçüde bilişsel bir etkinlik olarak tasvir ettiği madde yazmanın, bilişsel alanın ötesine geçen oldukça karmaşık bir süreç olduğunu öne sürmüşlerdir. Madde yazmanın sosyopolitik bir bağlamda gerçekleştirildiğini, toplumsal aktörler ve söylemler tarafından uygulanan etki dikkate alınmadıkça kapsamlı bir şekilde anlaşılamayacağını ifade etmişlerdir. Madde yazarlarının uygulamalarına “sesin merceği”nden yaklaşmışlar, doğrudan veya dolaylı olarak madde yazımında yer alan çeşitli aktörlerin (örneğin madde yazarları, yanıtlayıcılar, test merkezleri) belirlenmesine, söylemlerini aydınlatmaya ve bu söylemin nasıl bağımsız olmadığını göstermede Bakhtin'in (1986) “ses” çerçevesini kullanmışlardır. Önerdikleri model ile kamusal ve özel sesler arasındaki etkileşim vurgulanmış; resmî söylemin (yani otoriter ifadenin) madde yazarlarının kişisel inançlarıyla (içsel inandırıcı ifade) nasıl ilişkili olduğunu ve bu iki sesin, test yazmanın gerçekleştiği toplumda hüküm süren ideolojilerle nasıl ilişkili olduğu ortaya konulmuştur. Özellikle Madde Tepki Kuramı ve Bireye Uyarlanmış Test kavramlarının doğuşuyla daha çok nitelikli maddeye olan ihtiyaç artmış (Gierl, & Lai, 2012), bu ihtiyacın, nasıl ve kimler tarafından karşılanabileceği sorunu ortaya çıkmıştır. Soruna, bir çözüm olarak bilgisayar algoritmaları kullanılarak madde yazmayı amaçlayan “otomatik madde geliştirme” (automatic item generation) yöntemi önerilmiş (Irvine, & Kyllonen, 2002), bu sayede iyi düzeyde çok sayıda madde elde edilebilmiş olmasına rağmen model geliştirme, algoritma tasarımı ve özellikle maddelerin gözden geçirilmesi için madde yazmada uzman bireylere olan ihtiyaç azalmamıştır (Drasgow, Luecht, & Bennett, 2006; Embretson, & Yang, 2007). Yakın zamanda yapılan araştırmalar, yazarların madde yazma süreçlerini incelemeye odaklanmış ve böylece diğer yazarlara yol gösterici olabilecek adımlar belirginleştirilmeye çalışılmıştır (Fulkerson, Mittelholtz, & Nichols, 2009; Fulkerson, Nichols, & Mittelholtz, 2010; Fulkerson, Nichols, & Snow, 2011; Johnson, & 12 Rushton, 2019; Johnson, Constantinou, & Crisp, 2017). Bu çalışmalarda da “madde yazarlığında hangi özellikler gereklidir”, “madde yazarı hangi özelliklere sahip olmalıdır” gibi sorulara cevap aranmadığı, tecrübeli/uzman kabul edilen kişilerin madde yazma süreçlerinin incelendiği görülmektedir. Bu sorulara yanıt anlamında dikkate alınacak bir görüş de Baykul (2015) tarafından öne sürülmüştür. Baykul’a (2015, s.292) göre çoktan seçmeli madde yazarı; 1. Hedef, davranış, davranışların sınıflandırılması, aşamalı sınıflamanın ve bu sınıflamada her sınıfın özellikleri hususunda yetişmiş, 2. Çoktan seçmeli test/madde ve özellikleri konusunda yetişmiş, 3. Madde yazmada dikkate alınacak hususlarda yetişmiş, 4. Maddenin yazılacağı dile hâkim, 5. Özelliği ölçülecek grubun yaptığı yanlışlara aşina olmalıdır. Madde yazarlarının etkili madde kökü ve seçenekler yazması gerektiğinden çoktan seçmeli maddeler yazmak diğer formatlara göre daha zordur (Moreno, Martínez, & Muñiz, 2015). İyi çoktan seçmeli maddeler genellikle daha karmaşıktır ve diğer madde türlerine kıyasla oluşturulması çok zaman gerektirir, bu nedenle belli bir miktar beceri ve bilgi gerektirir (Torres, Lopes, Babo, & Azevedo, 2011). Bu bilgi ve beceriler alandaki görüşler ve araştırma sonuçları ile belirlenerek, takip eden başlıklarda tartışılmıştır; 1. Alana hâkimiyet 2. Yazma becerisine sahip olma 3. Cevaplayıcı özelliklerini bilme 4. Yaratıcılık 5. Madde yazarlığında tecrübeli olma 6. Madde yazarlığında eğitimli olma 7. Madde yazmada öz yeterlilik Alana Hâkimiyet (AH). Madde yazarının iyi maddeler yazabilmesi için öncelikle test edilen konunun tam bir ustalığına sahip olması, “konunun ustalığı” ile de alanın olguları ve ilkeleri hakkında bilgi sahibi olmakla kalmayıp, bu kavramların anlamlarına ve aralarındaki ilişkilere hâkim olması gerekmektedir (Ebel, 1951, 13 s.186; Wesman, 1971, s.81). Eğer madde yazarı bir başarı testi için madde yazacaksa konu alanını ayrıntılarıyla, üst düzeyde bilmesi, diğer bir ifadeyle konu alanına hâkim olması beklenir (Baykul, 2015, s.291). Schwab (1964, s.66), bir alanın kapsamsal ve sözdizimsel yapılarının olduğunu öne sürmektedir. Kapsamsal yapı, disiplinin temel kavramları, ilkeleri ve bunlar arasındaki ilişkileri düzenleyen çeşitli yolları içermektedir. Sözdizimsel yapı ise, doğruluk ya da yanlışlık, geçerlilik ya da geçersizliğin kurulma yolu olarak ifade edilmektedir (Grossman, & Richert, 1988, s.54). Sözdizimi, aynı dilbilgisi gibi, bir disiplinde neyi söylemenin uygun olduğunu ve neyin ihlale sebebiyet vereceğini belirlemede kullanılan bir dizi kuraldır. Bu görüşe göre alana hâkimiyeti olan bir madde yazarının, madde yazacağı alanın kapsamındaki kavramları, ilkeleri, kavram ve ilkeler arasındaki ilişkileri bilmesinin yanında ilişkilendirme kuralları ve bilgi/olgu düzenlerine de vakıf olması beklenir. Alanın temel kavramları, olguları, bu olgular arasındaki ilişkileri ve ilişki kurma kurallarına hâkim madde yazarının, maddeyi tasarlarken hâkimiyetini işe koşabileceği ve bu sayede kazanım/özelliğin yoklanmasında temsil edebilecek uyaranı belirleyebileceği söylenebilir. Bu sayede kapsam geçerliği yönünden uygun düzeyde madde geliştirebilir. Alanın yanılgıya müsait yönlerini, başarılı ve başarısız cevaplayıcıların ayrışmasına neden olacak şekilde kullanabilir, bu da maddenin ayırıcılık gücünün artırılmasına katkı sağlayabilir. Alanın sözdizimsel yapısına olan hâkimiyeti, yanıtlayıcı tepkilerini manipüle etmede kullanarak madde güçlüğünü ayarlamasını sağlayabilir (Ebel, 1951, s.190). Yaygın hata, yanılgı ve yanlış öğrenmeler, yazarın çeldirici üretmesinde yardımcı olabilecek fırsatlar sunabilecektir. Kısaca yazarın alana olan hâkimiyeti maddenin psikometrik özelliklerini manipüle etmesini sağlayabilir. Fakat bu veya tersi bir iddiayı destekleyecek araştırma bulgusu bulunmamaktadır. “Yazarın konu uzmanlığı maddenin psikometriğini olumlu yönde etkiler” önermesine verilecek yanıt hakkında fikir üretebilmek adına, öğretmenlerin alana olan hâkimiyetlerinin eğittikleri öğrencilerin başarısına olan etkisinin incelendiği araştırmalar irdelenmiştir. Araştırmaların bir kısmı (Clotfelter, Ladd, & Vigdor, 2007; Hanushek, 1986; Harbinson, & Hanushek, 1992; Tchoshanov, 2011) öğretmenlerin alana olan hâkimiyetlerinin öğrencilerin akademik başarısı üzerinde olumlu etkiye sahip olduğu bulgusuna ulaşmış, fakat bazılarında ise anlamlı ilişkiye işaret bulguya 14 rastlanmamıştır (Crosswhite, & Begle, 1979; Copeland, & Doyle, 1973; Eisenberg, 1977; Hunkler, 1968). Bazı öğretmenlerin alana olan hâkimiyetlerini diğer öğretmenlik özellikleriyle birlikte kullanarak öğrenci başarısını olumlu yönde etkileyebildikleri, bazılarının ise bu özelliğe sahip olmadığından veya eğitim sürecinde kullanamadığından etkileyemedikleri söylenebilir. Benzer şekilde konu uzmanlığının iyi maddeler yazmak için gerekli fakat tek başına yeterli olamayacağı söylenebilirse de ilişkinin deneysel olarak madde yazarlığı alanında araştırılmasına ihtiyaç duyulmaktadır. Yazma Becerisi (YB). Madde yazarı sözel iletişim ustası olmalı, sadece kelimelerin ne anlama geldiğini bilmekle kalmayıp aynı zamanda onları istenen anlamı olabildiğince basit bir şekilde iletebilmeleri için düzenleme konusunda yetenekli olmalıdır (Ebel, 1951, s.186). Sınava giren kişinin maddedeki kelimeler ve kelime öbekleri hakkında yapabileceği çeşitli olası yorumların eleştirel olarak farkında olması gerekir (Wesman, 1971, s.80). Çünkü muhtemelen, yanıtlayıcılar hiçbir cümlenin ifade ve ima edilen anlamlarını, test maddesininki kadar dikkatli kavramaya çalışmamaktadırlar (Ebel, 1951, s.187). Bu nedenle yazarın, madde kökünü en sade, anlaşılır, dilbilgisi yönünden hatasız yazması gerekir; bunu başarabilmesi için madde yazarının dili iyi kullanması zorunludur (Baykul, 2015, s.292). Çoktan seçmeli maddeler yazmanın zorlukları sadece maddelerin mekanik olarak kontrol edilmesi ile ilgili değildir. Kaliteli çoktan seçmeli maddeler yazmak teknik beceri gerektirir (Haladyna, 2004). “Teknik yazma – örneğin test maddelerinin hazırlanması gibi – özellikle zordur çünkü dil kullanımında olağanüstü derecede yüksek bir kesinlik gerektirir” (Osterlind, 2002, s. 109). Eğitimde çoğunlukla maddeler öğrencilere yazılı olarak verilir. Bu nedenle maddeleri yazacakların yazma becerilerinin önemli olduğundan söz edilebilir. Yazma, iletişim ve ifade aracıdır. Başarılı ve etkili bir yazılı anlatım; kelimelerin belli bir düzen içinde cümlelere, cümlelerin paragraflara, paragrafların da ihtiyaca göre düzenlenen paragraf üstü birimlere dönüştürülmesi gerekir. Zihinde oluşturulan fikirlerin hedef kişi/kitlelerce, amaçlanan manada anlaşılabilmesi için bu kişi/kitlelerin genel özellikleri dikkate alınarak yazılı anlatımın kurgulanması gerektiği söylenebilir. Kelimelerin taşıdığı anlamlar, vurgulama ve dilbilgisel hata veya farklı anlama gelebilecek dizilimler, bir zihinde tasarlanan anlamın karşı zihinde farklı şekilde anlamlandırılmasına bu da iletişim kurmak için başlanan sürecin istenmedik 15 yöne kaymasına neden olabilecektir. Madde ile yoklanmak istenen bilginin/özelliğin cevaplayıcı tarafından anlaşılamaması ve/veya yanlış anlaşılması ölçülmek istenen özellik/bilgi dışında başka özellik/bilgilerin ölçülmesi anlamına gelebilecek, bu da ölçmenin geçerliğine zarar verebilecektir. Psikometrik özellikleri uygun düzeyde madde yazmak üzere önerilen madde yazım kurallarından; - Madde kökündeki ifade mümkün olduğunca açık yazılmalı (Atılgan, Kan ve Doğan, 2009; Baykul, 2015; Frey vd., 2005; Haladyna, 2004; Hansen, & Dexter, 1997), - Madde kökü mümkün mertebe kısa yazılmalı (Baykul, 2015; Frey vd., 2005; Haladyna, 2004; Hansen, & Dexter, 1997; Nathan, & Jennifer, 2015), - Madde kökü olumlu ifade edilmeli (Frey vd., 2005; Haladyna, 2004; Hansen, & Dexter, 1997; Tamir, 1993), - Madde kökünde ilgisiz konulara yer verilmemeli (Atılgan, Kan ve Doğan, 2009; Baykul, 2015; Haladyna, 2004; Nathan, & Jennifer, 2015) şeklindeki kuralların yazma becerileri ile ilgili olduğu ve bu kuralların ancak yeterli yazma becerileriyle gerçekleştirilebileceği söylenebilir. Abedi vd. (2000) tarafından sınırlı İngilizce yeterliğine sahip öğrencilerle yapılan araştırmada; maddelerdeki dilin karmaşık ve sade kullanımlarının öğrenci başarısına etkisi incelenmiştir. Araştırma sonucunda dil basitleştirildiğinde öğrencilerin daha iyi performans gösterdiği belirlenmiştir. Birçok sınava giren kişinin yeni bir dilde okumayı, yazmayı, konuşmayı ve dinlemeyi öğrendiği göz önüne alındığında, karmaşık cümle yapılarıyla birlikte zorlu bir kelime dağarcığının bu öğrencilere haksız bir yük getirebileceği ve hak edilmemiş düşük puanlarla sonuçlanabileceği yorumu yapılmıştır. Okuduğunu anlama düzeyi düşük olan öğrenciler, düşük başarıdan ziyade bu yetersizlik nedeniyle düşük puan alma riski altında olduğu raporlanmıştır. Aynı anlama gelmesine rağmen bir cümlenin olumsuz şekilde ifade edilmesinin bile okuyucuya gereksiz işlem yükleyerek, anlaşılırlık düşürülebilmektedir (Tian, & Breheny, 2018). Olumsuz ifadeli anlatım, bazı durumlarda dil kullanımının temel yönlerinden biri olan bir önermenin doğruluk değerini anlamamızı sağlaması açısından da gerekli olabilmektedir (Kant, 1787). Gerekli olabileceği durumlarda dahi, olumsuz ifadeli anlatımların öğrenci başarısına 16 olumsuz etkisi, kullanımının sakıncalı olabileceğini düşündürtmektedir (Sun, 2013). Tamir (1993), olumsuz ifade edilen maddelerin, aynı maddenin eşdeğer olumlu ifadeli biçimlerine göre yarattığı zihinsel işlem yükü ile ilgili bir araştırma yapmıştır. Hem kökte hem de bir veya daha fazla seçenekte görülen olumsuz ifadeli sözcüklerin, olumlu olarak ifade edilen eşdeğerlerine göre dört kat daha fazla bellek yükü gerektirebildiği bulgusuna ulaşılmıştır. Düşük bilişsel süreçleri yoklayan maddeler için olumsuz ifadelerin hiçbir etkisinin olmadığı, ancak yüksek bilişsel maddeler için olumsuz ifadelerin daha zor olduğu belirlenmiştir. Maddenin yazılı ifade barındırma miktarı arttıkça, yazarının becerisinin daha çok hissedileceğinden söz edilebilir. Yalnızca matematiksel sembollerle ifade edilen köke ve sayılarla oluşturulan seçeneklere sahip maddeleri yazan yazarın bu yeteneğinin etkisinden söz edilmeyebilir. Bir düşünceyi ifade etmenin farklı tarzda sunumunun anlaşılırlığa vuracağı darbenin istenmeyen olası yansımaları düşünüldüğünde, madde yazarının zihninde tasarladığı uyaranı cümleleştirirken dikkatli davranması ve çaba göstermesinin gerekliğinden söz edilebilir. Bu nedenle yazma becerisinin, madde yazarının sahip olması gereken bir özellik olarak araştırma kapsamında incelenmesinin uygun olacağı düşünülmüştür. Cevaplayıcı Özelliklerini Bilme (CB). Madde yazarının, yanıtlayıcıların psikolojik ve eğitsel düzeylerini tanıması, konu alanı ile ilgili yaygın hatalarının ve yanlış anlamalarının farkında olması beklenir (Ebel, 1951, s.186). Bu farkındalık maddenin zorluğunu uygun şekilde ayarlamak ve özellikle bilgisi yetersiz olan yanıtlayıcılara yönelik çeldirici bulmada madde yazarına yardımcı olacaktır (Baykul, 2015, s.292; Haladyna, & Rodriguez, 2013, s.106). Madde yazarının dikkatinin, maddelerin ve madde formlarının sınava girenlerin geçmişine ve deneyimine uyarlama sorununa odaklaması beklenir (Vaughn, 1951, s.180). Maddelerin zorluğunu uygun şekilde ayarlamak ve birbirlerine göre farklılıklarını ortaya çıkarmak için olası eğitimsel gelişim düzeylerine yeterince aşina olmalıdır (Ebel, 1951, s.187). Osterlind (2002), madde yazarlarının, sınava girenlerin maddelere nasıl tepki vereceğini tahmin etme yeteneklerine sahip olması gerektiğine işaret etmektedir. Başka bir deyişle, madde yazarları, farklı maddelere yanıt verirken sınava girenlerin duygu ve tutumlarını dikkate almalı ve sınava girenlerin yeterli bilgi olmadan maddeleri yanıtlamasına neden olan olası faktörlerin sayısını azaltmalıdır. Ayrıca 17 test bilgesi öğrenciler, özel içerik veya formatın ayarlanmasında madde yazarlarının önyargısından yararlanabilir. Örneğin, madde yazarı genellikle doğru cevabı seçenekler arasında belirli bir konuma koymayı tercih edebilir, bu da çoktan seçmeli test maddesi konusunda bilge öğrenciler için bir ipucu sağlayabilir. Bu bakımdan da yazarın cevaplayıcıları tanıyarak, onların maddeyi yanıtlarken yararlanabileceği ipuçlarını bırakmaması gerekir. Wainer, Wadkins, & Rogers'ın (1984, s.3) belirttiği gibi, kaliteli test maddeleri yazmak “maddenin olası her yorumunun değerlendirilmesini içerir”. Çünkü yanıtlayıcılarca farklı anlamlara gelmesi, çözümünde farklı yollara başvurulması gibi istenmeyen durumlara sebep olabilecektir. Bu nedenle cevaplayıcı grubun düşünme biçimleri ve ifadelere yükleyeceği anlamlara aşina olmanın gerekliliğinden söz edilebilir. Öğretmen yeterliliklerinden biri olan öğrenciyi tanımanın (MEB, 2017, s.7) gerek eğitim tekniğinin bireye uygun belirlenmesinde gerekse eğitim boyunca ve sonunda yapılacak ölçmelerde gerekliliğinden söz edilebilir. Öğrencilerin sıklıkla yaptıkları hatalara ve okuduğunu anlama düzeylerine vakıf olan bir öğretmenin sınıf içi ölçmelerde esas alacağı düzeyi belirlemede zorlanmayacağı beklenir. Öğretmenlerin, öğrencilerini tanıma düzeyleri arttıkça, öğrencilerinin daha başarılı oldukları ifade edilmektedir (Pellegrino, 2002, s.294). Çünkü öğrencilerin neyi ne kadar bildikleri veya yapabildiklerini kavrayan bir eğitimci için eksik yönlerine yönelik düzeltici önlemler alabileceği öne sürülebilir. Benzer düşünceyle, cevaplayıcıları tanıdıkça madde yazarının da özelliği yoklayabileceği çerçeveyi belirlemesinin kolaylaşacağından söz edilebilir. Madde ifade edilirken kullanılacak kelimelerin anlamsal karşılıkları, anlatılmak istenen ifadenin anlaşılabilirliği, çözümü için gerekli zihinsel süreç olgunluğu gibi düşünceler cevaplayıcı grubun bilgi ve beceri sınırları içerisinde kalması gerektiği öne sürülebilir. Bunun için de yazarın bu özellikler bakımından yanıtlayıcıların durumunu bilmesi gerektiği, onları bu yönden tanımasına ihtiyaç duyduğu ifade edilebilir. Böylece madde kökü yanıtlayıcıların anlayabileceği şekilde tasarlanırken, çeldiriciler de sıklıkla düşülen hata veya grubun genel yanılgılarından istifade ile yazılabilecektir. Öğrencilerin eğitim düzeylerinin belirlenmesinde akranları ile ilişkilendirmenin hem aynı sınıfta eğitim alanlarla hem de aynı düzeyde eğitim görenlerle yapılması önerilmektedir (Pellegrino, 2002). Bundan dolayı araştırmada öğretmenlerin cevaplayıcı özelliklerini belirlerken gerek sınıflarında eğitim verdikleri 18 öğrencileri bireysel bazda gerekse 8. sınıf öğrencileri genel düzeyde ne derecede tanıdıkları incelenmiştir. Yaratıcılık (YR). Ebel (1951, s.185) madde yazmanın asıl olarak yaratıcı bir eylem olduğunu ve yazılan her maddenin yeni sorunlar ve yeni fırsatlar sunduğunu ifade etmektedir. Tıpkı sürükleyici bir roman yazmak ya da güzel bir resim çizmek için belirlenmiş formüller bulunmadığı gibi, iyi test maddelerini garanti edecek formüller de bulunmamaktadır. Bazı madde yazım kuralları oluşturulabilir ve öneriler sunulabilir ancak bu kuralların uygulanmasında iyi veya kötü madde yazmanın yine madde yazarının yaratıcılığına kaldığı öne sürülmektedir (Rodriguez, 1997, s.1). Wesman (1971), yaratıcılığın, madde yazmada belirlenmiş ilkeleri esnekçe yorumlayabilmek için ihtiyaç duyulduğunu öne sürmektedir. Rodriguez (1997, s.2) yaratıcılığı sanatla ilişkilendirerek “madde yazmak dün sanattı, bugün sanat ve gelecekte hep bir sanat olarak kalacaktır” iddiası ile bir adım öteye taşımıştır. Eğer bir testin amacı, sadece sınava girenlerin belirli bilgilere sahip olup olmadığını belirlemekse, madde yazarının sadece bu bilgilerin çeşitli kaynaklarına başvurması ve orada bulduğu ifadelerin bazılarını esas alması yeterli olabilir. Eğer cevaplayıcıların kavramları yorumlama ve değerlendirme yeteneğini, üst bilişsel süreçlerde işlem yapmasını ve benzer özelliklerini kullanması gereken bir ölçme yapılacaksa madde yazmanın zorlaşacağı öne sürülebilir. Bu durumda, madde yazarının konuya uygun yeni durumları ortaya çıkarmak için çaba içerisine girmesi gerekebilir. Madde fikirlerini seçme süreci, onları yaratma süreci ile eşzamanlı olarak devam eder. Madde yazma becerisi sadece üretken yaratıcılığa değil, aynı zamanda madde seçimdeki ayrım yargısı becerisine de bağlıdır (Ebel, 1951; Wesman, 1971). Yaratıcılığın ne anlama geldiğini araştıran Parkhaust (1999, s.2) elliden fazla tanıma rastladığını bildirmektedir. Bu tanımların; akılcı yaklaşım, kişilik ve bireysel özellikler, sosyal (kişiler arası) faktörler, yaşam şekli, mantıki olmayan yön olmak üzere 5 yaklaşım altında toplanabileceğini belirtilmektedir (Treffinger,1996, s.4). Farklı yaklaşım ve tanımları bir araya getirerek, yaratıcılığı bir bütün olarak ölçmek üzere yola çıkan Torrance (1974, s.8), yaratıcılığı; sorunlara, yetersizliklere, bilgideki boşluklara, eksik elemanlara, uyumsuzluklara, düzensizliklere ve benzerlerine duyarlı olma; güçlükleri belirleme, çözümler arama, yetersizliklere ilişkin tahminlerde bulunma veya hipotezler oluşturma; bu hipotezleri sınama, 19 yeniden sınama, gözden geçirerek yeniden sınama ve en sonunda sonuçları iletme süreci olarak tanımlamıştır. Madde yazarlığında yaratıcılığın gerekli olduğunu öne süren yazarların, yaratıcılığın hangi tanım veya türüne işaret ettiği belirlenemediğinden, Torrance’in (1974) bilimsel, sanatsal, edebi, dramatik ve bireyler arası yaratıcılığa uygulanabilir olması (Aslan, 2001) nedeniyle araştırma kapsamında değerlendirilmesi ve analizinde bu yaklaşım esas alınmıştır. Madde Yazarlığında Eğitimli Olma (ME). Madde yazarının madde tipleri ve özellikleri ile madde yazmada dikkate alınacak hususlarda yetişmiş olması beklenir (Baykul, 2015, s.292; Downing & Haladyna, 1997). Madde yazarı, madde yazma tekniklerini kullanma becerisine sahip olmalı, türlerine, olasılıklarına ve sınırlamalarına aşina olmalıdır (Ebel, 1951, s.187). Madde yazarının iyi maddelerin genel özelliklerini bilmesi, yazımı esnasında sık yapılan hataların farkında olması, araştırma ve teoriye dayalı belirlenen kurallara hâkim olması beklenebilir. Madde yazma yönergelerini bilmeyen ve bu kurallara uymadan madde yazan yazarların maddelerinin düşük ayırt edicilik başta olmak üzere psikometrik özelliklerinin istenen düzeyde olmadığı belirlenmiştir (Richichi, 1996). Ayrıca madde yazım kurallarına uyulup uyulmaması öğrencilerin sınavlardaki performansını etkileyebilmektedir (Downing, 2005). Öğretmenlerin ölçme ders kitapları aracılığıyla kendilerine verilen yönergeleri takip etmeden yazdıkları maddelerin güvenirlik ve geçerlik bakımından yetersizliğine işaret edilmektedir (Mehrens, & Lehmann, 1991). Bu nedenle kaliteli maddeler yazmak ve sonuç olarak daha güvenilir ve geçerli puanlar elde etmek için, öğretmenler çoktan seçmeli maddeler geliştirirken çeşitli yönergeleri dikkate almalıdır denebilir. Çoktan seçmeli madde geliştirmek zaman alan bir süreçtir ve kaliteli maddeler geliştirmek için eğitim gerektirir (Kubiszyn, & Borich, 2013). Yönergeleri öğrenmek ve madde yazımında kullanmak için ise yazarlık eğitimi almaları gerektiği sonraki araştırma bulgularına dayanarak öne sürülebilir. Iramaneerat’in (2012) madde yazarlığı eğitiminin madde güçlüğü ve ayırıcılık gücüne etkisini araştırdığı çalışmasında, öğretmenlere uygulanan madde yazarlığı eğitimi sonucunda, eğitime katılanlar ile katılmayanların, eğitim öncesi ve sonrası geliştirdikleri maddelerin psikometrik özellikleri karşılaştırılmıştır. İlk eğitimde üç saat süre ile madde yazım kuralları ve yaygın hatalar, sonrakinde iki saat süre ile madde analizi ile ilgili çalışmalar yapılmıştır. Eğitim sonunda öğretmenlerin geliştirdikleri maddelerin güçlüklerinin, eğitime katılmayanların geliştirdikleri 20 maddelerle aynı düzeyde olduğu fakat madde ayırıcılık düzeylerinin ise eğitime katılmayanlara göre anlamlı derecede daha yüksek düzeyde olduğu belirlenmiştir. Abdulghani vd. (2015) tarafından yapılan çalışmada; tıp fakültesi öğretim üyelerine çoktan seçmeli madde yazma konusunda 2 gün süreli verilen eğitimin madde istatistiklerine etkisi incelenmiştir. Eğitim sonunda geliştirilen maddelerin güçlüklerinin, önceki çok kolay maddelere göre anlamlı şekilde zorlaştığı belirlenmiştir. Ayrıca maddelerden üst bilişsel süreçlere yönelik ölçme yapmak amacıyla geliştirilenler ile madde yazım kurallarına uygun olanların sayısında artış olduğu bulgusuna ulaşılmıştır. %5 ve fazla işler çeldirici sayısının anlamlı (p=0,02<0,05), madde ayırıcılık güçlüklerinin ise anlamlı olmayan şekilde (p=0,132>0,05) artış gösterdiği belirlenmiştir. Bu bulgulara dayanarak madde yazmada görev alacak öğretim üyelerine madde yazarlığı eğitimi verilmesi önerilmiştir. Vinay, Sunil, Praveen, & Yuvaraj (2016) madde yazarlığı eğitiminin çoktan seçmeli madde geliştirmeye etkisini incelemişlerdir. Araştırmada madde yazarlığı eğitimi almamış 8 öğretim üyesinden biyokimya dersi için madde geliştirmeleri istenmiştir. Öğretim üyelerine 3 uzman tarafından madde yazarlığı eğitimi verilmesi sonrası tekrar madde yazdırılmıştır. Eğitim öncesi ve sonrası yazılan maddeler, alan uzmanlarınca belirlenmiş 60 maddelik madde yazım kuralları ile oluşturulan kontrol formu kullanılarak değerlendirilmiştir. Maddelerin kontrol formuna uygunluk durumlarına yönelik yapılan ki-kare testi eğitim sonrası lehine istatistiksel olarak anlamlı bulunmuştur (p=0,004<0,05). Araştırma bulgularına göre eğitim programından sonra madde kalitesi konusunda önemli bir iyileşme kaydedildiği ve buna dayanarak kariyerinin başlarında öğretim üyelerine madde yazarlığı eğitiminin verilmesi önerilmiştir. Tenzin, Dorji, & Tenzin (2017) madde yazarlığı eğitiminin madde psikometrik özelliklerine etkisini inceledikleri araştırmalarında, madde yazarlığı eğitimi olmayan farklı alanlardan 4 eğitim fakültesi öğretim elemanlarından oluşan gruptan 8 çoktan seçmeli madde yazmaları sağlanmıştır. Maddeler seçkisiz 16 kişilik stajyer doktor grubuna uygulanmıştır. Madde yazarlarına 2 saat süreyle madde yazma konusunda verilen eğitim sonrası maddeler madde yazım kurallarına uygun hale getirilerek aynı gruba tekrar uygulanmıştır. İki uygulamadan elde edilen puanlara yapılan analizler sonucu; başarı yüzdesinin %69,8 ’den %81,3’e, ortalama madde güçlüğünün 21 0,51’den 0,53’e, ortalama madde ayırıcılık gücünün 0,47’den 0,59’a, %5 ve daha üstü tercih edilen çeldirici oranının %74,9’dan %83,3’e anlamlı çıktığı bulgusuna ulaşmışlardır. Bulgular ışığında madde yazarlığı eğitiminin çoktan seçmeli madde psikometrik özelliklerini geliştirici bir etkiye sahip olduğunu ifade etmişlerdir. Madde Yazarlığında Tecrübeli Olma (MT). Ebel (1951) ve Wesman (1971) madde yazma konusunda tecrübeli veya uzman kabul edilen kişilerin, madde yazma süreçlerinin incelenmesini, inceleme sonucu kullanılan adımlar ve tekniklerin neler olduğunun belirlenmesini ve sonuçta elde edilen bilgilerin tecrübesiz veya yazma konusunda yetersiz bireylerin yetiştirilmesinde kullanılmasını önermektedir. Bu önermenin sınamasını yapan bazı araştırmalar tecrübeli/deneyimli madde yazarlarının geliştirdikleri maddelerin psikometrik özelliklerinin, tecrübesiz/deneyimsiz yazarlarınkine göre daha iyi düzeyde olduğu bulgusuna ulaşmışlardır. Salisbury (2005) farklı deneyim düzeylerindeki madde yazarlarının uluslararası geniş ölçekli İngilizce dinleme testlerine metin tabanlı madde geliştirme süreçlerini keşfetmek için sözlü protokol metodolojisini ve uzmanlık çalışmasından alınan bir kesiti kullanmıştır. Araştırmada önce deneyimli ve deneyimsiz madde yazarlarının aynı madde yazma görevlerini nasıl yürüttükleri karşılaştırılmış; ikinci aşamada deneyimli yazarların doğal yazma süreçleri incelenmiştir. Toplanan verilerin analizlerinde sözlü protokol analiz tekniği kullanılmıştır. Madde yazarlarının; bir keşif metni arama aşaması, metni ve maddeleri gönderilmek üzere hazırlamak için uyumlu bir düzenleme aşaması ve yazarın kendisi veya başkaları tarafından yapılan eleştirel bir incelemeye yanıt veren bir düzeltme aşaması olmak üzere üç aşamayı kullandıklarını belirlemiştir (s.75). Araştırma sonunda madde yazma konusundaki uzmanlığın oldukça bireysel bir kavram olmasına rağmen, bir dizi tanımlanabilir strateji ve uygulamanın başarılı sonuçlarla ilişkili olduğunu, deneyimli yazarların bu stratejilere sahip oldukları ve süreç içerisinde kullanabildikleri öne sürülmüştür. Fulkerson, Mittelholtz, & Nichols (2009); Fulkerson, Mittelholtz, & Nichols (2010); Fulkerson, Nichols, & Snow (2011) tarafından tecrübeli ve tecrübesiz madde yazarlarının madde geliştirmede kullandıkları bilişsel süreçler birbirini takip eden üç araştırma ile incelenmiştir. Yapılan üç çalışmada; üst bilişsel süreçleri yoklayan madde geliştirme işlemi, bir problem olarak tanımlanmış, bu problemin üstesinden 22 gelmek için madde yazarlarının nasıl bir yol izledikleri incelenmiş ve tecrübenin madde geliştirme sürecine etkisi araştırılmıştır. Protokol analiz teknikleri kullanılarak madde yazarlarının madde geliştirirken bilişsel süreç işlemleri analiz edilmiştir. Yapılan analizler sonucu, tecrübeli madde yazarlarının madde geliştirmede temsil, keşif ve çözüm olmak üzere üç aşamalı problem çözme becerilerini başarıyla sergiledikleri bulgusuna ulaşılmıştır. Ayrıca madde yazarlarının maddeyi geliştirirken karşılaştıkları sorunları geçmiş tecrübeleri ve sahip oldukları özel bilgilerle aşabildikleri belirlenmiştir. Araştırma bulgularına dayanılarak tecrübeli madde yazarlarının tecrübesizlere nazaran üst bilişsel süreçlerde ölçme yapabilecek uygun nitelikte maddeler geliştirebildikleri, tecrübesiz madde yazarlarının tecrübeli madde yazarları ile birlikte çalışmalarının iyi maddeler geliştirebilmek adına yararlı olacağı yorumu yapılmıştır. Green, & Hawkey (2012) tecrübeli ve tecrübesiz madde yazarlarının, kazanım esaslı bir okuma testi için geliştirdikleri maddeleri ve bu maddeleri geliştirme süreçlerini incelemişlerdir. Madde yazarlarının bireysel ve grup halinde madde geliştirdikleri araştırmada; akış şemaları, mülâkat ve elde edilen maddelerin uzmanlarca nitel karşılaştırmaları yapılmıştır. Sonuçta tecrübeli madde yazarlarının IELTS üst basamak bilişsel süreçleri yoklayan maddeleri geliştirme süreçlerinin daha belirgin ve geliştirdikleri maddelerin daha iyi düzeyde olduğu bulgusuna ulaşmışlardır. Tecrübesiz madde yazarlarının, tecrübeli yazarlarca eğitilmeleri gerektiğini öne sürmüşler, birlikte madde geliştirmelerinin tecrübe kazanmalarına ve daha iyi düzeyde madde geliştirmelerine katkı sağlayacağını dile getirmişlerdir. Madde Yazmada Özyeterlik (ÖY). Özyeterlik kişinin öğrenme düzeyini ve davranışlarını istenen seviyeye ulaştırmak için kendi kapasitesine olan inancı olarak tanımlanabilir. Özyeterlik kavramı bireyin kendisine yönelik yeterlik kapsamındaki farkındalığını içeren önemli bir psiko eğitsel yapıdır. Bu farkındalık, bireylerin bir alandaki belirli bir performansı gerçekleştirmek üzere gerekli etkinlikleri organize etmek ve bunları yürütmeye yönelik kendi yeterlikleri hakkındaki yargılarından oluşmaktadır (Bandura, 1986). Bir kişinin özyeterlik inancı; bir görev için ne kadar gayret edebileceği, bir engel ile karşılaşınca ne kadar sebat gösterebileceği ve olumsuz durumlar karşısında nasıl tepki vereceği hakkında ipucu vermektedir (Pajares, 1997). Her başarılı davranışın arkasında o davranışı yerine getirebilecek 23 özyeterlik inancının bulunduğu belirtilmektedir (Pajares, 1996; Pajares, & Schunk, 2005; Valentine, DuBois, & Cooper, 2004). Eğitim araştırmacılarının yaptığı çalışmalarda özyeterliğin akademik yaşantıda niceliği oranında etkili olduğu gözlenmiş ve farklı türdeki başarılı davranışın önemli bir etmeni olduğu görülmüştür. Örneğin öğretmenlerin ölçme etkinliklerine etkisini sınayan bazı araştırmalarda özyeterlik ile etkinlik arasında olumlu yönde ilişkiye işaret eden bulgular elde edilmiştir (Green, & Stager, 1986; Lewitt, 2002; Quilter, 1998; Tschannen-Moran, Hoy, & Hoy, 1998). Özyeterliğin birey davranışları ve eğitim alanındaki olumlu etkisi düşünüldüğünde; madde yazarının iyi maddeler yazabilmesi için bu konudaki öz yeterliğin de iyi düzeyde olması gerektiği öne sürülebilir. Yoksa Ebel’in (1951, s.187) belirttiği gibi eğer madde yazarı kendisinde bulunması gereken eğitim değerlerinin açıkça farkında değilse, sahip olduklarından habersizce yüzeysel bir madde geliştireceği neredeyse kesindir. Bu nedenlerle madde yazarının, madde yazma konusunda ne derecede kendisini yeterli algıladığı diğer bir ifade ile özyeterliği bu araştırma kapsamında madde yazarında bulunması gereken bir özellik olarak öne sürülmüştür. Madde Psikometrik Özellikleri Madde. Madde, puanlama birimi olarak tanımlanabilir (Ebel, 1951, s.185). Psikoloji ve eğitimde insan özellikleri doğrudan ölçülemediğinden (Crocker & Algina, 2008, s.4), bireye ait bir özelliğin ne miktarda bulunduğunun belirlenmesi için gözlemlenebilir davranışlar esas alınır. Davranışlar; uyarıcı, gözlem veya beyana dayalı olarak, madde adı verilen ölçme aracı ile ortaya çıkarılır, sayı ve sembollerle ifade edilir. Eğitimde kullanılan testlerde cevaplanmak üzere hazırlanan uyaranlar her zaman soru cümlesi ile ifade edilmediklerinden ve puanlanamadıklarından bunların soru yerine madde olarak adlandırılmasının daha uygun olduğu söylenebilir. Madde bir testin yapı taşıdır, tek başına ölçme yapabilir ve puanlanabilir. Çoktan seçmeli, tek doğru yanıtlı madde uygulaması sonucu bireylere 1 veya 0 puan atanır, bunun anlamı; bireyde madde ile ölçülen özellik/bilgi/kazanım var ya da yoktur. Bu sebeple çoktan seçmeli madde; bireylerde ölçülmek istenen özelliğin bulunup bulunmadığını ortaya çıkaran uyarıcı olarak da tanımlanabilir. 24 Psikometrik Özellikler. Madde psikometrik özelliklerinin incelendiği bu araştırmada psikometri ve psikometrik terimlerinin ne anlama geldiği irdelenmeden, nelerin bu özelliklerden sayılacağı da belirlenemeyecektir. Yunanca ruh (psyche (ψυχή)) ve ölçme (metron (μέτρον)) kelimelerinin birleşmesi ile meydana gelen psikometri, “psikolojik özelliklerin ve becerilerin ölçülmesi” olarak tanımlanmaktadır (Stuart-Hamilton, 2007, s.214). Psikometrik ise insan özelliklerinin ölçülmesinde kullanılan ölçme araçlarının nitelikleri (elde edilen bilgi çeşidi veya puan, güvenirlik ve geçerlik) ile ilgilenen alandır (Furr, & Bacharach, 2013, s.7). AERA, APA, & NCME (2014, s.11) ise ölçme araçlarının özellikleri ile ilgili: a) geçerlik, b) güvenirlik/kesinlik ve ölçmenin hatası, c) test etmede yansızlık (fairness) olmak üzere üç esastan söz etmektedir. Tanım ve özellikler birlikte düşünüldüğünde genel hatları ile madde puanları ve puan dağılımları, güvenirlik, geçerlik, yansızlık başlıkları altında toplanabilecek psikometrik özelliklere kanıt olarak sunulabilecek birçok istatistik/parametreden söz edilebilir. Bir maddenin işleyişi ile ilgili bilinmesi zorunlu göstergeleri olarak madde güçlüğü, ayırtediciliği ve cevapların seçeneklere dağılımı sıralanabilir (Doğan ve Tezbaşaran, 2003, s.58). Bu göstergelerin önemli fakat yeterli olmadığı söylenebilir. Örneğin maddenin ölçülen özellikten farklı bir özellik bakımından ayrışan gruplara avantaj/dezavantaj sağlayıp sağlamadığı veya puan dağılımlarının nasıl olduğu, yukarıdaki göstergeler ile ortaya konamaz. Bu sebeple maddenin farklı özellikleri (çeldiricilerin işlerliği, madde puanları dağılımı, vb.) hakkında bilgi veren istatistiklerin de ortaya konması, maddenin ölçme gücü, teste dahil etme, test dışı bırakma gibi alınacak kararların daha isabetli olmasına katkı sağlayacaktır. Bu kapsamda çoktan seçmeli madde uygulaması sonucu elde edilen puanlarla; puan dağılımları, madde istatistikleri, güvenirlik, geçerlik ve yansızlığa kanıt olarak sunulacak psikometrik özellikler mümkün alandaki bütün teknikler değerlendirilerek araştırmacı tarafından belirlenmiş, bu özelliklerin tanım, Klasik Test Kuramına dayalı hesaplama yöntemleri, ölçüt ve yorumları Tablo 2’de sunulmuştur. 25 Tablo 2 Madde Psikometrik Özellikleri Psikometrik Özellik Tanım Hesaplama Yöntemi Ölçüt ve Yorum Madde Varyansı Madde puanlarının ortalamadan farklarını, daha geniş bir ifadeyle ölçülen nitelik yönünden bireyler arasındaki farkları ortaya koyan istatistiktir (Baykul, 2015, s.226; Thompson, 1981). Madde Varyansı (sj 2) sj 2 = pi.qi (Baykul, 2015, s.225) 0,25 ≥ sj 2 ≥ 0,00 sj 2; arttıkça maddenin ölçtüğü nitelik yönünden cevaplayıcılar arasındaki farkları ortaya koyma gücünün arttığı, azaldıkça düştüğü söylenebilir (Baykul, 2015, s.226; Thompson, 1981). Madde Çarpıklık Katsayısı Madde puanları dağılımının simetrik olup olmadığının göstergesidir. Madde puanları dağılımının simetrik olması test teorilerinde özellikle normal dağılım sayıltısının bulunduğu hallerde önem taşır (Baykul, 2015, s.228; Ray, Hundleby, & Goldstein, 1962). Madde Çarpıklık Katsayısı (α3j) α3j= 1-2.p jx √p jx .(1-p jx ) (Baykul, 2015, s.228) +∞ ≥ α3j ≥ -∞ Madde puanları dağılımı; katsayı 0 olması durumunda simetrik olmakta; +/-∞’a yaklaştıkça ise simetriklikten uzaklaşmaktadır (Baykul, 2015, s.228). Analizlerde α3j’nin mutlak değeri hesaplanarak, madde puanları dağılımının simetriklikten uzaklaşma düzeyi belirlenmiştir. Madde Basıklık Katsayısı Madde puanları dağılımının simetrik olup olmadığının göstergesidir. Madde puanları dağılımının simetrik olması test teorilerinde özellikle normal dağılım sayıltısının bulunduğu hallerde önem taşır (Baykul, 2015, s.228; Ray, Hundleby, & Goldstein, 1962). Madde Basıklık Katsayısı (α4j) α4j= 1-6.p jx .(1-p jx ) p jx .(1-p jx ) (Baykul, 2015, s.229) +∞ ≥ α4j ≥ -2 Madde puanları dağılımı; katsayı 0 olması durumunda simetrik olmakta; +∞/-2’e yaklaştıkça ise simetriklikten uzaklaşmaktadır (Baykul, 2015, s.229). Analizlerde α4j’nin mutlak değeri hesaplanarak, madde puanları dağılımının simetriklikten uzaklaşma düzeyi belirlenmiştir. Madde Güçlük İndeksi Bir maddenin doğru yanıtlanma oranı ya da yüzdesidir. Kolaylık-zorluk belirtir (Cohen & Swerdlik, 2009, s.159). Maddenin doğru yanıtlanma olasılığı olarak da görülebilir (Baykul, 2015, s.219; Gulliksen, 1950, p.366). Madde Güçlük İndeksi (pi) p i = ND N (Crocker & Algina, 2008, s.311) 0,20 ≥ pi ≥ 0,00 çok zor 0,40 ≥ pi ≥ 0,21 zor 0,60 ≥ pi ≥ 0,41 orta güçlükte 0,80 ≥ pi ≥ 0,61 kolay 1,00 ≥ pi ≥ 0,81 çok kolay pi; arttıkça madde kolaylaşmakta, azaldıkça güçleşmektedir. qi : 1-pi pjx : madde güçlük indeksi ND : maddeyi doğru yanıtlayan sayısı N : tüm yanıtlayıcıların sayısı pjx : madde güçlük indeksi 26 Psikometrik Özellik Tanım Hesaplama Yöntemi Ölçüt ve Yorum Madde Ayırıcılık Gücü İndeksi Madde ile ölçülmek istenilen özelliğe sahip olanlarla olmayanları ayırt edebilmesine madde ayırıcılık gücü; maddenin bu özelliği, ölçmenin amacını ifade ettiğinden elde edilen indekse madde geçerlik katsayısı da denilmektedir (Crocker & Algina, 2008, s.313; Gulliksen, 1950, p.369). Madde Ayırıcılık Gücü İndeksi (rjx)1 rj(X-j)= rjx.Sx-sj √sj 2+Sx 2 -2.rjx.Sx.sj (Baykul, 2015, s.242) 1,00 ≥ rjx ≥ 0,30 madde uygun 0,29 ≥ rjx ≥ 0,20 madde düzeltilmeli 0,19 ≥ rjx ≥ -1,00 madde uygun değil rjx arttıkça maddenin özelliğe sahip olan ile olmayan arasındaki farkı ortaya koyma gücü artmaktadır (Ebel & Frisbie, 1991, s.232). Madde Çeldiricilik İndeksi2 Madde çeldiricilerinin birlikte ne derecede dengeli işlediğinin ölçüsüdür. Madde Çeldiricilik İndeksi (ζ) ζ =1- √∑ (fi-δ) 2n i=0 √(q.n-δ) 2 +(a-1)(0-δ) 2 0,00 ≥ ζ ≥ 1,00 ζ değeri arttıkça çeldiricilerin birlikte dengeli işlediği, azaldıkça çeldiricilerin dengesiz işlediği yani bir veya birden fazla çeldiricinin yetersiz tasarlandığı söylenebilir. Madde Güvenirlik Katsayısı Maddenin, toplam puan varyansına yaptığı katkının ölçüsüdür (Crocker & Algina, 2008, s.320; Gulliksen, 1950, p.375). Madde Güvenirlik Katsayısı (rj) rj = sj.rjx (Crocker & Algina, 2008, s.320) -0,50 ≥ rj ≥ 0,50 rj değeri arttıkça maddenin, test güvenirliğine olan katkısı da artar, azaldıkça azalır (Crocker & Algina, 2008, s.320). Madde Geçerlik Katsayısı Maddenin, ölçüt (uyum/yordama) geçerlik kanıtına yaptığı katkının ölçüsüdür (Crocker & Algina, 2008, s.320). Madde Geçerlik Katsayısı (ρj) ρj = sj.rjy (Crocker & Algina, 2008, s.320) -0,50 ≥ ρj ≥ 0,50 ρj değeri arttıkça maddenin, test geçerliğine olan katkısı da artar, azaldıkça azalır (Crocker & Algina, 2008, s.320). Kapsam Geçerlik Oranı Kapsam geçerlik oranı maddelerin kapsam geçerliğine kanıt sunmada uzman görüşlerine dayalı ölçüdür (Lawshe, 1975). Kapsam Geçerlik Oranı (KGO) KGO= NG N 2 -1 (Lawshe, 1975, s.567) 1,00 ≥ KGOj ≥ -1,00 KGO’nın alacağı değer arttıkça kapsamı daha iyi temsil ettiği, azaldıkça temsil edemediği düşünülmüştür. Sx : test standart sapması sj : madde standart sapması rjx : madde puanı-maddenin içinde yer aldığı test puanı korelasyonu rjy : madde puanı ile dış ölçüt puanı korelasyonu NG : “gerekli” diyen uzman sayısı N : toplam uzman sayısı 27 Psikometrik Özellik Tanım Hesaplama Yöntemi Ölçüt ve Yorum Madde Faktör Yükü Bir değişkenin bir faktör ile korelasyonudur (Kline, 1994, s.5). Madde Faktör Yükü (β) Yi=βi0+βi1F1+βi2F2+…+ei (Kline, 2015, s.30) Faktör yük değerleri, bir korelasyon değeri olarak istatistiksel anlamlılık bakımından incelenebilir (Guilford, 1942, s.285). Maddelerin ilgili faktöre verdikleri yük değerinin yüksek olması istendiğinden, β değeri arttıkça maddenin yapıyı daha iyi düzeyde ölçtüğü, azaldıkça ise bu düzeyin de azaldığı düşünülmüştür. Değişen Madde Fonksiyon Değeri Yanlılık, farklı alt gruplardaki bireylerin test puanlarının bulundukları gruba bağlı olarak sistematik hata içermesidir (Zumbo, 1999). Bir maddenin yanlı olduğunu söyleyebilmek için öncelikle o maddenin Değişen Madde Fonksiyonu (DMF) içermesi gerekir. Mantel-Haenszel İstatistiği (ΔMH) αMH= ∑ AtDt Tt (L-1) t=1 ∑ BtCt Tt (L-1) t=1 βMH = ln (αMH) ΔMH = -2,35 (βMH) (Mantel ve Haenszel, 1959) 1,0 > │ΔMH│ DMF yok 1,5 > │ΔMH│≥ 1,0 orta düzeyde DMF │ΔMH│≥ 1,5 yüksek düzeyde DMF (Zieky, 1993) Alan uzmanlarının görüşlerine dayanarak kız ve erkek öğrenciler için DMF gösteren maddeler belirlenerek, bu maddeler için yanlılık ΔMH değerleri; DMF göstermeyen veya yanlılık tespit edilmeyen maddeler için yanlılık değeri “0” alınmıştır. 1 Sürekli bir değişkenle (test puanı) iki kategorili bir değişken (madde puanı) arasındaki ilişkinin en uygun ölçüsü nokta çift serili korelasyon katsayısıdır (Baykul, 2015, s.241). Nokta çift serili korelasyon formülünde madde ayırıcılığı hesaplanan maddenin puanının da test puanı içerisinde yer alması sebebiyle, madde sayısının 25’den az olduğu hallerde olduğundan daha büyük çıkmaktadır. Bu nedenle bu araştırmada maddenin test içerisindeki etkisinin arındırılmasında düzeltilmiş nokta çift serili korelasyon katsayısı hesaplanmıştır. 2 Sonraki başlıkta açıklanmıştır. Yi : i değişkeni F1 : birinci faktör βi1 : Yi değişkeninin F1 faktörü üzerindeki faktör yükü ei : hata terimi 28 Çeldiricilik İndeksi. Madde analizinde; maddeyi doğru yanıtlayanların sayısının maddeyi tüm yanıtlayanların sayısına oranından madde güçlük indeksi; maddenin kazanıma sahip olanlarla olmayanları ayırt edebilmesine işaret istatistiklerle de madde ayırıcılık gücü indeksi hesaplanmaktadır. Çeldirici analizleri ise çeldirici bazında yapılmakta, madde çeldiricilerinin tümünü temsil edecek yaygın bir indeks ise bulunmamaktadır. Deneme uygulaması sonucu işler olmayan çeldiriciler (cevaplayıcılarca az tercih edilen veya hiç tercih edilmeyenler) değiştirilerek daha iyi düzeyde ölçme yapabilecek maddeler geliştirilebilir. Nihai test uygulaması sonucu hangi çeldiricilerin işler olduğunun tespit edilmesine dönük bir analizin öğrencilerin yanlış öğrenmeleri, eğitim sürecinin eksikleri, eğitici performanslarının belirlenmesinde yararlı olacağı söylenebilir. Bu yönde bir analiz madde yazarının çeldirici geliştirebilme yeteneğine de işaret olabilecektir. Çünkü çeldirici yazmak, özellikle 4 veya 5 seçenekli ÇSM’lere çeldirici üretmek, madde yazarının en çok zorlandığı husustur (Wesman, 1971, s.99). Bu sebeple bir maddenin çeldiricilerinin ne derecede dengeli işlediğini ortaya koyan bir indeksin kullanılarak, madde yazarının madde geliştirme becerisi ile ilgili yorumlanmasının uygun olacağı öne sürülebilir. Alanda kategorik verilerin dağılımlarını özetleyen bazı istatistikler mevcuttur (Dickinson, 2015; Wilcox, 1973). Genel olarak niteliksel dağılım indeksi (Index of Qualitative Variation) olarak adlandırılan bu istatistikler incelendiğinde yüksek düzeyde negatif çarpıklığa sahip oldukları görülmektedir (Dickinson, 2014, s.308). Çünkü bu istatistikler her bir çeldiricinin alması gereken değeri dikkate almadan çeldirici dağılımlarını ortaya koymaktadır. Bu sebeple araştırmacı tarafından, çeldiricilerin kuramsal olarak alması gereken değerden hareketle bir istatistik belirlenmiştir ve madde çeldiricilik indeksi (item distraction index)(ζ) olarak tanımlanmıştır. Mükemmel ÇSM’lerin iki karakteristiği vardır. Birincisi, maddenin ölçtüğü kazanıma sahip olanlar her zaman doğru yanıtı seçerler, ikincisi ise kazanıma sahip olmayanlar çeldiricilere rastgele dağılırlar (Davidshofer & Murphy, 2005, s.204; Gregory, 2011, s.145). Diğer bir deyişle, ÇSM’nin çeldiricilerinin eşit sayıda yanlış cevaplayıcı tarafından seçilmesi arzu edilir. Çeldiricilere dağılımın en arzu edilen durumu; tüm çeldiricilere yönelen yanlış cevaplayıcı sayısının eşit, en istenmeyen 29 durum ise çeldiricilerden yalnız birine tüm yanlış cevaplayıcıların yönelmesidir. Çeldirici frekansları Şekil 1’deki gibi gösterilirse (örnek olarak 4 seçenekli, 3 çeldiricili bir madde verilmiştir); Şekil 1: Üç Çeldiricili Maddenin Çeldirici Frekanslarının Üç Boyutlu Düzlemde Gösterimi a = b = c olduğu P noktası en ideal durum, Q, R ve S noktaları ise en istenmeyen durumun koordinat düzlemindeki yerleridir. Çeldiricilerin frekanslarının düzlemdeki kesişim noktası P noktasına yaklaştıkça çeldiricilik güçlenecek; Q, R, S’ye yaklaştıkça zayıflayacaktır. Herhangi bir çeldirici frekansları kesişim noktasını P̅ ile gösterirsek, P̅ noktasının P’ye olan uzaklığı; |PP̅| = √(a-a') 2 +(b-b') 2 +(c-c') 2 (1) eşitliğinden hesaplanabilir. Doğru parçasının uzunluğu minimum değerini, P̅ koordinatının P koordinatına eşit olduğu durumda alarak “0” olacaktır. Bu uzunluğun maksimum değeri ise aşağıda birbirine eşit üç denklemden biri ile hesaplanabilecektir; 0 z y x P (a,b,c) Q (a’,0,0) S (0,0,c’) R (0,b’,0) (eşitlik.1) �̅� 30 |PP̅| = √(a-a') 2 +(b-0) 2 +(c-0) 2 = √(a-0) 2 +(b-b') 2 +(c-0) 2 = √(a-0) 2 +(b-0) 2 +(c-c') 2 Eşitlik (2) ile elde edilen uzunluğun, eşitlik (1)’in ne kadarına eşit olduğu ise; √(a-a') 2 +(b-b') 2 +(c-c') 2 √(a-a') 2 +(b-0) 2 +(c-0) 2 (3) oranı ile bulunabilir. Bu eşitlik; uzunluğun, maksimum uzunluğa oranını vermektedir. Bir başka ifade ile maddenin çeldirici frekanslarının, en istenmeyen çeldirici frekansına (yanlış yanıtlayanların tek bir çeldiriciyi tercih etmeleri) oranını vermektedir. Bu oranı çeldiricilerle aşağıdaki şekilde ifade edebiliriz. √∑ (fi-δ) 2n i=1 √(q.n-δ) 2 +(a-1)(0-δ) 2 fi : i’nci çeldiricinin frekansı. δ : çeldirici başına beklenen frekans δ = q.n / a a : çeldirici sayısı. q.n : maddeyi doğru yanıtlamayanların frekansı. q : maddenin doğru yanıtlanmama olasılığı (q = 1 – p). n : maddeyi alan cevaplayıcı sayısı (yanıtlamayanlar da dahildir). (eşitlik.2) (eşitlik.3) (eşitlik.4) 31 (4) eşitliğinin 1 değerini alması, madde çeldirici frekanslarının en istenmeyen dağılıma sahip olduğu anlamına gelmektedir. Tüm çeldiricilerin eşit sayıda cevaplayıcı tarafından seçilmesi durumunda ise pay 0 değerini alacağından bu oran 0 olacaktır. Buradan Madde Çeldirici İndeksi (ζ) ise; ζ =1- √∑ (fi-δ) 2n i=0 √(q.n-δ) 2 +(a-1)(0-δ) 2 (5) eşitliği ile hesaplanabilir. Burada ζ, çeldirici frekans dağılımının, mümkün olan en istenmeyen dağılıma sahip olmama olasılığı ya da en istendik dağılıma sahip olma olasılığıdır. Eşitlik (5)’den anlaşılacağı üzere, ζ; 0 ile 1 arasında değer alır. Değeri 1’e yaklaştıkça çeldiricilerin dengeli şekilde işlediği, 0’a yaklaştıkça da çeldiricilerin birlikte dengeli işlemediği anlamına gelir. Kabul edilebilir en düşük çeldiricilik indeksinin hesaplanması Çeldiricilerinin dengeli işlemesi gerektiğine dayanak olan varsayım çeldiricilere yönelen cevaplayıcı sayılarının eşit olmasıdır. Çeldiricilerden beklenen diğer bir durum ise; bir çeldiricinin maddeyi alan tüm öğrencilerin sayısının en az %5’i kadarı tarafından tercih edilmesidir (Haladyna, Rodriguez, & Stevens, 2019, s.356). Bu nedenle çeldiricilik indeksinin yorumlanmasında ölçüt bir değer olarak kabul edilebilir en düşük madde çeldiricilik indeks (ζ min) değerinin hesaplanması önerilebilir. ζ min, üç çeldiricili bir maddede, alt sınır bir değer olarak tüm çeldiricilerin maddeyi alanların sayısının % 5’i kadar olacak çeldirici frekansları esas alınarak aşağıdaki şekilde hesaplanır. ζ min =1- √a.(n.0,05-δ)2 √(q.n-δ) 2 +(a-1)(0-δ) 2 (eşitlik.5) (eşitlik.6) 32 Elde edilen çeldiricilik indeksi, eşitlik (6) ile verilen kabul edilebilir en düşük çeldiricilik indeksine eşit ve büyük ise, maddenin çeldiricilerinin dengeli işlediği; bu değerden küçük ise dengeli işlemediği yorumu yapılabilir. Örnek çeldiricilik indeksi hesaplaması Örnek bir veri seti esas alınarak çeldiricilik indeksinin hesaplanmasının uygun olacağı değerlendirilmiştir. TAP 16.11.13 programıyla, 20 maddeli, 4 seçenekli, 100 cevaplayıcılı ve ortalama madde güçlüğü 0,50 olan bir teste ait veri seti üretilmiş ve Tablo 3’de sunulmuştur. Tablo 3 Örnek Madde Çeldiricilik İndeksi Hesaplaması İçin Seçenek Frekansları Madde No A Seçeneği B Seçeneği C Seçeneği D Seçeneği pi rjx ζ 1 9 17 43* 31 0,43 0,29 0,66 2 4 52* 8 36 0,52 0,39 0,37 3 9 39* 18 34 0,39 0,28 0,64 4 3 10 8 79* 0,79 0,17 0,70 5 12 18 38 32* 0,32 0,36 0,65 6 5 60* 12 23 0,60 0,21 0,61 7 7 19 33 41* 0,41 0,35 0,62 8 20 17* 21 42 0,17 0,26 0,74 9 75* 2 6 17 0,75 0,40 0,46 10 6 25 25* 44 0,25 0,16 0,56 11 14 24 50 12* 0,12 0,15 0,63 12 44* 4 30 22 0,44 0,25 0,59 13 71* 3 9 17 0,71 -0,02 0,58 14 5 8 78* 9 0,78 0,23 0,84 15 60* 5 16 19 0,60 0,32 0,68 16 8 45* 15 32 0,45 0,35 0,61 17 10 50* 14 26 0,50 0,38 0,71 18 15 19 36* 30 0,36 0,31 0,79 19 8 15 58* 19 0,58 0,37 0,77 20 18 17 20 45* 0,45 0,35 0,95 * Doğru Yanıt Birinci maddeyi 100 öğrenci yanıtlamış, 43 öğrenci doğru yanıta, 57 öğrenci ise çeldiricilere yönlenmiştir. Çeldirici sayısı 3, çeldirici başına beklenen frekans, 𝛿 = 57/3 = 19’dur. Bu değerler ile madde çeldiricilik indeksi hesaplanırsa; 33 ζ =1- √(9-19)2+(17-19)2+(31-19)2 √(57-19) 2 +(2)(0-19) 2 = 0,66 değeri elde edilir. 0,43 güçlükteki 57 çeldirici tercihli madde için kabul edilebilir en düşük çeldiricilik indeksi ise; ζmin =1- √3.(100.0,05-19)2 √(57-19) 2 +2(0-19) 2 = 0,27 değeri elde edilir. Birinci maddeye ait ζ değeri, ζmin’den büyük olduğu için, çeldiricilerinin dengeli işlediği söylenebilir. Tablo 3’de 16’ncı ve 20’nci maddeler dikkate alındığında aynı madde güçlük ve ayırıcılık gücü indeksine sahip oldukları görülmektedir. Fakat 20’nci maddenin çeldiricilik indeksi (0,95), 16’ncı maddenin çeldiricilik indeksinden (0,61) daha büyük bir değere sahip olduğundan, ölçme gücünün daha iyi düzeyde olduğu öne sürülebilir. Eğer bu iki madde aynı kazanımı aynı bilişsel basamakta ölçmek üzere geliştirilmiş iseler, 20’nci maddenin öğrencilerin ilgili özelliğe sahip olup olmadığının yoklanmasında 16’ncı maddeye tercih edilmesinin uygun olacağı düşünülmektedir. Çünkü teste alınması önerilen maddenin, yanıtlayıcılardan bilgisi yetersiz olanların, bu yetersizlik bakımından yönelebilecekleri farklı çeldiricileri bulundurduğu söylenebilir. İşler çeldirici sayısının fazlalığı, bilgisi eksik yanıtlayıcının doğru yanıta belki de şans başarısı ile ulaşmasının engellenmesinde güvenilebilecek önlem olarak görülebilir. Çünkü çeldiriciler yeterince işler değilse madde ayırıcılığı ve güvenilirlik zarar görebilir (Ebel, 1967, s.127). Tablo 3’deki 2, 4, 9, 12 ve 13’üncü maddelerin ζmin değerinden daha düşük düzeyde oldukları görülmektedir çünkü en az 5 tercihten (100.0,05) daha düşük frekansta çeldiricilere sahiptirler. Bu nedenle bu maddelerin çeldiricilerinin yeniden tasarlanması önerilebilir. Maddenin madde çeldiricilik indeksine, madde güçlük ve ayırıcılık gücü indekslerinin düzeylerinin oluşmasının altında yatan bir istatistik gözüyle bakılabilir. 34 Yapısal Eşitlik Modellemesi Yapısal eşitlik modelleri gözlenen değişkenler ve örtük değişkenler arasındaki nedensel ve korelasyonel ilişkilerin bir arada bulunduğu modellerin test edilmesi için kullanılan çok değişkenli istatistiksel bir tekniktir (Tabachnick, & Fidell, 2015). İlişkileri tahmin etmek için varyans, kovaryans analizleri, çoklu regresyon ve faktör analizi gibi analizlerin birleşimiyle meydana gelen bir yöntemdir (Kline, 2015). Yöntemin temel özelliği, teoriye dayalı olması ve örtük (gizil) değişken seti arasında bir nedensel yapının var olduğunu varsaymasıdır. Yapısal eşitlik modellemesi uygulanmasında en kritik nokta, oluşturulan modelin oldukça sağlam teorik alt yapıya sahip olması gerekliliğidir. Verilerin modeli destekleyip desteklemediğini değerlendirmek amacıyla literatürde kullanılan en yaygın yöntemin iki aşamalı yöntem olduğu söylenebilir (Anderson, & Gerbing, 1988). Analizlerde birinci aşama olarak önce ölçme modeli test edilerek (Huchting vd., 2008) modelde yer alan yapılara ait ölçümlerin ilgili yapıları doğru ölçüp ölçmediğine bakılır, ikinci aşamada ise yapısal modeller incelenir. Ölçme modeli, gözlenen değişkenlerle, gizil değişkenlerin ne kadar iyi temsil edildiğini göstermektedir. Şekil 2’de basit bir ölçme modeli örneği yer almaktadır. Şekil 2’de ζ1, ζ2, ζ3 örtük değişkenler olup, her birinin 3’er gözlenen değişken (X1, X2, X3) yoluyla temsil edildiği görülmektedir. Ölçme modeli sonuçlarına göre, modeldeki yapıların (gizil değişkenlerin) ifadeleri (gözlenen değişkenleri) tarafından temsil edilebildiği sonucuna ulaşıldığı zaman, yapısal modelin testine geçilebilir. ζ1, ζ2, ζ3 gizil değişkenlerinden ζ2 değişkeninin bir bağımlı değişken ve diğer iki değişkenin de bağımsız değişkenler olduğunu, ζ2’nin ζ1 ve ζ3 tarafından açıklandığını iddia eden bir modelin test edileceğini varsayılmıştır. Bu varsayım altında kurulan yapısal model Şekil 3’de gösterilmektedir. 35 Sembol Anlamı ζ Örtük değişken X Gözlenen değişken λ Örtük değişkeni gözlenen değişkene bağlayan yol katsayısı 21,23,31 Örtük değişkenler arasındaki ilişki δ Gözlenen değişkendeki hata Şekil 2: Örnek Ölçme Modeli 23 21 X1 X2 X3 δ 1 δ 2 δ 3 ζ1 λ 11 λ 21 λ 31 X4 X5 X6 δ 4 δ 5 δ 6 ζ2 λ 42 λ 52 λ 62 X7 X8 X9 δ 7 δ 8 δ 9 ζ3 λ 73 λ 83 λ 93 31 36 Sembol Anlamı Y / X Gözlenen değişken η Örtük değişken (içsel) ζ Örtük değişken (dışsal) λ / Ɣ Dışsal ve içsel değişkenler arasındaki yol katsayısı δ / ε Gözlenen değişkendeki hata Şekil 3: Örnek Yapısal Model Şekil 3’de, ζ2 notasyonunun η2’ye, daha önce δ şeklinde gösterilen hata teriminin de ε’ye dönüştüğü görülmektedir. Bunun nedeni, yapısal modele geçildiğinde artık gizil değişkenlerin de kendi aralarında farklı konumlara (bağımlı, bağımsız) sahip olmasıdır. Dolayısıyla, bağımlı değişkenin ifadelerinin tanımlanması (bağımsız değişkende X ile, bağımlı değişkende Y ile sembolize edilmektedir) ve hata terimlerinin ifade edilişi de farklılaşmaktadır. Değişkenlerle ilgili belirtilmesi gereken bir diğer durum ise, söz konusu modellerde değişkenlerin içsel (endogenous variable) ve dışsal (exogenous variable) olarak da tanımlanmasıdır. Dışsal bir değişken, modelde yer alan diğer ana yapıların hiçbiri tarafından açıklanmayan değişkendir ve bu değişkenin açıklayıcılarının modelin dışında bırakılan diğer değişkenler olduğunu ifade etmektedir. ζ1 ve ζ3 şeklinde X1 X2 X3 δ 1 δ 2 δ 3 ζ1 λ 11 λ 21 λ 31 X7 X8 X9 δ 7 δ 8 δ 9 ζ3 λ 73 λ 83 λ 93 Y4 Y5 ε4 ε5 Y6 ε6 η 2 λ 52 λ 42 λ 62 Ɣ11 Ɣ31 37 sembolize edilen değişkenler birer dışşal değişkendir. İçsel bir değişken ise, modelde yer alan temel yapılardan en az biri tarafından açıklanmakta olan değişkeni ifade etmektedir. Dolayısıyla, η2 hem bağımlı hem de içsel değişken olarak tanımlanabilir. Yapısal eşitlik modellemesi yönteminde genellikle aşağıda belirtilen ve bu araştırmada da esas alınan işlemlerin takip edildiği belirtilmektedir: (1) Yapısal modelin kurulması ve modelde yer alan değişkenler arasındaki ilişkilerin tespit edilmesi, ölçme modelinin test edilmesi, (2) Yol diyagramının elde edilmesi, ilişkilere ait yol katsayılarının (regresyon katsayılarına benzer) tespit edilmesi, (3) Modele ait uyum iyiliği istatistiklerinin incelenmesi, (4) Yapısal modelin incelenerek bulguların yorumlanmasıdır (Kline, 2015). 38 Bölüm 3 Yöntem Bu bölümde araştırmanın türü, çalışma grubu, veri toplama süreci ve araçları ile verilerin analizi konu başlıklarına yer verilmiştir. Araştırmanın Türü Araştırma ilişkisel tür bir çalışmadır. İlişkisel araştırmalarda, iki veya daha fazla değişken arasındaki ilişki/ler, onları etkilemeye yönelik herhangi bir girişimde bulunulmadan incelenir (Fraenkel, Wallen, & Hyun, 2016, s.331). Bu araştırmada öğretmenlerin; alana hâkimiyet, yazma becerisi, cevaplayıcı özelliklerini bilme, yaratıcılık, tecrübe, madde yazım kurallarına hakimiyet, öz yeterlilik olmak üzere 7 madde yazarı özelliği ölçülerek, bu öğretmenlerce yazılan maddelerin öğrencilere uygulanması sonucu kestirilen madde psikometrik özellikleri arasında ilişki olup olmadığı incelenmiştir. Bu bakımdan değişkenler arasındaki ilişkileri ve ilişki derecelerini ortaya koyan bir çalışmadır. Çalışma Grubu Araştırma, bulguların evrene genellenmesi yerine madde yazarı özellikleri ile madde psikometrik özellikleri arasındaki ilişkinin modellenmesi amaçlandığından örneklem yerine çalışma grubu ile yürütülmüştür. Çalışma grubu, evrenden gönüllü olarak katılım sağlayan 320 Türkçe öğretmeni ve 4142 öğrenci ile oluşturulmuş, demografik özellikler ve mezuniyet bilgileri Tablo 4’de sunulmuştur. 39 Tablo 4 Çalışma Grubunun Demografik Özellikleri ve Mezuniyet Bilgileri Öğretmen Öğrenci n % n % Cinsiyet Kadın 173 54 2005 48 Erkek 147 46 2137 52 Toplam 320 100 4142 100 Yaş 25-30 13 4 31-35 22 7 36-40 47 15 41-45 86 27 46-50 85 26 51-55 45 14 56-60 20 6 60+ 2 1 Mezuniyet Önlisans 14 4 Lisans 261 82 Yüksek Lisans 45 14 Mezun Olunan Bölüm Türkçe Öğretmenliği 179 56 Türk Dili ve Edebiyatı Öğretmenliği 51 16 Türk Dili ve Edebiyatı Bölümü 83 26 Diğer* 7 2 * Çağdaş Türk Lehçeleri, Almanca Veri Toplama Süreci Veri toplama sürecinin (Şekil 4) öncesinde araştırmanın etik kurallara uygunluğunun kontrolü için Hacettepe Üniversitesi Etik Komisyonu’na başvurulmuş ve Etik Onayı (EK-L) alınmıştır. Öğretmen ve öğrencilerin araştırmaya katılabilmeleri için Millî Eğitim Bakanlığı’ndan araştırma izni alınmıştır. Öğretmenlerin yaratıcılıklarını ölçmede Torrance Yaratıcı Düşünce Testi ve özyeterliklerini belirlemede Ölçme ve Değerlendirme Özyeterlik Algı Ölçeği’nin kullanılması için hak sahiplerinden uygulama yapmak üzere izin alınmıştır (EK-A). Yazma Becerisi Testi için metin konusu belirleme, öğretmenlerce yazılacak metinleri değerlendirme, belirtke tablosu oluşturmak için madde-kazanım eşleştirmesi yapmaları ve öğretmenlerce geliştirilen maddelerin kapsam geçerlik oranlarını belirlemek için maddeleri değerlendirmeleri amacıyla 12 Türkçe alan uzmanı (3 Doktora, 9 Yüksek Lisans mezunu) ile Torrance Yaratıcı Düşünce Testi’ni 40 puanlamak üzere bu konuda eğitimli 3 doktora öğrencisi araştırmaya davet edilerek uzman grubu oluşturulmuştur. Veri toplama süreci; dünyayı etkisi altına alan Covid-19 salgınından korunma kapsamında Millî Eğitim Bakanlığı’na bağlı okulların Cumhurbaşkanlığı kararı ile 23 Mart 2020 tarihinden itibaren uzaktan eğitime geçmesinden dolayı yüz yüze yerine uzaktan ağ ortamında yürütülmüştür. Bu kapsamda https://www.classmarker.com/ web sitesine veri toplama araçları girilmiş ve yanıtlayıcıların e-posta adreslerine yönlendirilerek 15 Ekim 2020-15 Haziran 2021 tarihleri arasında veri toplanmıştır. Geleneksel yöntemle veri toplamaya göre bazı sorunsalları (bilgisayar, elektrik ve ağ ihtiyacı, ekranlı araçları kullanma becerisine gereksinim duyulması, kesintiler ve eksik veri girişinde müdahale olanaksızlığı) olsa da uzaktan erişimle veri toplamanın geçerli bir yöntem olduğu belirtilmektedir (Gosling, Vazire, Srivastava, & John, 2004; Krantz, Dalal, & Birnbaum, 2000; Wilt, Condon, & Revelle, 2012). Araştırmaya katılacak öğretmenlerin e-posta adreslerine; Katılım Kabul Formu, Demografik Bilgi Formu, Alana Hâkimiyet Testi, Öz Yeterlik Ölçeği, Yazma Becerisi Testi, Torrance Yaratıcı Düşünce Testi, Madde Yazarlığı Eğitim Testi, Cevaplayıcı Özelliklerini Bilme Testi; öğrencilerin e-posta adreslerine; Veli Onam Formu ve öğretmenlerce geliştirilen maddeler ile oluşturulan test formları yönlendirilerek veri toplanmıştır. Öğretmenler için EK-B’deki Katılım Kabul Formu, öğrenciler için EK-C’deki Veli Onam Formu onaylanmadıkça diğer ölçme araçları yönlendirilmemiştir. Her araç için yönerge oluşturulmuş ve cevaplama süresi sınırlandırılmıştır. Cevaplama esnasında kalan süre ekranda gösterilmiş, yanıtlayıcıların cevapladıkları maddeye toplam sürelerini aşmamak şartıyla geri dönmelerine imkân sunulmuştur. Öğretmenlerin madde yazarı özelliklerinin zamanla değişime uğramadan belirlenebilmesi için ilk veri toplama aracının cevaplanması ile sonuncusu arasında 15 gün süre olacak şekilde uygulama yapılmıştır. Öğretmenlerden veri toplanması sonrası, alan uzmanlarınca oluşturulan belirtke tablosundaki kazanımlardan seçkisiz verilen birisi için madde yazmaları istenmiştir. Elde edilen maddelerle oluşturulan 16 test formu (320 öğretmen tarafından geliştirilen 320 madde 20’şer halde) sınıflarındaki öğrencilere öğretmenlerince belirledikleri bir günde verilerek yanıtlamaları sağlanmıştır. 41 Öğrencilerin başka bir kaynaktan yardım almalarını önlemek için cevaplama başladığından itibaren tam ekrandan çıkış yapamayacakları (tam ekrandan çıkış yapan yanıtlayıcıların cevapları yazılım tarafından belirlenerek, değerlendirmeye alınmamıştır) şekilde test formları ekranlarına gönderilmiş, öğretmenlerinin gözetiminde kameraları açık şekilde yanıtlamaları sağlanmış ve kağıt-kalem testlerine göre maddelere daha kısa süre tanınmıştır (Sınavla Öğrenci Alacak Ortaöğretim Kurumlarına İlişkin Merkezi Sınav Sözel Bölüm’de madde başına 90 saniye süre verilirken, araştırmada bu süre 60 saniye olarak belirlenmiştir). Maddeler formlara yerleştirilirken, madde sıralamasının (Tan, 2009) ve seçeneklerin yerinin (Cizek, 1994; Hohensinn, & Baghaei, 2017) madde istatistiklerine istenmeyen etkisini önleyebilmek için, merkezî sınav ile aynı sıra izlenmiş ve maddelerin seçeneklerinin yerleri tüm cevaplayıcılar için aynı olacak şekilde yerleştirilmiştir. 42 Şekil 4. Veri Toplama Süreci KATILIM KABUL FORMU DEMOGRAFİK BİLGİ FORMU ALANA HAKİMİYET TESTİ ÖZYETERLİK ÖLÇEĞİ YAZMA BECERİSİ TESTİ TORRANCE YARATICI DÜŞÜNCE TESTİ MADDE YAZIM KURALLARINA HAKİMİYET TESTİ Yasal gereklilik MEB *Demografik Bilgi *Mezuniyet *Mesleki Yıl (MTP) *YMS durumu Araştırmacı Alana Hâkimiyet Puanı (AHP) YMS 2020 Özyeterlik Puanı (OYP) Kılınç, 2011 Yazma Beceri Puanı (YBP) Uzman Grubu Yaratıcılık Puanı (YRP) Torrance, 1966 Madde Yazım Kurallarına Hakimiyet Puanı (MYP) Araştırmacı 2020 LGS Belirtke Tablosu (Uzman Grubu) K a z a n ım 1 K a z a n ım 2 K a z a n ım … SOME (n=16) Madde 1 Madde 2 Madde… Madde… Madde 20 15 Ekim 2020-30 Nisan 2021 Ölçme Aracını Geliştiren Ölçme Aracı Gerekçe/Ölçme Sonucu Elde Edilenler 01-15 Mayıs 2021 15 Mayıs-31 Mayıs 2021 Madde Yazma (320 Öğretmen) 4142 Öğrenci K a z a n ım … 43 Veri Toplama Araçları Araştırmada veri toplamak için 8 araç kullanılmıştır. Alana Hâkimiyet Testi (AHT). Öğretmenlerin Türkçe alanına ne derecede hâkim olduklarını belirlemek için Millî Eğitim Bakanlığınca 23 Şubat 2020 tarihinde uygulanan YMS (Yurtdışında Görevlendirilecek Okutman ve Öğretmenlerin Mesleki Yeterlik Sınavı) Türkçe alt testinde (MEB, 2020a) yer alan 25 madde ile Alana Hâkimiyet Testi (AHT) oluşturulmuştur. YMS, 2015 yılından itibaren MEB kadrolarında en az 5 yıl hizmet süresi b