Bilgi testinde madde analizi ve güvenirlik
Bu yazıda
Madde güçlüğü, ayırt edicilik, KR-20 ve ölçüm hatasının neyi anlattığını; analiz kararlarının nasıl verildiğini inceleyin.
Test uygulandıktan sonra hangi analizler yapılmalı?
Testin ilk kez uygulanması geliştirme sürecinin sonu değildir. Toplam puanın dağılımı, test puanlarının güvenirliği ve her maddenin davranışı ayrıca incelenmelidir. Tavakol ve O’Brien sınav sonrası psikometrik değerlendirmeyi problemli maddelerin ve ölçüm hatalarının belirlenmesi için devam eden bir kalite geliştirme süreci olarak ele almaktadır (Tavakol & O’Brien, 2022).
Objektif olarak 0/1 puanlanan maddelerde iç tutarlılık değerlendirilirken dichotomous veri yapısına uygun KR-20 kullanılabilir. Bu katsayının kuramsal kaynağı Kuder ve Richardson’ın klasik güvenirlik çalışmasıdır (Kuder & Richardson, 1937).
Burada önemli nokta, güvenirliğin testin değişmez bir etiketi olarak yorumlanmamasıdır. Aynı araç farklı örneklemlerde farklı güvenirlik sonuçları verebilir. Güvenirlik elde edilen test puanlarının belirli bir kullanım bağlamındaki özelliğidir (AERA et al., 2014; Tavakol & O’Brien, 2022).
Madde güçlüğü nedir?
Madde güçlük indeksi, soruyu doğru yanıtlayan katılımcıların oranıdır. Örneğin 100 kişiden 80’i doğru yanıtladıysa madde güçlük indeksi p = 0,80 olur. Bu oran yükseldikçe madde daha kolay, düştükçe daha zor yanıtlanmış demektir.
Ancak güçlük, maddenin değişmez özelliği değildir. Aynı soru tıp öğrencileri için zor, uzmanlar için çok kolay olabilir. Bu nedenle “bu madde zordur” yerine “bu madde bu örneklemde düşük p değeri göstermiştir” demek daha doğrudur (Tavakol & O’Brien, 2022). Aşırı kolay bir madde de otomatik olarak kötü değildir. Herkes tarafından bilinmesi beklenen temel bir güvenlik bilgisini ölçüyorsa kolay olması amaçlanan bir özellik olabilir.
Madde ayırt ediciliği neden önemli?
Madde ayırt ediciliği, sorunun genel olarak daha yüksek bilgi performansı gösterenlerle daha düşük performans gösterenleri ne kadar ayırabildiğini değerlendirir. Dichotomous maddelerde point-biserial correlation bunun için sık kullanılan göstergelerden biridir.
Negatif bir katsayı, maddenin yeniden incelenmesini gerektirir. Olası nedenler arasında yanlış cevap anahtarı, belirsiz soru, kafa karıştırıcı seçenekler, tahmin etkisi veya testin geri kalanından farklı bir bilgi alanının ölçülmesi bulunabilir (Tavakol & O’Brien, 2022). Böyle bir sonuçta maddeyi hemen silmek yerine, sorunun nedenini araştırmak gerekir.
Madde analizinde eşikler otomatik karar kuralı mıdır?
Bir maddenin belirli bir güçlük veya ayırt edicilik eşiğinin dışında kalması önemli bir inceleme nedeni olabilir. Fakat maddeyi koruma veya çıkarma kararı yalnız bir sayı üzerinden verilmemelidir. Örneğin bir madde psikometrik olarak çok kolay olabilir ama blueprint’te temel ve vazgeçilmez bir içeriği temsil ediyor olabilir. Benzer şekilde düşük ayırt edicilik gösteren bir soru bilimsel olarak önemli olabilir ancak dili sorunludur ve revizyonla düzeltilebilir.
Karar verilirken psikometrik sonuçlar, içeriğin önemi, bilimsel doğruluk, uzman yorumları ve bilişsel değerlendirme bulguları birlikte ele alınmalıdır. Gottlieb ve arkadaşları da uygulama sonrası madde analizini testin sonraki sürümünü geliştiren bir süreç olarak ele almaktadır (Gottlieb et al., 2023).
Her bilgi testinde faktör analizi yapılmalı mı?
Bir testte farklı içerik alanlarının bulunması, bu alanların otomatik olarak bağımsız latent faktörler olduğu anlamına gelmez. Örneğin bir enfeksiyon kontrolü testinin el hijyeni, sterilizasyon ve koruyucu ekipman maddeleri içermesi yalnızca blueprint’in farklı içerik alanlarını örneklediğini gösterebilir. Bu durum tek başına “üç faktörlü psikolojik yapı” olduğu anlamına gelmez.
EFA, CFA, Rasch veya IRT yararlı yöntemlerdir; ancak yalnız bilgi testi geliştirme çalışmalarında kullanılıyor olmaları, her teste eklenmeleri için yeterli gerekçe değildir. Önce araştırma sorusu, puanlama modeli ve veri yapısı bu analizleri gerektirmelidir.
Bu yaklaşım, geçerlik çalışmalarında kolay erişilen bütün analizleri yapmak yerine amaçlanan yorumun dayandığı önemli varsayımların sınanmasını öneren Kane ve Cook-Hatala çerçeveleriyle uyumludur (Kane, 2013; Cook & Hatala, 2016).
Ölçüm hatası ile kesme puanı aynı konu değildir
Standard Error of Measurement, gözlenen test puanının taşıdığı ölçüm belirsizliği hakkında bilgi verir. Kesme puanı ise minimum yeterliğin hangi noktada başladığını belirler.
Bu iki kavram birbirini tamamlayabilir fakat aynı değildir. SEM’in otomatik olarak Angoff kesme puanından çıkarılması veya kesme puanına eklenmesi genel bir kural olarak görülmemelidir. Tavakol ve O’Brien, ölçüm hatası ve standard setting konularını sağlık eğitimi sınavları bağlamında ele almaktadır (Tavakol & O’Brien, 2022). Bir çalışmada uygulanacak karar kuralı, puanın kullanım amacı için ayrıca gerekçelendirilmelidir (AERA et al., 2014).
Kaynakça
American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for Educational and Psychological Testing.
Cook, D. A., & Hatala, R. (2016). Validation of educational assessments: a primer for simulation and beyond. Advances in simulation (London, England), 1, 31. https://doi.org/10.1186/s41077-016-0033-y
Gottlieb, M., Bailitz, J., Fix, M., Shappell, E., & Wagner, M. J. (2023). Educator's blueprint: A how-to guide for developing high-quality multiple-choice questions. AEM education and training, 7(1), e10836. https://doi.org/10.1002/aet2.10836
Kane, M.T. (2013), Validating the Interpretations and Uses of Test Scores. Journal of Educational Measurement, 50: 1-73.
Kuder, G.F., Richardson, M.W. (1937). The theory of the estimation of test reliability. Psychometrika 2, 151–160 . https://doi.org/10.1007/BF02288391
Tavakol, M., & O'Brien, D. (2022). Psychometrics for physicians: everything a clinician needs to know about assessments in medical education. International journal of medical education, 13, 100–106. https://doi.org/10.5116/ijme.625f.bfb1