Bilgi testi nasıl geliştirilir?
Bu yazıda
Bir bilgi testi geliştirmek, belirli bir konuda birkaç soru hazırlayıp toplam doğru sayısını hesaplamaktan ibaret değildir. Test puanının neyi temsil edeceği, hangi içeriklerin kapsanacağı, maddelerin nasıl yazılacağı, hedef grubun soruları nasıl anladığı ve uygulama sonrasında maddelerin nasıl çalıştığı ayrı ayrı değerlendirilmelidir.
Bu ayrım özellikle objektif bilgi testlerinde önemlidir. Doğru-yanlış veya tek doğru yanıtlı çoktan seçmeli bir test ile tutum, algı ya da öz-yeterlik ölçeği aynı ölçme aracı değildir. Bu nedenle Likert ölçeklerinde sık kullanılan her psikometrik işlemi bir bilgi testine otomatik olarak taşımak doğru değildir. Analiz planı önce ölçülen yapı ve puanın kullanım amacı üzerinden kurulmalıdır.
Çağdaş geçerlik yaklaşımında da başlangıç noktası budur. Geçerlik artık yalnızca “test geçerli midir?” sorusuna verilen tek bir cevap olarak ele alınmaz. Asıl soru, elde edilen puandan yapılmak istenen yorumun ve bu puanın kullanım biçiminin mevcut kanıtlarla ne ölçüde desteklendiğidir (Messick, 1989; Kane, 2013; AERA, APA, & NCME, 2014; Cook & Hatala, 2016). Kane özellikle testin kendisinin değil, test puanlarından yapılan yorum ve kullanımların doğrulandığını vurgular. Cook ve Hatala ise bu yaklaşımı uygulamaya dönüştüren sekiz aşamalı bir doğrulama süreci önermektedir.
Önce test puanının ne anlama geleceğini belirleyin
Bir test geliştirilmeden önce, kaç soru hazırlanacağından önce testten alınan yüksek puanın neyi göstereceği belirlenmelidir.
Örneğin bir farmakoloji bilgi testinden alınan yüksek puan, testte temsil edilen farmakoloji bilgisinin daha yüksek olduğunu gösterebilir. Ancak bundan doğrudan “bu kişi klinik uygulamada daha güvenlidir” veya “ilaç tedavisini daha iyi yönetir” sonucu çıkmaz. Bilgi testindeki performanstan gerçek yaşam performansına geçmek daha ileri bir yorumdur ve ayrıca desteklenmesi gerekir (Kane, 2013; Cook & Hatala, 2016).
Aynı ayrım testin kullanımında da geçerlidir. Bir araştırmada grubun ortalama bilgi düzeyini belirlemek için kullanılan test ile bireyleri “yeterli/yetersiz” olarak sınıflandıran sınavın gerektirdiği kanıt aynı değildir. İkinci durumda yanlış sınıflandırmanın sonuçları da önem kazanır.
Bu nedenle test geliştirme süreci, istatistiksel analiz seçmekten önce ölçülecek yapının, puan yorumunun, kullanım amacının ve bunları desteklemek için gereken kanıtların tanımlanmasıyla başlamalıdır.
Test blueprint’i neden madde yazımından önce hazırlanmalı?
İyi yazılmış maddelerden oluşan bir test yine de içerik açısından yetersiz olabilir. Bunun nedeni, bazı konu alanlarının aşırı temsil edilmesi, bazı önemli alanların ise hiç sorulmamasıdır. Test blueprint’i bu sorunu madde yazılmadan önce görünür hale getirir. Hangi içerik alanının, hangi öğrenme hedefinin ve gerekiyorsa hangi bilişsel düzeyin kaç maddeyle temsil edileceğini gösterir.
Gottlieb ve arkadaşları, tek doğru yanıtlı çoktan seçmeli testlerde hedef grubun, kullanım amacının ve öğrenme hedeflerinin önce belirlenmesini ve bunların bir test blueprint’i üzerinde yapılandırılmasını önermektedir (Gottlieb et al., 2023).
Örneğin 40 maddelik bir enfeksiyon kontrolü bilgi testinin 25 maddesi el hijyeni üzerine kurulmuş, sterilizasyon ve kişisel koruyucu ekipman kullanımı yalnız birkaç maddede temsil edilmişse, tek tek bütün maddelerin bilimsel olarak doğru olması test kapsamının dengeli olduğu anlamına gelmez. Blueprint bu nedenle yalnız soru dağılımını gösteren idari bir tablo değil, test puanının hangi içerik alanlarını temsil edeceğinin önceden tanımlanmasıdır.
İhtiyacınız olan aşamayı inceleyin
İçerik geçerliği: Uzman görüşünden madde kararına
CVR, I-CVI ve düzeltilmiş kappa hangi sorulara cevap verir? Uzman görüşlerini ve hedef kullanıcı değerlendirmesini birlikte ele alın.
Yazıyı okuyun →Çoktan seçmeli soru ve çeldirici hazırlama
Soru kökü, seçenek sayısı, çeldiriciler ve “Bilmiyorum” yanıtı hakkında araştırmaya dayalı açıklamalar.
Yazıyı okuyun →Bilgi testinde madde analizi ve güvenirlik
Madde güçlüğü, ayırt edicilik, KR-20 ve ölçüm hatasının neyi anlattığını; analiz kararlarının nasıl verildiğini inceleyin.
Yazıyı okuyun →Bilgi testinde kesme puanı nasıl belirlenir?
Yeterlik sınıflaması ne zaman gerekir? Angoff yaklaşımını, reality check uygulamasını ve yorum sınırlarını değerlendirin.
Yazıyı okuyun →Bilgi testi geliştirme ne zaman tamamlanır?
Tek bir pilot veya ana uygulamayla testin sonsuza kadar değişmeyecek bir forma ulaştığını varsaymak doğru değildir. Yeni bilimsel bilgiler ortaya çıkabilir. Bir çeldirici zamanla anlamsızlaşabilir. Belirli bir madde yeni gruplarda beklenmedik biçimde çalışabilir. Eğitim programı değişebilir. Bu nedenle bilgi testi geliştirme, tek bir “geçerlik çalışması” yerine kanıtların zaman içinde biriktiği bir süreç olarak düşünülebilir (Kane, 2013; Cook & Hatala, 2016).
Pratik bir geliştirme akışı şu şekilde düşünülebilir:
- Ölçülecek bilgi yapısını ve puanın kullanımını tanımlayın; ardından içerik alanlarını ve blueprint’i oluşturun.
- Maddeleri bilimsel kaynaklara ve uygun MCQ yazım ilkelerine göre geliştirin.
- Uzmanlarla gereklilik, ilgililik, kapsam ve bilimsel doğruluğu değerlendirin; CVR ve I-CVI gibi katsayıları sordukları soruya uygun biçimde kullanın.
- Hedef kullanıcılarla bilişsel değerlendirme yapın; maddelerin gerçekten amaçlandığı biçimde anlaşılmasını inceleyin.
- Ana uygulamada güvenirlik, madde güçlüğü, ayırt edicilik ve gerekiyorsa çeldirici işlevselliğini değerlendirin.
- Yeterlik kararı verilecekse ayrıca standard setting yapın; test eğitim amacıyla kullanılacaksa değerlendirme sonrasında açıklayıcı geri bildirim hazırlayın.
- Elde edilen bütün kanıtları başlangıçta tanımlanan puan yorumu ve kullanım amacıyla birlikte değerlendirin.
Bu sıra her araştırmada birebir aynı olmak zorunda değildir. Temel ilke, literatürde bulunan her analizi aynı teste eklemek değil, her yöntemin hangi soruya cevap verdiğini bilerek kullanmaktır.
Bir bilgi testinde “geçerlik” nasıl raporlanmalı?
“Test geçerli ve güvenilir bulundu” ifadesi, yapılan işlemleri çoğu zaman gereğinden fazla özetler. Raporlamada içeriğin nasıl oluşturulduğu, eksik alanların nasıl değerlendirildiği, uzmanların hangi özellikleri incelediği ve hedef kullanıcıların maddeleri nasıl anladığı açıklanmalıdır. Test puanlarının güvenirliği, maddelerin uygulamadaki davranışı ve varsa kesme puanının belirlenme süreci de belirtilmelidir. Son olarak hangi kullanım için yeterli kanıt bulunduğu, hangi kullanım için henüz bulunmadığı açıkça yazılmalıdır.
Cook ve Hatala’nın sekiz aşamalı yaklaşımı ile Kane’in argümana dayalı geçerlik yaklaşımının ortak mesajı burada ortaya çıkar: amaç bir teste “geçerli” etiketi yapıştırmak değil, belirli bir puan yorumunun ne kadar savunulabilir olduğunu göstermektir (Kane, 2013; Cook & Hatala, 2016).
Kaynakça
American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for Educational and Psychological Testing.
Cook, D. A., & Hatala, R. (2016). Validation of educational assessments: a primer for simulation and beyond. Advances in simulation (London, England), 1, 31. https://doi.org/10.1186/s41077-016-0033-y
Gottlieb, M., Bailitz, J., Fix, M., Shappell, E., & Wagner, M. J. (2023). Educator's blueprint: A how-to guide for developing high-quality multiple-choice questions. AEM education and training, 7(1), e10836. https://doi.org/10.1002/aet2.10836
Kane, M.T. (2013), Validating the Interpretations and Uses of Test Scores. Journal of Educational Measurement, 50: 1-73.
Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational measurement (3rd ed., pp. 13–103). American Council on Education/Macmillan.
