İçerik geçerliği: Uzman görüşünden madde kararına
Bu yazıda
CVR, I-CVI ve düzeltilmiş kappa hangi sorulara cevap verir? Uzman görüşlerini ve hedef kullanıcı değerlendirmesini birlikte ele alın.
İçerik geçerliği yalnız CVI hesaplamak değildir
İçerik geçerliğinin yalnız uzmanlara bir form gönderip CVI hesaplamak şeklinde ele alınması önemli bilgilerin kaybolmasına yol açabilir.
COSMIN perspektifinde içerik geçerliği; içeriğin ölçülmek istenen yapıyla ve hedef grupla ilgililiği (relevance), önemli bir alanı dışarıda bırakmadan kapsamı temsil etmesi (comprehensiveness) ve hedef kullanıcı tarafından amaçlandığı biçimde anlaşılması (comprehensibility) üzerinden ele alınmaktadır. Bu üçlü COSMIN’in özgün PROM metodolojisinde sistematik hale getirilmiş (Terwee et al., 2018), daha yakın tarihli Mokkink ve arkadaşlarının çalışmasında daha geniş ölçme aracı bağlamında açıklanmıştır (Mokkink et al., 2025).
Mevcut maddelerin tümünün uzmanlar tarafından “ilgili” bulunması, testte önemli bir alanın eksik olmadığı anlamına gelmez. Bu nedenle uzmanlara “Bu madde ilgili mi?” sorusunun yanında “Bu testte eksik kalan önemli bir içerik alanı var mı?” sorusu da yöneltilmelidir. Kapsamlılık açısından blueprint ve açık uçlu eksik alan değerlendirmesi, tek tek maddelerin I-CVI değerlerinden farklı bilgi sağlar.
Terwee ve arkadaşlarının 2018 tarihli metodolojisi hasta tarafından bildirilen sonuç ölçümleri (PROM) için geliştirilmiştir. Buradaki ilgililik, kapsamlılık ve anlaşılabilirlik ayrımı bilgi testini planlarken yol gösterici olabilir; PROM değerlendirme kurallarının tamamının objektif bilgi testlerine doğrudan uygulanması anlamına gelmez (Terwee et al., 2018).
CVR ile I-CVI aynı şeyi ölçmez
Uzman değerlendirmelerinde kullanılan katsayıların da hangi soruya cevap verdiği önemlidir. Lawshe’nin Content Validity Ratio, yani CVR, esas olarak bir maddenin gerekli veya “essential” olup olmadığına ilişkin uzman yargısını nicelleştirmek için geliştirilmiştir (Lawshe, 1975).
I-CVI ise genellikle uzmanların bir maddenin ilgililiği konusundaki uzlaşmasını gösterir. Lynn’in çalışması içerik geçerliğinin nicelleştirilmesine ilişkin temel kaynaklardan biridir (Lynn, 1986). Bir madde konu açısından ilgili olsa da testte bulunması zorunlu görülmeyebilir. Bu durumda yüksek I-CVI ile daha düşük CVR arasında yöntemsel bir çelişki bulunmaz; katsayılar farklı sorulara cevap vermektedir.
CVR için kritik değerler kullanılacaksa, Lawshe’nin özgün çalışmasının yanında Ayre ve Scally’nin exact-binomial hesaplamalara dayalı yeniden değerlendirmesi de dikkate alınabilir (Ayre & Scally, 2014). Yazarlar, Lawshe’nin yayımlanan özgün kritik değerlerinin nasıl hesaplandığının açıklanmadığını belirtmiş ve exact binomial olasılıkları üzerinden yeniden tablolar oluşturmuştur.
Modified kappa neden I-CVI’nin yanında kullanılabilir?
I-CVI uzmanların madde ilgililiğindeki uzlaşmasını gösterir; ancak gözlenen bu uzlaşmanın bir bölümünün tesadüfen ortaya çıkma olasılığını ayrıca düzeltmez. Polit, Beck ve Owen, CVI’yi değerlendirirken modified kappa yaklaşımını kullanarak tesadüfi uzlaşma olasılığının hesaba katılmasını önermiştir (Polit et al., 2007).
Güncel bir karşılaştırmalı uygulamada I-CVI ile modified kappa sonuçlarının birbirine oldukça yakın olduğu, kappa değerlerinin tesadüfi uzlaşma düzeltmesi nedeniyle bir miktar daha düşük olabildiği görülmüştür (Hurtado-Arenas et al., 2025). Bu nedenle modified kappa’yı I-CVI’den tamamen farklı bir içerik geçerliği yöntemi olarak değil, uzman ilgililik değerlendirmesini tamamlayan bir gösterge olarak düşünmek daha uygun olabilir.
Nicel eşik altında kalan madde hemen silinmeli mi?
Bir içerik geçerliği katsayısı, madde hakkında önemli bir uyarı verebilir; fakat neden düşük olduğunu açıklamaz. Sonuç, maddenin gerçekten gereksiz olmasından, ifadesinin belirsizliğinden, hedef grubun düzeyine uygun olmamasından, başka bir maddeyi tekrarlamasından veya uzmanlar arasındaki bilimsel görüş ayrılığından kaynaklanabilir.
Hurtado-Arenas ve arkadaşlarının karşılaştırmalı uygulamasında da eşik altında kalan maddeler yalnız katsayı nedeniyle otomatik olarak çıkarılmamıştır (Hurtado-Arenas et al., 2025). Nicel sonuç; uzman yorumları, bilimsel doğruluk, blueprint ve revizyon olasılığıyla birlikte değerlendirilmelidir.
Uzman “açık” dediğinde madde gerçekten anlaşılır olmuş olur mu?
Alan uzmanı yıllardır kullandığı bir terimi tamamen açık bulabilir. Hedef kullanıcı ise aynı sözcüğü başka anlamda yorumlayabilir. Bu nedenle uzmanların “açıklık” değerlendirmesi ile hedef kullanıcıda yapılan comprehensibility/yanıt süreci değerlendirmesi birbirinden ayrılmalıdır.
Yeni bir ölçme aracında hedef kullanıcılarla görüşme, think-aloud ve benzeri bilişsel değerlendirmeler yapılması önerilmektedir (Mokkink et al., 2025; Gottlieb et al., 2023).
Örneğin katılımcıya yalnız “Soruyu anladınız mı?” demek yerine “Bu sorunun sizden ne istediğini kendi cümlelerinizle anlatır mısınız?” ve “Bu cevaba nasıl ulaştınız?” soruları yöneltilebilir. Bu sorular, katılımcının doğru yanıtı bilip bilmediğinden çok, maddeyi nasıl yorumladığını ve sorunun amaçlandığı biçimde işleyip işlemediğini anlamaya yardımcı olabilir.
Nitel bilişsel değerlendirmede örneklem büyüklüğünü nicel power analiziyle belirlemek de uygun değildir. Mokkink ve arkadaşları sabit bir örneklem büyüklüğü kuralı olmadığını, gerekli katılımcı sayısının içerik karmaşıklığına, görüş çeşitliliğine ve yeni değerlendirmelerin yeni anlamlı bilgi üretip üretmediğine bağlı olduğunu belirtmektedir (Mokkink et al., 2025).
Kaynakça
Ayre, C., & Scally, A. J. (2014). Critical Values for Lawshe’s Content Validity Ratio: Revisiting the Original Methods of Calculation. Measurement and Evaluation in Counseling and Development, 47(1), 79–86. https://doi.org/10.1177/0748175613513808
Gottlieb, M., Bailitz, J., Fix, M., Shappell, E., & Wagner, M. J. (2023). Educator's blueprint: A how-to guide for developing high-quality multiple-choice questions. AEM education and training, 7(1), e10836. https://doi.org/10.1002/aet2.10836
Hurtado-Arenas, P., Guevara, M. R., & González-Chordá, V. M. (2025). Comparison of content validity indices for clinical nursing research: A practical case. Enfermeria clinica, 35(3), 502214. https://doi.org/10.1016/j.enfcle.2025.502214
LAWSHE, C.H. (1975), A QUANTITATIVE APPROACH TO CONTENT VALIDITY1. Personnel Psychology, 28: 563-575. https://doi.org/10.1111/j.1744-6570.1975.tb01393.x
Lynn M. R. (1986). Determination and quantification of content validity. Nursing research, 35(6), 382–385.
Mokkink, L. B., Herbelet, S., Tuinman, P. R., & Terwee, C. B. (2025). Content validity: judging the relevance, comprehensiveness, and comprehensibility of an outcome measurement instrument - a COSMIN perspective. Journal of clinical epidemiology, 185, 111879. https://doi.org/10.1016/j.jclinepi.2025.111879
Polit, D. F., Beck, C. T., & Owen, S. V. (2007). Is the CVI an acceptable indicator of content validity? Appraisal and recommendations. Research in nursing & health, 30(4), 459–467. https://doi.org/10.1002/nur.20199
Terwee, C. B., Prinsen, C. A. C., Chiarotto, A., Westerman, M. J., Patrick, D. L., Alonso, J., Bouter, L. M., de Vet, H. C. W., & Mokkink, L. B. (2018). COSMIN methodology for evaluating the content validity of patient-reported outcome measures: a Delphi study. Quality of life research : an international journal of quality of life aspects of treatment, care and rehabilitation, 27(5), 1159–1170. https://doi.org/10.1007/s11136-018-1829-0