Ölçme aracı geliştirme, ölçek uyarlama ve psikometrik analiz

1. Yeni ölçme aracı geliştirmeye ne zaman gerçekten ihtiyaç vardır?

Yeni bir ölçek veya başka bir ölçme aracı geliştirmeye başlamadan önce aynı yapıyı, hedef grubu ve amaçlanan puan kullanımını yeterli biçimde karşılayan mevcut bir aracın bulunup bulunmadığı incelenmelidir. Clark ve Watson, mevcut ölçümler varken yeni bir aracın ne ekleyeceğinin gerekçelendirilmesini ölçek geliştirme açısından temel bir sorun olarak ele alır. Stefana ve arkadaşlarının psikolojik, psikiyatrik ve davranışsal ölçekler için hazırladığı güncel rehberde de yeni ölçek gereksiniminin değerlendirilmesi ve mevcut ölçümlerin incelenmesi sürecin başlangıç aşamalarındadır (Clark & Watson, 2019; Stefana et al., 2025).

Bu incelemenin sonucu her zaman “yeni ölçek geliştirmek” olmak zorunda değildir. Mevcut araç hedef yapıyı ve kullanım amacını karşılıyorsa doğrudan kullanım; dil, kültür veya hedef popülasyon değişiyorsa uyarlama; mevcut aracın kapsamı veya puan yorumu araştırma sorusunu karşılamıyorsa yeni geliştirme gündeme gelebilir. Stefana ve arkadaşlarının beş faz ve 18 adımdan oluşan çerçevesi kendi çalışma alanı için bir yol haritasıdır; bütün ölçme araçları için değişmez bir zorunluluk listesi olarak kullanılmaz (Stefana et al., 2025).

2. Yapı veya domain nasıl tanımlanmalıdır?

Ölçülecek şey latent bir özellikse önce yapının kavramsal sınırları açıklanmalıdır: hangi özellik ölçülüyor, hangi yakın yapılardan ayrılıyor, olası alt boyutlar neyi temsil ediyor ve toplam ya da alt ölçek puanlarından hangi yorumların yapılması amaçlanıyor? Clark ve Watson, açık construct tanımını ve yapının nomolojik bağlamının düşünülmesini ölçek geliştirme sürecinin temel parçaları arasında değerlendirir (Clark & Watson, 2019).

Bir bilgi testinde ise “domain” çoğu zaman içerik alanı ve öğrenme hedefleriyle ilişkilidir. Gottlieb ve arkadaşları tek doğru yanıtlı çoktan seçmeli değerlendirmelerde kullanım amacı, hedef grup ve öğrenme hedeflerinin önceden tanımlanmasını ve bunların test blueprint'i üzerinde yapılandırılmasını önerir (Gottlieb et al., 2023). Dolayısıyla latent özellik ölçeğindeki construct tanımı ile bilgi testindeki içerik domain'i aynı kavram değildir; her ikisi de puanın neyi temsil edeceğini belirler, fakat bunu farklı ölçme mantıklarıyla yapar.

Ayrıca çok maddeli her araç aynı türden bir ölçek değildir. Stefana ve arkadaşları latent bir özelliğin göstergelerinden oluşan ölçeklerle farklı bileşenlerin toplamından oluşan indekslerin aynı ölçüm varsayımlarını taşımadığını vurgular. Bu nedenle araç yapısı açıklanmadan iç tutarlılık veya faktör analizi gibi yöntemlerin otomatik seçilmesi uygun değildir (Stefana et al., 2025).

3. Madde havuzu nasıl oluşturulur ve hedef grup neden dahil edilir?

İlk madde havuzunun amacı olabildiğince yüksek bir iç tutarlılık katsayısı elde etmek değil, tanımlanan yapının veya içerik alanının önemli yönlerini yeterince temsil eden aday maddeler oluşturmaktır. Clark ve Watson başlangıç madde havuzunun hedef yapıyı geniş biçimde kapsamasını, maddelerin açık ve tek anlamlı yazılmasını ve yakın fakat farklı yapılardan ayrımın geliştirme sürecinde dikkate alınmasını önerir. Boateng ve arkadaşları da madde üretimini literatür, mevcut araçlar ve hedef yapıya ilişkin nitel bilgiyle ilişkilendirir (Boateng et al., 2018; Clark & Watson, 2019).

Hedef grubun sürece dahil edilmesi, yalnız uzmanların bilimsel veya teorik değerlendirmesini tekrarlamak için değildir. Hedef kullanıcılar araştırmacının doğru olduğunu düşündüğü bir ifadeyi farklı yorumlayabilir, bazı sözcükleri beklenmedik anlamda kullanabilir veya yanıt seçeneklerini amaçlanandan farklı eşleyebilir. Stefana ve arkadaşlarının güncel rehberi madde geliştirmede literatür, uzman geri bildirimi ve hedef popülasyon değerlendirmesini farklı bilgi kaynakları olarak ele alır; Artino ve arkadaşları da anket ve ölçek geliştirmede hedef popülasyonla yapılan incelemenin soru işleyişini değerlendirmedeki rolünü açıklar (Artino et al., 2014; Stefana et al., 2025).

Madde sayısı bu aşamada tek başına bir kalite ölçütü değildir. Başlangıç havuzunun genişliği, içerik kapsamı ve sonraki eleme kararları aracın amacıyla birlikte gerekçelendirilmelidir; yalnız nihai madde sayısına ulaşmak için içerik alanı daraltılmaz.

4. Uzman değerlendirmesi hangi farklı soruları yanıtlar?

Uzman değerlendirmesi tek bir “geçerlik puanı” üretmek zorunda değildir. Bir maddenin gerekli olup olmadığı, ölçülmek istenen alanla ilgili olup olmadığı, bilimsel olarak doğru olup olmadığı, ifadesinin açık olup olmadığı ve hedef kitleye uygunluğu farklı sorulardır. Bu sorular aynı yanıt ölçeğiyle toplanmak zorunda olmadığı gibi aynı katsayıyla da özetlenmemelidir.

Lawshe'nin Content Validity Ratio (CVR) yaklaşımı uzmanların bir maddenin gerekliliğine ilişkin yargılarını nicelleştirmek için geliştirilmiştir. Ayre ve Scally, Lawshe'nin kritik değerlerinin hesaplanmasını yeniden inceleyerek exact-binomial olasılıklara dayalı kritik değerler sunmuştur (Ayre & Scally, 2014; Lawshe, 1975). CVI literatüründe ise özellikle madde ilgililiği derecelendirmelerinden üretilen I-CVI ve ölçek düzeyi göstergeler ile tesadüfi uyum sorunu tartışılır (Polit et al., 2007). Bu nedenle CVR ve I-CVI aynı uzman sorusunun iki eşdeğer alternatifi değildir.

COSMIN'in güncel içerik geçerliği perspektifi outcome measurement instruments için relevance, comprehensiveness ve comprehensibility kavramlarını birbirinden ayırır ve içerik geçerliğinin araç geliştirme ve araç seçimi açısından temel önemini vurgular (Mokkink et al., 2025). Bu çerçeve özellikle outcome measurement instrument/PROM metodolojisinden gelir; objektif bilgi testlerine veya bütün psikometrik araçlara doğrudan evrensel bir kural olarak aktarılmaz. Bilimsel doğruluk gibi araca özgü başka uzman soruları gerektiğinde ayrıca değerlendirilir.

5. Bilişsel görüşme ve pretest neyi yakalar?

Uzmanların açık ve doğru bulduğu bir madde, hedef kullanıcı tarafından geliştiricinin amaçladığı biçimde anlaşılmayabilir. Bilişsel görüşme ve benzeri pretest yöntemleri, katılımcının soruyu nasıl yorumladığını, yanıt üretirken hangi bilgiyi kullandığını, terimlerin beklenen anlamı taşıyıp taşımadığını ve yanıt seçeneklerinin amaçlanan biçimde çalışıp çalışmadığını incelemeye yardımcı olur. Artino ve arkadaşları bilişsel görüşmeleri soru geliştirme ve değerlendirme sürecinde hedef kullanıcıların düşünme ve yanıt süreçlerini anlamaya yönelik bir yöntem olarak ele alır; Boateng ve arkadaşları da pretest aşamasında hedef grubun maddeleri nasıl anladığının değerlendirilmesini vurgular (Artino et al., 2014; Boateng et al., 2018).

Bu aşama uzman değerlendirmesinin yerine geçmez. Uzman “madde alanı doğru temsil ediyor mu?” sorusuna katkı sağlayabilirken hedef kullanıcı “ben bu cümleyi nasıl anlıyorum?” sorusuna doğrudan kanıt sağlar. Bu iki bilgi kaynağı gerektiğinde birbirini tamamlar.

6. Pilot çalışma ile ana psikometrik çalışma arasındaki fark nedir?

“Pilot” sözcüğü literatürde farklı amaçlarla kullanılabildiği için Arkhe'de tek başına bu etikete metodolojik anlam yüklenmez; pilotta neyin sınandığı açıkça tanımlanır. Uygulama akışı, süre, veri toplama prosedürü, soru anlaşılırlığı veya teknik sorunlar pilot/pretest düzeyinde incelenebilirken; boyut yapısı, madde performansı, güvenirlik ve diğer psikometrik özelliklerin değerlendirilmesi farklı veri ve örneklem gereksinimleri doğurabilir.

Boateng ve arkadaşlarının çerçevesinde pretesting, survey administration, item reduction, dimensionality, reliability ve validity birbirinden ayrılmış aşamalardır. Stefana ve arkadaşları da hedef popülasyon değerlendirmesi, pilot çalışma ve sonraki psikometrik değerlendirmeleri ayrı karar noktaları olarak yapılandırır (Boateng et al., 2018; Stefana et al., 2025). Bu nedenle birkaç katılımcıyla yapılan bilişsel görüşme veya uygulama pilotu, faktör yapısını ya da puan güvenirliğini değerlendirecek ana psikometrik örneklemin yerine geçmez.

Örneklem gerekçesi de aşamanın amacına bağlı olarak ayrı kurulmalıdır. Pilotun amacı yalnız prosedürü sınamaksa burada kullanılan kişi sayısını ana psikometrik çalışmanın örneklem hesabı gibi yorumlamak doğru değildir.

7. AFA ve DFA ne zaman, hangi soruya cevap verir?

Faktör analizi çok maddeli her ölçme aracına otomatik olarak eklenen bir işlem değildir. Öncelikle aracın latent bir yapı varsayımı taşıması ve araştırma sorusunun boyut yapısını değerlendirmeyi gerektirmesi gerekir. Yapının ampirik boyutları yeterince belirlenmemişse Açımlayıcı Faktör Analizi (AFA), olası faktör yapısını araştırmak için kullanılabilir. Goretzko, Pham ve Bühner; AFA sonucunun extraction yöntemi, rotation, faktör sayısının belirlenmesi ve veri özellikleri gibi analitik kararlardan etkilendiğini gösteren metodolojik literatürü değerlendirir (Goretzko et al., 2021).

Doğrulayıcı Faktör Analizi (DFA) ise önceden tanımlanmış bir ölçüm modelinin gözlenen veride ne ölçüde desteklendiğini değerlendirmek için kullanılabilir. Bu nedenle “ölçek çalışmasıysa önce AFA, sonra aynı veride mutlaka DFA” şeklinde değişmez bir sıra yoktur. Teorik modelin önceden ne ölçüde tanımlı olduğu, aracın yeni veya mevcut olması, önceki kanıtlar, verinin yapısı ve doğrulamanın hangi örneklemde yapılacağı birlikte değerlendirilir (Clark & Watson, 2019; Stefana et al., 2025).

AFA veya DFA sonucunun tek başına aracın bütün geçerlik sorularını yanıtlamadığı da ayrıca belirtilmelidir. Boyut yapısına ilişkin kanıt, geçerlik argümanının yalnız ilgili bölümünü destekler.

8. Faktör analizi için örneklem nasıl gerekçelendirilir?

Faktör analizi örneklemini yalnız “madde sayısının 5 veya 10 katı” gibi sabit oranlarla belirlemek, veri ve model özelliklerinin etkisini göz ardı edebilir. MacCallum ve arkadaşları gerekli örneklem büyüklüğünün çalışmalar arasında sabit olmadığını; özellikle communalities ve faktörlerin ne ölçüde iyi tanımlandığı gibi özelliklerin faktörlerin örneklemden geri kazanılmasını etkilediğini göstermiştir (MacCallum et al., 1999).

DFA/SEM bağlamında Wolf ve arkadaşları Monte Carlo simülasyonlarında gösterge ve faktör sayısını, faktör yüklerini, yapısal yol büyüklüklerini ve eksik veri miktarını sistematik olarak değiştirmiştir. İnceledikleri modellerde yeterli performans için gereken örneklem 30 ile 460 arasında değişmiştir. Bu aralık bir “yeni eşik” değildir; model özelliklerinin örneklem gereksinimini önemli ölçüde değiştirebildiğini gösterir (Wolf et al., 2013).

Bu nedenle örneklem gerekçesinde hangi faktör analizi/modelin planlandığı, veri tipi, tahmin yöntemi, beklenen yükler ve communalities hakkında mevcut bilgi, faktörlerin kaç maddeyle temsil edildiği, eksik veri ve model karmaşıklığı gibi unsurlar değerlendirilir. Uygun olduğunda simülasyon veya model-temelli yaklaşımlar kullanılabilir; amaç önceden istenen bir kişi sayısını geriye dönük varsayımlarla doğrulamak değildir.

9. Güvenirlik hangi türlere ayrılır ve katsayı seçimi neye dayanır?

Güvenirlik tek bir katsayı veya yalnız iç tutarlılık anlamına gelmez. Araştırma sorusuna göre iç tutarlılık, zamana karşı kararlılık/test–retest, alternatif formlar veya değerlendiriciler arası tutarlılık gibi farklı özellikler gündeme gelebilir. Revelle ve Condon, tek uygulamadaki α ve model-temelli ω tahminlerinden test–retest, alternatif form, ICC ve κ ailesine kadar farklı güvenirlik yaklaşımlarının farklı veri ve ölçme durumlarına karşılık geldiğini gösterir (Revelle & Condon, 2019).

Bu nedenle “Cronbach alfa 0,70'in üzerindeyse araç güvenilirdir” gibi tek bir eşik bütün güvenirlik sorularını cevaplamaz. Omega da modelden bağımsız bir çözüm değildir. Bell, Chalmers ve Flora'nın simülasyon çalışması, omega tahmininin dayandığı ölçüm modelinin yanlış tanımlanmasının composite reliability tahminlerinde yanlılığa yol açabileceğini göstermiştir (Bell et al., 2024). Katsayı seçimi puanın yapısı, veri tipi, ölçüm modeli ve değerlendirilmek istenen güvenirlik türüyle birlikte gerekçelendirilir.

Reliability ile measurement error da aynı kavram değildir. COSMIN'in güncel açıklaması, reliability'yi ölçümün bireyler arasındaki farklılıkları ayırt edebilme kapasitesiyle; measurement error'ı ise stabil bireylerdeki tekrarlı ölçümlerde ortaya çıkan sistematik ve rastlantısal hatayla ilişkilendirir (Mokkink & Eekhout, 2026). Bu kaynak sağlık/outcome measurement bağlamından geldiği için kavramsal ayrımı açıklamak amacıyla kullanılır; her araç için aynı katsayıların zorunlu olduğu anlamına gelmez.

10. Uyarlamada dilsel/kültürel eşdeğerlik ile psikometrik eşdeğerlik nasıl ayrılır?

Başka bir dilde geliştirilmiş aracın sözcüklerini çevirmek, hedef dil ve kültürde aynı kavramsal içeriği taşıdığını veya aynı psikometrik biçimde çalıştığını tek başına göstermez. Cruchinho ve arkadaşları sağlık bilimlerinde 42 çeviri, kültürlerarası uyarlama ve validasyon rehberini inceleyerek ileri çeviri, çevirilerin sentezi, geri çeviri, harmonizasyon, pretest, saha uygulaması ve psikometrik değerlendirme gibi aşamaları birbirinden ayıran sekiz basamaklı pratik bir çerçeve önermiştir. Bu sekiz basamak yazarların rehber sentezidir; her araç için değişmez zorunlu protokol olarak yorumlanmaz (Cruchinho et al., 2024).

Dilsel ve kültürel uyarlama, ifadenin hedef kültürde anlamlı ve uygun hale getirilmesiyle ilgilidir. Psikometrik eşdeğerlik ise yeni grupta puan yapısının ve ölçüm özelliklerinin yeterli biçimde desteklenip desteklenmediğiyle ilgilidir. Gruplar veya zaman noktaları arasında puanların doğrudan karşılaştırılması hedefleniyorsa measurement invariance ayrı bir soru haline gelir. Putnick ve Bornstein measurement invariance'ı yapının gruplar veya zaman boyunca psikometrik eşdeğerliğinin değerlendirilmesi bağlamında ele alır (Putnick & Bornstein, 2016).

Bu nedenle “çeviri tamamlandı” ile “uyarlama tamamlandı” ve “gruplar arasında karşılaştırılabilirlik gösterildi” aynı sonuç değildir. Hangi kanıtın gerekli olduğu aracın türü ve planlanan kullanım üzerinden belirlenir.

11. Bilgi testi neden ayrı bir metodolojik yol gerektirir?

Objektif bilgi testi ile tutum, algı veya öz-yeterlik gibi latent özellikleri ölçen Likert tipi ölçek aynı ölçüm mantığını taşımak zorunda değildir. Bilgi testinde önce ölçülecek içerik domain'i, kullanım amacı ve öğrenme hedefleri tanımlanabilir; test blueprint'i bu içeriklerin ve bilişsel hedeflerin maddelerde nasıl temsil edileceğini planlamak için kullanılabilir. Gottlieb ve arkadaşları tek doğru yanıtlı çoktan seçmeli testlerde hedef grup, kullanım amacı ve öğrenme hedeflerinin madde yazımından önce belirlenmesini önerir (Gottlieb et al., 2023).

Cook ve Hatala eğitimsel değerlendirmelerde doğrulamayı, puanlardan yapılacak yorum ve kullanım için kanıt toplama süreci olarak ele alır. Bu nedenle bilgi testinde içerik kapsamı, yanıt süreçleri, madde güçlüğü ve ayırt edicilik, çeldirici işlevi, puan güvenirliği ve gerekiyorsa karar doğruluğu gibi sorular ayrı ayrı değerlendirilebilir (Cook & Hatala, 2016). Latent ölçeklerde kullanılan her faktör analizi veya güvenirlik yaklaşımı bilgi testine yalnız “psikometrik analiz” başlığı altında otomatik olarak taşınmaz.

Bilgi testi için hangi kanıtların gerekli olduğu, testin yalnız araştırmada grup düzeyinde bilgi puanı üretmesiyle birey düzeyinde yüksek sonuçlu karar vermesi arasında da değişir. Bu ayrım bir sonraki kesme puanı kararını doğrudan etkiler.

12. Kesme puanı neden yalnız gerektiğinde ayrıca ele alınır?

Her test puanının “başarılı/başarısız”, “yeterli/yetersiz” veya benzeri bir sınıfa dönüştürülmesi gerekmez. Bir araştırmanın amacı grubun bilgi düzeyini betimlemek, iki grubun puanlarını karşılaştırmak veya bir müdahale sonrasında puan değişimini incelemekse sürekli puanın kendisi araştırma sorusunu karşılayabilir. Kesme puanı ise puanın bireyleri kategorilere ayırmak için kullanılacağı durumlarda ayrıca gerekçelendirilmesi gereken bir karar kuralıdır (AERA, APA, & NCME, 2014).

Angoff'un klasik çalışması standard setting literatürünün temel kaynaklarından biridir ve minimum kabul edilebilir performansın uzman yargısıyla ilişkilendirildiği yaklaşımın tarihsel temelini oluşturur (Angoff, 1971). Ancak “Angoff yöntemi” tek biçimli bir uygulama değildir. Sridharan ve Sivaramakrishnan'ın 2025 sistematik derleme ve meta-analizi, sağlık profesyoneli eğitiminde kullanılan farklı Angoff varyantlarının kesme puanı, geçme oranı ve değerlendiriciler arası güvenirlik açısından farklı sonuçlar verebildiğini göstermektedir (Sridharan & Sivaramakrishnan, 2025).

Dolayısıyla yalnız bir toplam puan üretildiği için otomatik olarak cut-off belirlenmez. Önce sınıflandırma kararının gerçekten gerekli olup olmadığı, yanlış sınıflandırmanın sonuçları ve kullanılacak standard-setting yaklaşımının bağlama uygunluğu değerlendirilir.

İlgili Arkhe rehberleri

Kaynakça