Puanlayıcılar arası uyum düzeyinin örtük sınıf analizi yöntemi ve bilişsel tanı modelleri ile incelenmesi
Examining the interrater agreement via latent class analysis method and cognitive diagnostic models
- Tez No: 910568
- Danışmanlar: DOÇ. DR. MEDİHA KORKMAZ
- Tez Türü: Doktora
- Konular: Eğitim ve Öğretim, Psikoloji, Education and Training, Psychology
- Anahtar Kelimeler: Puanlayıcılar Arası Uyum, Örtük Sınıf Analizi, Örtük Geçiş Analizi, Bilişsel Tanı Modelleri, DINA Modeli, Alternatif ölçme ve değerlendirme teknikleri, Psikoloji, Psikolojik teori, Psikolojik ölçekler, Interrater Agreement, Latent Class Analysis, Latent Transition Analysis, Cognitive Diagnostic Models, DINA Model, Alternative assessment and evaluation tecniques, Psychology, Psychological theory, Psychological scales
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Ege Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Psikoloji Ana Bilim Dalı
- Bilim Dalı: Psikoloji Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışmada puanlayıcılar arası uyumda kullanılan modern diğer bir ifade ile örtük değişkene dayalı psikometrik yöntemlere yeni bir bakış açısının kazandırılması amaçlanmıştır. Ayrıca kullanılan bu yöntemlerin puanlanan ve puanlayıcı sayısı bakımından en uygun koşullarının tespit edilmesi hedeflenmiştir. Toplamda 1162 puanlayıcının dahil edildiği araştırmada puanlayıcılar arası uyumun tespit edilebilmesi amacıyla örneklem, araştırmanın ölçüm öznesi olan aynı bağlamları değerlendiren 581 kişilik 2 ayrı gruba bölünmüştür. Bu gruplardan ilkinin %48.88'i kadın (n = 284) ve %51.2'si (n = 297) erkek katılımcılardan oluşurken ikincisinin %51.64'ü (n = 300) kadınlardan ve %48.36'sı (n = 281) erkek katılımcılardan oluşmaktadır. Araştırmaya katılan uzmanların çoğunluğu (%49.83) Marmara Bölgesinde yaşarken, örneklemde en az yer alanların Güneydoğu Anadolu Bölgesinde yaşayan katılımcılar (%0.60) olduğu görülmüştür. Araştırma kapsamında ilk olarak bağlam ve soru değerlendirme ölçekleri geliştirilmiş ve hem bağlam ( a = 0.81) hem de soru ( a = 0.84) değerlendirme ölçeklerinin uygun psikometrik kriterleri sağladığı görülmüştür. Araştırmada hem bağlam hem de sorular 3 düzey (1 = düşük beceri, 2 = orta beceri, 3 = yüksek beceri) olarak değerlendirilmektedir. Bu değerlendirmeler ilgili ölçeklerin ortalama puanları üzerinden yapılmıştır. Daha sonra aynı bağlamları değerlendiren iki puanlayıcı grubunun da bağlamları eşit sayıda sınıfa atayıp atamadığını tespit etmek amacıyla örtük sınıf analizleri yürütülmüş ve her iki grup için de üç sınıflı model kabul edilmiştir. Bu aşamadan sonra puanlayıcı grupları ayrı zaman koşullarını temsil edecek şekilde örtük geçiş analizi yapıldığında homojen modelin kabul edildiği; diğer bir ifade ile puanlama örüntüleri arasında farklılaşma olmayıp puanlayıcılar arası uyumun sağlandığı tespit edilmiştir. Puanlayıcılar arası uyum sağlandıktan sonra madde tepki olasılıkları temelinde (.00-.33 arası“1”, 0.34-0.66 arası“2”, 0.67-1.00 arası“3”olarak kodlanan çoklu puanlı matris) Q matrisleri oluşturularak araştırmanın çoklu genelleştirilmiş tanısal model (pG- DINA) aşamasına geçilmiş ve uzmanların puanlama becerileri incelenmeye başlanmıştır. Araştırmaya dahil olan 1162 uzmanın bağlam değerlendirirken yalnızca %6'sı hiçbir beceriyi tespit edemezken tüm becerilerin en yüksek düzeyde olduğu koşulu tespit edebilen hiç kimse çıkmamıştır. En iyi sınıfta, örneklemin %25'i bağlamda yer alan ve üç düzeyden oluşan becerilerden transferi 3 düzeyinde, analitik çözümlemeyi 3 düzeyinde ve eleştirel düşünmeyi 2 düzeyinde tespit edebilmiştir. Soru değerlendirme aşamasına geçildiğinde ise ilk soruda hiçbir beceriyi tespit edemeyen uzman oranının %8 olduğu ve tüm becerileri yüksek düzeyde tespit edebilenlerin örneklimin %11'ini oluşturduğu görülmüştür. İkinci soruda hiçbir beceriyi tespit edemeyen uzman oranı yine %8 olurken tüm becerileri yüksek düzeyde tespit edebilen uzman oranı %19 olmuştur. Son olarak araştırmada kullanılan üç analiz için (puanlayıcılar arası uyum için örtük sınıf analizi ve örtük geçiş analizi; uzmanların yetenek sınıflarının belirlenmesi için pG-DINA modeli) uygun koşulların belirlenmesine yönelik simülasyon çalışmaları yapılmıştır. Hem örtük sınıf hem de örtük geçiş analizinde 3 puanlayıcılı durumun en uygun koşul olduğu görülürken 500, 581, 750 ve 1000 puanlanandan oluşan örneklemlerde 2 puanlayıcılı durumun da uygun olduğu tespit edilmiştir. Ancak 100 puanlanan olduğu koşulda 2 puanlayıcı yüksek entropi değeri üretmektedir. Ek olarak her iki analiz de 500 katılımcıda kararlı yapıya ulaşmaktadır. pG-DINA modellerinde ise puanlanan ve madde-kategori sayısı temelinde simülasyon çalışmaları yapılmıştır. Toplam katılımcı ve kategori sayısına göre parametreler incelendiğinde kaydırma parametresinin farklılaşmadığı ancak tahmin parametresinin 1000 katılımcıdan büyük örneklemlerde kararlı yapıya ulaştığı tespit edilmiştir. Son olarak örtük geçiş analizi ile klasik uyum yöntemlerinden kappa karşılaştırıldığında 9 koşulun 3'ünde farklılaşma olduğu; iki yöntem arasında tam uyum bulunmadığı saptanmıştır.
Özet (Çeviri)
This study aims to provide a new perspective on modern psychometric methods based on latent variables used in inter-rater agreement. It also seeks to determine the most appropriate conditions for these methods in terms of the number of raters and rated individuals. The study involved 1162 raters, divided into two groups of 581 participants each, who evaluated the same contexts that were the focus of the research. Among the first group, 48.88% were female (n = 284) and 51.2% were male (n = 297), while in the second group, 51.64% were female (n = 300) and 48.36% were male (n = 281). Most participants (49.83%) resided in the Marmara Region, while those from the Southeastern Anatolia Region (0.60%) represented the smallest portion of the sample. As part of the study, context and question evaluation scales were developed, both of which met appropriate psychometric criteria (context: a = .81; question: a = .84). The evaluations of contexts and questions were conducted on three levels (1 = low skill, 2 = medium skill, 3 = high skill), based on the mean scores from the respective scales. Subsequently, latent class analyses were performed to determine whether the two groups of raters assigned the contexts to the same number of classes. A three-class model was accepted for both groups. After that, latent transition analysis was conducted, treating the two rater groups as representing different time conditions. The results indicated that the time-homogeneous model was accepted, suggesting no differentiation in scoring patterns and consistent agreement between the raters. Once agreement between raters was established, Q- matrices were created based on item response probabilities (polytomous matrix:“1”for .00–.33,“2”for .34–.66,“3”for .67–1.00). This enabled the commencement of the polytomous Generalized Diagnostic Model (pG-DINA) phase, where raters' scoring abilities were analyzed. Among the 1162 raters, only 6% failed to detect any skills while evaluating the contexts, and none could identify all skills at the highest level. In the best- performing class, 25% of participants could detect transfer at level 3, analytical thinking at level 3, and critical thinking at level 2. In the question evaluation phase, 8% of raters failed to detect any skills in the first question, while 11% identified all skills at the highest level. For the second question, 8% again failed to detect any skills, whereas 19% identified all skills at the highest level. Finally, simulation studies were conducted to establish optimal conditions for the three analyses used in the study: latent class analysis and latent transition analysis (for inter-rater agreement) and the pG-DINA model (for classifying raters' abilities). Results indicated that a three-rater condition was most appropriate for both latent class and latent transition analyses. A two-rater condition also proved suitable for sample sizes of 500, 581, 750, and 1000 rated individuals; however, in samples of 100 rated individuals, a two-rater condition yielded higher entropy values. Stability in these analyses was observed with 500 participants. For the pG-DINA model, simulations based on the number of rated individuals and item categories revealed that while the shift parameter remained consistent, the estimation parameter stabilized in samples exceeding 1000 participants. Finally, a comparison of latent transition analysis with the classical agreement method (kappa) showed differences in 3 out of 9 conditions, indicating partial disagreement between the two methods.
Benzer Tezler
- Piyano eğitiminde rubrik ile geleneksel ölçme-değerlendirme yöntemlerinin karşılaştırılması: İnönü Üniversitesi örneği
Comparison of traditional measurement and evaluation methods with rubric in piano education: The example of Inönü University
TUFAN MİNEZ
Yüksek Lisans
Türkçe
2012
Eğitim ve Öğretimİnönü ÜniversitesiGüzel Sanatlar Eğitimi Ana Bilim Dalı
PROF. DR. TURAN SAĞER
- Zarar Verici Sosyal Davranışlar ölçeğinin puanlayıcılar arası güvenirliğinin klasik test kuramı ve genellenebilirlik kuramına göre karşılaştırılması
Comparison of Interesting Reliability of Damage Social Behavior scale according to classical testing theory and generalization theory
KÜBRA YILMAZ
Yüksek Lisans
Türkçe
2019
Eğitim ve ÖğretimBolu Abant İzzet Baysal ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. ZEKERİYA NARTGÜN
- ZARAR VERİCİ SOSYAL DAVRANIŞLAR ÖLÇEĞİNİN PUANLAYICILAR ARASI GÜVENİRLİĞİNİN KLASİK TEST KURAMI VE GENELLENEBİLİRLİK KURAMINA GÖRE KARŞILAŞTIRILMASI
COMPARISON OF INTERESTING RELIABILITY OF DAMAGE SOCIAL BEHAVIOR SCALE ACCORDING TO CLASSICAL TESTING THEORY AND GENERALIZATION THEORY
KÜBRA YILMAZ
Yüksek Lisans
Türkçe
2019
Eğitim ve ÖğretimBolu Abant İzzet Baysal ÜniversitesiEğitimde Ölçme ve Değerlendirme Ana Bilim Dalı
PROF. DR. ZEKERİYA NARTGÜN
- Klasik gitar öğretiminin makamsal içerikli etüt ve eserlerle uygulanabilirliği
Applicability of classical guitar education to studies and works with modal characteristics
CİHAN TABAK
- Sanat eğitimi öğrencilerinin zihinsel imgeleme kapasitesini belirlemeye yönelik bir ölçme aracı geliştirme çalışması
A study on developing a measurement tool for determining mental imagery capacity of art education students
HANDAN NARİN
Doktora
Türkçe
2019
Güzel SanatlarÇukurova ÜniversitesiResim-İş Eğitimi Ana Bilim Dalı
PROF. BİRNUR ERALDEMİR