Objektif yapılandırılmış sınav aracının klasik test kuramı, genellenebilirlik kuramı ve madde tepki kuramı ile değerlendirilmesi
Evaluation of objective structured examination tool with classical testing, generalizability teory and item response theory
- Tez No: 789669
- Danışmanlar: PROF. DR. AHMET ÖZTÜRK
- Tez Türü: Yüksek Lisans
- Konular: Biyoistatistik, Biostatistics
- Anahtar Kelimeler: Başarı, Başarı değerleme, Değerlendirme, Ölçme-değerlendirme, Ölçme-değerlendirme araçları, İstatistiksel yöntemler, Success, Success evaluation, Evaluation, Measurement and evaluation, Measurement-evaluation tools, Statistical methods
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Erciyes Üniversitesi
- Enstitü: Sağlık Bilimleri Enstitüsü
- Ana Bilim Dalı: Biyoistatistik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışmanın amacı Tıp fakültesin de Objektif Yapılandırılmış Klinik Sınavda (OYKS) kullanılan 24 maddeli bir değerlendirme rehberinin verilerini kullanarak geçerlik ve güvenirlik analizlerinden klasik test kuramı, genellenebilirlik kuramı ve madde tepki kuramının karşılaştırmasını yapmaktır. Tez çalışmasında birinci dönemde dokuz değerlendiricinin 340 öğrenciyi ikinci dönemde 11 değerlendiricinin 328 öğrenciyi toplamda 668 öğrenciyi 24 maddeli değerlendirme rehberini her maddeyi yaptı/yapmadı şeklinde doldurarak puanladıkları iki sınav verisi kullanılmıştır. Değerlendirme rehberinin geçerlik ve güvenirliğini incelemek amacı ile yapılan klasik test kuramı analizlerinde rehber geçerli ve güvenilir bulunmuştur ( Cronbach alfa=0,885). Açıklayıcı faktör analizi sonuçlarına göre üç faktörlü yapı ile varyans kaynaklarının yüzde 50'si açıklanmaktadır. İkinci dönem verileriyle Doğrulayıcı faktör analizi ile bu üç faktör yapının model uyum iyilikleri kabul edilebilir aralıklarda bulunmuştur (X2/sd=2.006; RMSEA =0,055;CFI =0.942). Genellenebilirlik analizleri ile yapı değerlendirildiğinde madde sayısının toplam varyansın yüzde 7.1'ini, birey değişkeninin ise yüzde 22.4'ünü açıkladığı bulunmuştur. Modelin G katsayısı 0,88 Phi katsayısı 0,87 olarak kestirilmiştir. Bu sonuçtan yola çıkılarak kurulan karar kuramında 32 maddelik rehber yapısının daha yüksek genellenebilirliği sahip olduğu bulunmuştur (G=0,91, Phi= 0,90). Madde tepki kuramında rehberin tek boyutluluk varsayımını sağlamadığı üç boyutlu bir yapıda olduğu bulunmuştur. Bu üç boyutun her bir boyutunun maddeleri Rasch modeli ve 2PL model ile incelenmiştir. Birinci ve üçüncü faktörlerin maddeleri MTK analizlerine uyum göstermemiştir. İkinci faktörün 10 maddeli modeli 2PL modele uyum göstermiştir.Modellerin görgül güvenirlik katsayıları ve uyum katsayıları klasik test kuramının katsayılarına göre daha düşüktür. Klasik test kuramı modellerinde maddelerin toplam korelasyonları ile değerlendirme yapılıyor olmasından dolayı geçerli ve güvenilir bulunan değerlendirme rehberi, genellenebilirlik ile incelendiğinde öğrenci puanlarının madde ve öğrenci yeteneği dışındaki faktörlerden etkilendiğini tespit edilmiştir. Madde tepki kuramı modelleri ile bakıldığında iki faktörün uyum göstermemesi bir faktörün ise sadece 2PL modele uyum göstermesi bize değerlendirme rehberinin geçerlik ve güvenilirliğinin iyileştirilmesi gerektiği sonucuna götürmektedir.
Özet (Çeviri)
The aim of this study is to compare the validity and reliability analyzes of classical test theory, generalizability theory and item response theory by using the data of a 24-item assessment guide used in the osce exams at the Faculty of Medicine, and to discuss their advantages and disadvantages. In the thesis study, an exam data in the first term which nine evaluators scored 340 students, and ,n the second term 11 evaluators bought 328 students in total by filling in the 24-item assessment guide as they did/did not complete each item was used. According to the results of the explanatory factor analysis, 50 percent of the variance sources are explained with the 3-factor structure. With the confirmatory factor analysis, the model fit goodness of these three factor structures were found to be in acceptable ranges (X2/sd=2.006; RMSEA =0,055;CFI =0.942). When the structure was evaluated with generalizability analysis, it was found that the number of items explained 7.1 percent of the total variance and 22.4 percent of the individual variable. The G coefficient of the model was estimated as 0.88 and the Phi coefficient as 0.87. In the decision theory based on this result, the best result was the 32-item model. (G=0.91, Phi= 0.90) In item response theory, it was found that the guide was in a 3-dimensional structure, which did not provide the unidimensionality assumption. The items of each dimension of these three dimensions were examined with the Rasch model and the 2PL model. The items of the first and third factors did not fit the IRT analysis. The 10-item model of the second factor conformed to the 2PL model. The empirical reliability coefficients and fit coefficients of the models are lower than the coefficients of the classical test theory. When the evaluation guide, which was found to be valid and reliable, was examined with generalizability, since the evaluation is made with the total correlations of the items in the classical test theory models, it has been determined that the student scores are affected by factors other than the item and student ability. When we look at the item response theory models, the incompatibility of two factors and the fact that one factor only complies with the 2PL model leads us to the conclusion that the validity and reliability of the assessment guide should be improved.
Benzer Tezler
- Türkiye'de okul yöneticisi yetiştirme atama sistemi ve uygulamalarına yönelik görüşler
In turkey, training of school administrators, assignment system and applications opinions related
BEKTAŞ YILDIZ
Yüksek Lisans
Türkçe
2020
Eğitim ve ÖğretimSiirt ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YUNUS EMRE AVCI
- Hemşirelik öğrencilerinin klinik karar verme becerileri üzerine simülasyona dayalı onkoloji eğitiminin etkisi
The efficacy of simulation based oncology education on nursingstudent's clinical decision making
BERKAY ALİKAN
Yüksek Lisans
Türkçe
2021
Hemşirelikİstanbul Üniversitesi-Cerrahpaşaİç Hastalıkları Hemşireliği Ana Bilim Dalı
PROF. DR. GÜLBEYAZ CAN
- Vücudumuzdaki sistemler ünitesine ilişkin beceri temelli yeni nesilsoruların öğrenme sürecine etkisinin incelenmesi
Investigation of the effect of skill-based new generation questions regarding the systems unit in our body on the learning process
PINAR ARSLAN
Yüksek Lisans
Türkçe
2022
Eğitim ve ÖğretimKırşehir Ahi Evran ÜniversitesiMatematik ve Fen Bilimleri Eğitimi Ana Bilim Dalı
DOÇ. DR. DİLBER POLAT
DOÇ. DR. UĞUR BAŞARMAK
- Hacettepe Üniversitesi Tıp Fakültesi öğrencilerinin iyi hekimlik uygulamaları yapılandırılmış objektif klinik sınav öncesi durumluk kaygılarının değerlendirilmesi
The evaluation of the state anxiety of the students prior to objective structured clinical examinations of good medical practice at Hacettepe University Faculty of Medicine
ORHAN ODABAŞI
Yüksek Lisans
Türkçe
2011
Sağlık EğitimiHacettepe ÜniversitesiTıp Eğitimi Ana Bilim Dalı
DOÇ. DR. MELİH ELÇİN
- İlk ve acil yardım bölümü ikinci sınıf öğrencilerinin inme hastalarını tanıma bilgilerinin ve muhtemel inme hastalarını olay yerinde değerlendirme becerilerinin ölçülmesi
Measuring second year emergency and first aid students' knowledge in recognizing stroke patients and their skills in assessing potential stroke patients at the scene
BÜŞRA NUR BİRYEŞİL
Tıpta Uzmanlık
Türkçe
2024
Acil TıpKaradeniz Teknik ÜniversitesiAcil Tıp Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MELİH İMAMOĞLU