Bilgisayar ortamında bireye uyarlanmış test uygulamalarında madde parametre sapmasının yetenek kestirimine etkisi
The impact of item parameter drift on ability estimation in computerized adaptive testing
- Tez No: 976308
- Danışmanlar: DOÇ. DR. FATİH KEZER
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Madde parametre sapması, Bilgisayar ortamında bireye uyarlanmış testler, Yetenek kestirimi, Item Parameter Drift, Computerized Adaptive Testing, Ability Estimation
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Kocaeli Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bireylerin gerçek yeteneklerinin geçerli ve güvenilir bir şekilde kestirilmesi ve bu ölçme sonucunda alınan kararların isabetliliği; hem birey hem de toplum açısından adil karşılaştırmaların yapılabilmesi, birey hakkında ölçülmek istenen özelliğin miktarının doğru belirlenebilmesi ve doğru sınıflandırmaların yapılabilmesi açısından önem arz etmektedir. Müfredat değişiklikleri, teknolojik ve tarihsel dönüşümler, maddelere olan aşinalık, kopya çekilmesi, madde kalibrasyonlarındaki hatalar ve testin uygulanmasına yönelik hatalar gibi birçok unsur madde havuzlarında kullanılan maddelerin zaman içinde gerçek psikometrik değerlerinden sapmasına neden olabilir. Bu araştırmada, madde parametre sapmasının (MPS), Bilgisayar Ortamında Bireye Uyarlanmış Testler (BOBUT) uygulamalarında bireyin gerçek yeteneğinin kestirilmesine olumsuz etkisi, BOBUT'un işleyiş koşulları ile sentezlenerek incelenmiştir. BOBUT uygulamalarında her bireyin karşılaştığı maddeler, bireyin yetenek düzeyine göre seçilmektedir. Bu süreç; başlatma koşulu, madde seçme kriterleri, yetenek kestirim yöntemleri ve test sonlandırma koşullarına göre farklılık göstermektedir. Yetenek düzeyleri aynı olsa bile bireylerin karşılaştığı maddeler farklılık gösterebilmektedir. Bu araştırmada, bireylerin karşılaştığı maddelerin MPS'li olma koşulu kontrol edilmeksizin, BOBUT uygulamaları farklı koşullar altında simüle edilerek güçlük parametresinde (b) oluşturulan MPS'nin, yetenek kestirimi üzerindeki etkisi incelenmiştir. 500 maddelik bir havuz içerisinden, MPS üretilecek maddeler rastgele seçilerek, havuzdaki MPS yüzdesi (%10, %15, %20); MPS büyüklüğü (0.50, 0.75, 1.00); MPS yönü (kolay yön ve zor yön) farklı olacak şekilde, başlangıç temel veri setiyle birlikte toplamda 19 farklı durum için 25 replikasyon yapılmış ve 475 analiz gerçekleştirilmiştir. Her bir koşula göre simüle edilen madde havuzlarından kestirilen 2000 bireye ait teta (θ) değerleri, hiç MPS oluşturulmamış başlangıç temel veri setinden elde edilen θ değerleri ile karşılaştırılmıştır. İlişkili örneklemler için yapılan t-testi sonucunda; MPS oranı, yüzdesi ya da yönüne ilişkin olarak düzenli bir fark gözlemlenmemiştir. Ancak dört farklı durumda (1., 4., 5. ve 17. durumlar) kestirilen yetenek parametreleri ile başlangıç temel veri seti arasında anlamlı farklılıklar tespit edilmiştir. 19 farklı durumdan elde edilen yetenek parametrelerine ait Yanlılık (BIAS) ve Hata Kareleri Ortalamasının Karekökü (RMSE) değerlerinde, MPS yönü, yüzdesi ve oranına yönelik düzenli bir artış veya azalış eğilimi saptanmamıştır. Araştırmada, başlangıç temel veri seti ile diğer 18 farklı koşulda elde edilen yetenek parametreleri arasındaki korelasyona bakıldığında, yüksek düzeyde pozitif yönlü bir ilişki olduğu belirlenmiştir (r = .923 - .932). Bu durum, MPS'nin BOBUT uygulamalarında geçerlik ve güvenirliği etkileme konusunda daha dirençli olduğunu göstermektedir.
Özet (Çeviri)
The valid and reliable estimation of individuals' true abilities and the accuracy of decisions based on these assessments are of great importance for both individuals and society. Such estimations ensure fair comparisons, enable accurate measurement of the intended trait and allow for correct classifications. However, various factors-such as curriculum changes, technological and historical transformations, item familiarity, cheating, calibration errors and test administration mistakes-can cause items in an item pool to deviate from their true psychometric properties over time. This study investigates the negative impact of item parameter drift (IPD) on the estimation of individuals' true abilities within Computerized Adaptive Testing (CAT) environments by synthesizing IPD effects with the operational conditions of CAT. In CAT applications, each item is selected according to the test taker's estimated ability level and the testing process varies depending on initialization rules, item selection criteria, ability estimation methods and termination conditions. Therefore, even individuals with the same ability level may receive different sets of items. In this study, without controlling for the presence of IPD in the items administered to individuals. CAT procedures were simulated under various conditions to examine the impact of IPD- artificially introduced in the difficulty parameter (b) on ability estimation. From a pool of 500 items, items subject to IPD were randomly selected. and the simulations were conducted under different conditions based on the percentage of items affected by IPD (10%, 15%, 20%), the magnitude of IPD (0.50, 0.75, 1.00), and the direction of drift (toward easier or harder). Including the initial baseline dataset, 19 different conditions were generated, each replicated 25 times, resulting in a total of 475 analyses. For each condition, the theta (θ) values estimated for 2.000 individuals were compared with those obtained from the baseline dataset with no IPD. Paired-sample t-tests revealed no consistent significant differences related to the rate, magnitüde or direction of IPD. However, in four conditions (Conditions 1, 4, 5. and 17). Significant differences were found between the estimated ability parameters and those from the baseline dataset. Furthermore, no consistent trend of increase or decrease was observed in the bias and root mean square error (RMSE) values of ability estimates across the 19 different scenarios regarding IPD direction, proportion or magnitude. When the correlations between the ability parameters estimated from the baseline dataset and those from the other 18 conditions were examined, a high positive correlation was observed (r = .923 – .932). This indicates that CAT applications exhibit strong resistance to the validity and reliability impacts of item parameter drift.
Benzer Tezler
- Madde parametre sapmasının bireye uyarlanmış testlerden elde edilen yetenek kestirimlerine etkisinin farklı koşullar altında incelenmesi
The study of the effect of item parameter drift on ability estimation obtained from adaptive testing under different conditions
MERVE ŞAHİN KÜRŞAD
Doktora
Türkçe
2020
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
PROF. DR. ÖMAY ÇOKLUK BÖKEOĞLU
PROF. DR. R. NÜKHET ÇIKRIKCI
- Bireye uyarlanmış bilgisayarlı test ortamında maksimum fisher madde seçme yönteminin incelenmesi
Investigation of maximum fisher item selection method on computerized adaptive testing
MEVRA KAÇAR
Yüksek Lisans
Türkçe
2016
Eğitim ve ÖğretimNecmettin Erbakan Üniversitesiİlköğretim Ana Bilim Dalı
YRD. DOÇ. DR. SEMA SULAK
- Bilgisayar ortamında bireye uyarlanmış test uygulamalarında madde havuzu genişliğinin yetenek kestirimine etkisi
The effect of item bank size on ability estimation in computerized adaptive testing
ÖZGE OKUL
Yüksek Lisans
Türkçe
2025
Eğitim ve ÖğretimKocaeli ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. FATİH KEZER
- Bireye uyarlanmış testlerde madde kullanım sıklığı kontrol yöntemlerinin farklı koşullarda ölçme duyarlılığına ve test güvenliğine etkisi
The effect of item exposure control methods on measurement precision and test security within different conditions in adaptive testing
RECEP GÜR
Doktora
Türkçe
2017
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
YRD. DOÇ. DR. HAMİDE DENİZ GÜLLEROĞLU
- Bilgisayar ortamında bireye uyarlanmış testlerin görme engelli öğrencilere uygunluğunun incelenmesi
Investigation of the compatibility of computeri̇zed adapti̇ve testing on students with visually impaired
SELMA ŞENEL
Doktora
Türkçe
2017
Eğitim ve ÖğretimAnkara ÜniversitesiÖlçme ve Değerlendirme Ana Bilim Dalı
YRD. DOÇ. DR. ÖMER KUTLU