The impact of calibration on scoring reliability and rater severity in a business English written exam
İş İngilizcesi yazılı sınavının notlandırma güvenilirliği ve değerlendirici ağırlığı üzerine calibration'un etkisi
- Tez No: 818002
- Danışmanlar: DR. ÖĞR. ÜYESİ MUSTAFA POLAT
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Değerlendirme, Güvenilirlik, Kalibrasyon, Mesleki dil, Notlandırma, Yabancı dil eğitimi, Yabancı dil öğretimi, Yazılı sınav, İngilizce, Evaluation, Reliability, Calibration, Occupational language, Scoring, Foreign language education, Foreign language teaching, Written examinations, English
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Bahçeşehir Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: İngiliz Dilbilimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışma, çevrimiçi bir yazılı sınavda değerlendiriciler arası güvenilirliği (inter-rater), değerlendirici iç güvenilirliği (intra-rater) ve değerlendirici katılığı (severity) üzerinde kalibrasyon etkisini araştırmaktadır. İngilizce Dil Eğitimi alanında geçmişe sahip altı değerlendirici, iki aşamada, aralarında bir kalibrasyon toplantısı düzenlenmiş olan aynı 32 sınav setini değerlendirdi. İç korelasyon katsayı (ICC) analizi, T-testleri, çok yönlü Rasch ölçme modeli (MFRM) ve betimleyici istatistikler, kalibrasyonun güvenilirlik ve değerlendirici katılığı üzerindeki etkisini analiz etmek için kullanılmıştır. Bulgular, kalibrasyonun değerlendirici güvenilirliğini ve puanlama tutarlılığını önemli ölçüde arttırdığını, aynı zamanda kalibrasyonun dahil edildiği durumlarda değerlendirici iç güvenilirliğinin karmaşıklığını da vurguladığını önermektedir. Kalibrasyon sonrasında değerlendirici katılık seviyelerinde belirgin değişimler de gözlemlendi. Bu bulgular, değerlendirme süreçlerinde güvenilirlik ve tutarlılığı sağlama konusunda sonuçları vardır. Sonuçlar, kalibrasyonun puanlama güvenilirliğini iyileştirme ve değerlendirici katılık etkilerini azaltma potansiyelini vurgulamakta, kurumsal ve eğitimsel ortamlarda daha güvenilir bir değerlendirme sürecine katkıda bulunmaktadır.
Özet (Çeviri)
This study investigates the impact of calibration on inter-rater reliability, intra-rater reliability, and rater severity in an online written examination. Six raters, with backgrounds in English Language Teaching, marked the same set of 32 exams in two phases, with a calibration meeting held in-between. Intraclass Correlation Coefficient analysis, T-tests, Many Facet Rasch Measurement, and descriptive statistics were used to evaluate the impact of calibration on reliability and severity. The findings suggested that calibration significantly enhances inter-rater reliability and scoring consistency while also highlighting the complexities of intra-rater reliability when calibration is introduced. Notable shifts in rater severity levels were also observed post-calibration. These findings have implications for ensuring reliability and consistency in evaluation processes. The results underscore the potential of calibration in improving the scoring reliability and reducing rater severity effects, contributing to a more reliable assessment process in corporate and educational settings.
Benzer Tezler
- Digital ortofotolarda sayısal arazi modellerinin doğruluğu
Accuracy of digital terrain model in digital orthoptoros
HANDE DEMİREL
Yüksek Lisans
Türkçe
1998
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiFotogrametri Ana Bilim Dalı
PROF. DR. M. ORHAN ALTAN
- Carbon and nitrogen removal in municipal and industrial wastewater using membrane bioreactors
Evsel ve endüstriyel atık su arıtımında membran biyoreaktörler ile karbon ve nütrient giderimi
MEHMET MURAT SARIOĞLU
Doktora
İngilizce
2007
Çevre Mühendisliğiİstanbul Teknik ÜniversitesiÇevre Mühendisliği Ana Bilim Dalı
PROF. DR. DERİN ORHON
- İlaç sektörü için fabrika boyutunda çevresel analizler ve risk değerlendirmeleri
Factory-scale environmental analyses and risk assessments for the pharmaceutical industry
MERVE ÜNLÜSOY SANCAK
Yüksek Lisans
Türkçe
2026
Çevre MühendisliğiSakarya ÜniversitesiÇevre Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET ÇELEBİ
- Makine öğrenmesi ile AHİ (Apne-Hipopne İndeksi) hesaplaması yapılmadan polisomnografi verilerinden AHİ tahmini: Fizyolojik parametrelere dayalı regresyon modeli geliştirilmesi
Machine learning–based estimation of AHI from polysomnography data without direct AHI calculation: Development of a physiological-parameter–based regression model
AHMET URAS BALIK
Tıpta Uzmanlık
Türkçe
2025
Kulak Burun ve BoğazAkdeniz ÜniversitesiKulak Burun Boğaz Hastalıkları Ana Bilim Dalı
DOÇ. DR. LEVENT RENDA
- Güncel killi dolgu zeminde gerçekleştirilen derin kazı İksa Sisteminin davranışı: Bir vaka analizi
Behaviour of a deep excavation Shoring System in current clayey fill: A case study
BATUHAN AKGÜN
Yüksek Lisans
Türkçe
2024
İnşaat Mühendisliğiİstanbul Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BERRAK TEYMÜR