Yabancı dilde yazma becerisinin ölçülmesinde puanlayıcılar arası güvenirliğin çok gruplu doğrulayıcı faktör analizi ile incelenmesi
use of multiple-group confirmatory factor analysis to examine inter-rater reliability in foreign language writing assessment
- Tez No: 528806
- Danışmanlar: DR. ÖĞR. ÜYESİ EMİNE ÖNEN
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Faktör analizi, Güvenilirlik, Puanlama, Puanlayıcılar arası tutarlılık, Yabancı dil eğitimi, Yabancı dil öğretimi, Yazma becerisi, Factor analysis, Reliability, Scoring, Interrater reliability, Foreign language education, Foreign language teaching, Writing skills
- Yıl: 2018
- Dil: Türkçe
- Üniversite: Gazi Üniversitesi
- Enstitü: Eğitim Bilimleri Enstitüsü
- Ana Bilim Dalı: Eğitim Bilimleri Ana Bilim Dalı
- Bilim Dalı: Eğitimde Ölçme ve Değerlendirme Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Yazma becerisinin puanlanmasında ölçümlerin güvenirliğini etkileyen en önemli faktörlerden biri puanlayıcıdır. Aynı performansın farklı puanlayıcılar tarafından farklı puanlanması ölçmede istenmeyen bir durumdur. Bu çalışmada yabancı dilde paragraf yazma becerisinin puanlanmasına etki eden temel değişkenlerden biri olan puanlayıcı ele alınmıştır. Puanlayıcılar arası güvenirlik Çok Gruplu Doğrulayıcı Faktör Analizi (ÇGDFA) ile incelenmektedir. Gazi Üniversitesi Yabancı Diller Yüksekokulunda öğrenim gören 267 gönüllü öğrenci çalışma grubunu oluşturmaktadır. Öğrencilerin aynı konu üzerine yazmış oldukları paragraflar üç farklı puanlayıcı tarafından aynı puanlama anahtarı ile ayrı ayrı puanlanmış ve elde edilen puanlar SPSS 24, LISREL 8.8 ve Mplus6 programları ile analiz edilmiştir. Ölçümlerin geçerliğine ilişkin kanıtlar AFA ve DFA ile elde edilirken ölçümlerin güvenirliğine ilişkin kanıtlar Cronbach α değeri ile elde edilmiştir. Puanlayıcılar arası güvenirliğin ölçme değişmezliği testleri bağlamında ÇGDFA ile incelenmesi sonucunda şekilsel ve metrik değişmezliğe ilişkin kanıt elde edilmişken, tam ve kısmi ölçek değişmezliğine ilişkin kanıt elde edilememiştir. Tam ve kısmi ölçek değişmezliğine ilişkin kanıt elde edilememesi puanlayıcıların yazma becerisini puanlarken performansın aynı başlangıç düzeyini kullanmadığı anlamına gelirken, bu durumdan dolayı faktör varyanslarının değişmezliği ve değişmez özgüllük aşamaları test edilememiştir. Bu iki değişmezlik türünden elde edilebilecek bilgiye dolayısıyla ulaşılamazken, puanlayıcılar arası güvenirliğe ilişikin kanıt elde edilememiştir.
Özet (Çeviri)
One of the most important factors that influence the reliability of measurements in scoring of writing skills is rater. Different scoring by different raters of the same performance is an undesirable condition in measurement. In this study, rater, one of the basic variables affecting the score of paragraph writing ability in foreign language is considered. The inter-rater reliability is examined by Multi-Group Confirmatory Factor Analysis (MFCFA). The study group is constituted by 267 volunteer students studying at Gazi University Foreign Languages School. In the research, where students write a paragraph on the same topic, the paragraphas are scored separately by three different raters with the same scoring key and acquired scores are analyzed via SPSS 24, LISREL 8.8 ve Mplus6 programs. While the evidence for validity of measurements are obtained with EFA and CFA, the evidence for reliability of measurements are obtained with Cronbach α coefficient. As a result of testing inter-rater reliability with MGCFA within the frame of measurement invarince, evidence of configural and metric invariance has been obtained, while evidence of scalar and partial scalar invariance hasn't been obtained. Acquring no evidence of complete and partial scale invariance means that scorers do not use the same initial level of performance when scoring the writing ability, so invariance of factor variances and invariant uniqueness steps can not be tested. Therefore, the information that can be obtained from these two types of invariance can not be reached and the evidence regarding the reliability between the raters can not be obtained.
Benzer Tezler
- Online vs. face-to-face assessment of productive language skills
Üretimsel dil becerilerinin çevrimiçi ve yüz-yüze değerlendirilmesi
KADİR CİHAN ANAPALI
Yüksek Lisans
İngilizce
2023
Eğitim ve ÖğretimAtatürk ÜniversitesiYabancı Diller Eğitimi Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MİNE YILDIZ
- Dil becerilerinin ölçülmesi sürecinde birey ve madde özelliklerinin parametre kestirimleriyle ilişkisi
The relationship between individual and item characteristics and parameter estimates in the process of measuring language skills
ÖMER KAMIŞ
Doktora
Türkçe
2025
Eğitim ve ÖğretimAnkara ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
PROF. DR. CELAL DEHA DOĞAN
- Türkçe'nin anadili ve yabancı dil olarak öğretimi üzerine bir araştırma
Başlık çevirisi yok
SAMİ BALCI
- Yabancı dilde yazma becerisinin gelişiminde özetleme tekniğinin öğretimi ve başarıya etkisi
Başlık çevirisi yok
SELMA DENEME
- The effects of feedback type and essay type on English language writing development
Geri bildirim çeşidinin ve kompozisyon türünün İngilizcede yazma becerisinin gelişimine etkisi
CELİLE BOZKIR
Yüksek Lisans
İngilizce
2009
Eğitim ve ÖğretimMarmara ÜniversitesiEğitim Bilimleri Bölümü
DR. ZEYNEP C. ÇAMLIBEL