Assessing the effectiveness of ChatGPT in generatingmultiple-choice questions for English language teaching: Amixed-methods approach
ChatGPTnin İngiliz dili eğitimi için çoktan seçmeli sorular üretmedeki etkililiğinin değerlendirilmesi: Karma yöntemli bir yaklaşım
- Tez No: 1016316
- Danışmanlar: PROF. DR. PERİHAN SAVAŞ
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: İngiliz Dili Eğitimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışma, üniversite hazırlık okulu bağlamında meta-prompting aracılığıyla ChatGPT tarafından üretilen çoktan seçmeli yabancı dil olarak İngilizce (YDİ) okuma anlama sorularını incelemiştir. Yakınsak karma yöntem deseni benimsenerek veriler, yapay zeka tarafından üretilen okuma testini tamamlayan 116 orta düzey YDİ hazırlık okulu öğrencisinden ve araştırmacı tarafından geliştirilen değerlendirme anketini dolduran 10 alan uzmanından toplanmıştır. Uzmanlardan Likert tipi puanlamalar yoluyla toplanan veriler betimsel istatistiklerle, açık uçlu sorularla toplanan veriler ise tematik analiz yoluyla incelenmiştir. Öğrenci yanıtlarına ilişkin veriler ise Klasik Test Kuramı (KTK) temelli psikometrik analizlerle incelenmiştir. Uzman değerlendirmelerinde değerlendiriciler arası güvenirlik iyi düzeyde bulunmuş (ICC = .79); ifade açıklığı ve seviye uygunluğu açısından olumlu puanlar elde edilirken çeldirici ile ilgili kriterler tutarlı biçimde daha düşük puanlar almıştır. Nitel bulgular, işlevsiz çeldiricilerin ve metinden bağımsızlığın, yani soruların okuma metniyle etkileşime girmeden yanıtlanabilmesi eğiliminin, yaygın sorunlar olduğunu ortaya koymuştur. Öğrenci yanıtlarının psikometrik analizi ciddi bir tavan etkisi ortaya koymuş; 20 maddenin 12'si tüm katılımcılar tarafından doğru yanıtlanmış, ayırt edicilik indeksleri ihmal edilebilir düzeyde kalmış ve neredeyse tüm çeldiriciler işlevsiz bulunmuştur. Yakınsak bulgular, ChatGPT'nin yüzeysel dil standartlarını karşılayan maddeler üretebildiğini ortaya koymaktadır. Bununla birlikte, çeldirici yapılandırması meta-prompting aracılığıyla çözümlenemeyen kalıcı bir sınırlılık olmaya devam etmektedir. Bu bulgular, yapay zeka tarafından üretilen maddelerin kullanımdan önce uzman incelemesi ve psikometrik incelemeye tabi tutulması gerektiğini vurgulayarak İngilizce öğretmenlerine, test geliştiricilere ve öğretmen eğiticilerine yönelik çıkarımlar sunmaktadır.
Özet (Çeviri)
This study examined ChatGPT-generated multiple-choice English as a Foreign Language (EFL) reading comprehension questions produced via meta-prompting in a university preparatory school context. Adopting a convergent mixed methods design, data were collected from 116 intermediate-level EFL students through an AI-generated reading test and from 10 Subject Matter Experts (SMEs) through a researcher-developed evaluation questionnaire. Expert data from Likert-scale ratings were analyzed using descriptive statistics, while data from open-ended questions were analyzed using thematic analysis. Student response data were subjected to CTT-based psychometric analysis. Expert evaluations demonstrated acceptable interrater reliability (ICC = .79) and revealed favorable ratings for wording clarity and level-appropriateness, while distractor-related aspects consistently received lower scores. Qualitative findings indicated that implausible distractors and text-independence, defined as the tendency for items to be answerable without engaging with the reading text, were pervasive problems. Psychometric analysis of student responses revealed a severe ceiling effect, with 12 of the 20 items answered correctly by all participants, while discrimination indices were negligible and nearly all distractors were non-functional. The convergent findings indicate that ChatGPT can generate items meeting surface-level language standards. However, distractor construction remains a persistent limitation that meta-prompting alone does not resolve. These findings underscore the need for expert review and psychometric validation prior to operational use, with implications for EFL teachers, test developers, and teacher educators.
Benzer Tezler
- Erzincan tulum peynirinin işlem ve ürün parametrelerinin belirlenmesi
Başlık çevirisi yok
YILDIZ KARAİBRAHİM
Yüksek Lisans
Türkçe
1986
Gıda MühendisliğiEge ÜniversitesiGıda Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUSTAFA ÜÇÜNCÜ
- Zemin geoteknik parametrelerinin değişkenliği istatistiksel özellikleri ve İzmir iç körfezi kuzey kıyıları zeminleri üzerine uygulamalar
Başlık çevirisi yok
H.RECEP YILMAZ
Doktora
Türkçe
1987
İnşaat MühendisliğiDokuz Eylül Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ARİF ŞENGÜN KAYALAR
- An expert system application
Başlık çevirisi yok
GÜLSELİ ZEREN
Yüksek Lisans
İngilizce
1987
Endüstri ve Endüstri MühendisliğiBoğaziçi ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. M. AKİF EYLER
- Stochastic model for pulsed radio transmission from horizontal antennas through stratified forests
Başlık çevirisi yok
NEİL GÜLTEKİN
Yüksek Lisans
İngilizce
1988
Elektrik ve Elektronik MühendisliğiBoğaziçi ÜniversitesiDOÇ. DR. S. SELİM ŞEKER
- Determination of the flotation characteristics of oxidized coal from Zonguldak coal basin
Başlık çevirisi yok
MUSA SARIKAYA
Doktora
İngilizce
1988
Maden Mühendisliği ve MadencilikOrta Doğu Teknik ÜniversitesiDOÇ. DR. GÜLHAN ÖZBAYOĞLU