Fen bilimleri dersinde başarı testlerinin üretken yapay zeka ile değerlendirilmesi
Assessing science achievement tests through generative articial intelligence
- Tez No: 996603
- Danışmanlar: PROF. DR. HARUN ÇELİK
- Tez Türü: Yüksek Lisans
- Konular: Eğitim ve Öğretim, Education and Training
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Kırıkkale Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Fen Bilgisi Eğitimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
21. yy'da bilgiye erişimin hızlanmasıyla birlikte; dijitalleşme ve artan problem çözme ihtiyaçları, eğitim sistemlerinde bir dönüşümü başlatmıştır. Bu doğrultuda eğitim sistemleri bilgiyi aktaran bir sistem olmaktan ziyade öğrencileri; eleştirel düşünebilen, analiz edebilen, çıkarsama yapabilen ve bilimsel akıl yürütme gibi üst düzey becerileri merkeze alma yoluna yönlendiren beceri temelli ölçme ve değerlendirme anlayışına yönelmiştir. Bu ihtiyaç doğrultusunda, öğrencilerin becerilerini görünür kılan açık uçlu soruların değerlendirilmesinde YZ destekli beceri temelli ölçme ve değerlendirme yaklaşımının uygulanabilirliğine odaklanılmıştır. 5. sınıf TYMM FDÖP'nin“Kuvveti Tanıyalım”ünitesi kapsamında uygulanan KTBT'nin, Gen-AI aracı olan ChatGPT-4o modeliyle değerlendirilmesi ve bu değerlendirmelerin öğretmenlerle arasındaki uyumunun incelenmesi amaçlanmaktadır. Gen-AI aracının ölçme ve değerlendirmesi sırasında üç farklı prompt stratejisinde (zero-shot, few-shot rompting ve CoT), açık uçlu soruların hazırlanmasında ve uygulanması sürecinde TTA yöntemi kullanılmıştır. Hazırlanan sorular ve rubrikler uzman görüşü doğrultusunda revize edilmiştir. Çalışma grubundaki öğrenci ve öğretmenler seçkisiz örnekleme olarak tercih edilmiştir. Çalışma nitel araştırma yöntemi çerçevesinde planlanmış ve verilerin dokümantasyon yöntemiyle toplandıktan sonra analizi yapılmıştır. Öğrencilerden alınan yanıtlar insan uzman tarafından etiketlenmiştir. Öğrenci yanıtları OKT ile dijital metin haline getirilmiştir. Kırk öğretmen arasındaki güvenirliği incelemek için sınıf içi korelasyon katsayısı (ICC) ve Krippendorff's alpha katsayısı kullanılmıştır. YBT ve öğrenme çıktısı rubriğine göre öğrenci yanıtlarının etiketlenmesinde iki insan uzman arasında Miles ve Huberman'nın uzlaşma yüzdesi kullanılmıştır. Öğretmenlerin ve YZ değerlendirmelerinin arasındaki uyuşma yüzdesini ölçmek için Cohen's kappa katsayısı kullanılmıştır. Ayrıca doğruluk, kesinlik, duyarlılık ve F1 skorlarına göre insan uzman ve YZ arasında etiketlemelerin karşılaştırılması yapılmıştır. Bulgular doğrultusunda ChatGP-4o'nun objektif ve tutarlı sonuçları elde edilmiştir. Ayrıca, YZ destekli geri bildirimlerle öğrenci gelişiminin takip edilmesinin daha kolaylaştırıcı olduğu görülmüştür. Bu araştırmada fen öğretiminde üst düzey becerilerin ölçülmesine yönelik yenilikçi ölçme ve değerlendirme yaklaşımının önemi vurgulanmıştır. Bu araştırma, YZ destekli değerlendirme sistemlerine yönelik örnek teşkil etmektedir.
Özet (Çeviri)
In the 21st century, the acceleration of access to information, together with digitalization and growing demands for problem-solving, has initiated a transformation in educational systems. Accordingly, education systems have shifted from being structures that merely transmit knowledge to approaches centered on skill-based assessment and evaluation, which aim to cultivate students who can think critically, analyze, infer, and employ scientific reasoning as higher-order skills. In line with this need, the present study focuses on the applicability of an AI-supported, skill-based assessment and evaluation approach in the evaluation of open-ended questions that make students' skills visible. The purpose of the study is to evaluate the KTBT administered within the 5th-grade TYMM Science Curriculum's“Let's Explore Force”unit using the ChatGPT-4o model, a Gen-AI tool, and to examine the consistency between these evaluations and those made by teachers. During the assessment process conducted with the Gen-AI tool, three different prompt strategies (zero-shot, few-shot prompting, and CoT) were employed, and the TTA method was used in the preparation and implementation of the open-ended questions. The prepared questions and rubrics were revised in line with expert opinions. Students and teachers in the study group were selected through random sampling. The study was designed within the framework of qualitative research, and after collecting the data through documentation, analysis was carried out. The responses obtained from students were labeled by a human expert. Student responses were digitized using OKT. To examine the reliability among forty teachers, the intraclass correlation coefficient (ICC) and Krippendorff's alpha coefficient were used. For labeling student responses according to the SBT and learning-outcome rubric, Miles and Huberman's agreement percentage was used between two human experts. Cohen's kappa coefficient was used to measure the agreement percentage between teachers' evaluations and AI evaluations. In addition, comparisons between the human expert and AI were made based on accuracy, precision, recall, and F1 scores. In line with the findings, objective and consistent results were obtained from ChatGPT-4o. Moreover, it was observed that monitoring student development became more facilitative through AI-supported feedback. This study highlights the importance of an innovative assessment and evaluation approach aimed at measuring higher-order skills in science education. This study serves as an example for AI-supported assessment systems.
Benzer Tezler
- Devrelerin büyük işaret cevaplarının bilgisayar yardımıyla bulunması
Başlık çevirisi yok
NÜKHET GÜNEYİ
Yüksek Lisans
Türkçe
1985
Elektrik ve Elektronik MühendisliğiUludağ ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ERGÜR TÜTÜNCÜOĞLU
- Çimentonun sertleşmesi üzerinde kimyasal komponentlerin etkisi
Başlık çevirisi yok
NACİYE TÜRKEL
Yüksek Lisans
Türkçe
1986
Kimya MühendisliğiUludağ ÜniversitesiKimya Ana Bilim Dalı
PROF. DR. MUSTAFA CEBE
- 1981 Türkiye tarımsal yapısının önemli bileşenleri ve tarımsal bölgelerin elde edilmesi
Principle components of Turkey's agricultural structure and to determine agricultural rigions in 1981
İHSAN KARABULUT
- Buğdayda farklı melezleme teknikleri kullanarak tohum tutma oranının saptanılması
Başlık çevirisi yok
İSMAİL TÜZÜN
Yüksek Lisans
Türkçe
1986
ZiraatUludağ ÜniversitesiTarla Bitkileri Ana Bilim Dalı
PROF. DR. HALİS RUHİ EKİNGEN
- Antakya tarihi ticaret merkezi mekansal yapı değişim ve gelişim sürecinin kent ticaret merkezi planlamasına etkinliği
The Effectiveness of spatial structural chance and development period of the historical trade center of Antakya in the urban trade planning
NEVİN TURGUT
Yüksek Lisans
Türkçe
1986
Şehircilik ve Bölge PlanlamaGazi ÜniversitesiŞehir ve Bölge Planlama Ana Bilim Dalı
YRD. DOÇ. DR. NURCAN UYDAŞ