Büyük dil modellerinde istem mühendisliğinin Türkçe dil bilgisitestlerindeki performans analizi
Performance analysis of prompt engineering in large language models on Turkish grammar tests
- Tez No: 961968
- Danışmanlar: DR. ÖĞR. ÜYESİ ERSAN OKATAN, PROF. DR. ALİ HAKAN IŞIK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Burdur Mehmet Akif Ersoy Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Büyük dil modelleri (Large Language Models – LLM'ler), doğal dil işleme alanında önemli bir yer edinmiş olup, Türkçe dil test sorularındaki performansları, eğitim ve değerlendirme süreçlerinde kritik bir rol oynamaktadır. Bu çalışma, istem mühendisliği tekniklerinin, LLM'lerin Türkçe dil test sorularındaki performansını artırmadaki etkisini karşılaştırmalı bir yaklaşımla incelemeyi amaçlamaktadır. İstem mühendisliği, modelin daha doğru, tutarlı ve bağlama uygun yanıtlar üretmesini sağlamak için giriş istemlerinin yapılandırılması ve optimize edilmesi sürecini ifade eder. Araştırma, Türkçe'nin sondan eklemeli yapısı, zengin ek sistemi, kelime sırası esnekliği ve kültürel bağlam gibi özelliklerini dikkate alarak, istem tasarımının model performansına katkısını değerlendirmeyi hedeflemektedir. Çalışmada, farklı zorluk seviyelerinde ve farklı konular da çoktan seçmeli Türkçe dil test sorularından oluşan bir veri seti kullanılmıştır. Standart (genel talimatlar) ve optimize edilmiş (Türkçe'ye özgü dilbilgisi ve kültürel bağlamı içeren) istemler, sıfır atış, tek atış ve çok atış yaklaşımlarıyla test edilmiştir. Model performansı, doğruluk yöntemi ile analiz edilmiş, standart ve optimize edilmiş istemlerin sonuçları karşılaştırılmıştır. Araştırma, optimize edilmiş istemlerin modelin hata oranını azalttığını ve bağlamsal uygunluğu artırdığını göstermektedir. Bulgular, eğitim süreçlerinde LLM'lerin daha etkili kullanımına yönelik pratik öneriler sunmakta, Türkçe gibi morfolojik olarak zengin diller için istem mühendisliği stratejilerine katkı sağlamakta ve istem mühendisliğinin LLM performansına katkısı ortaya koymaktadır.
Özet (Çeviri)
Large language models (LLMs) have gained an important place in the field of natural language processing, and their performance on Turkish language test questions plays a critical role in training and evaluation processes. This study aims to examine the effect of prompt engineering techniques on improving the performance of LLMs on Turkish language test questions with a comparative approach. Prompt engineering refers to the process of structuring and optimizing input prompts to enable the model to produce more accurate, consistent and context-appropriate answers. The research aims to evaluate the contribution of prompt design to model performance by considering the characteristics of Turkish such as agglutinative structure, rich suffix system, word order flexibility and cultural context. A dataset consisting of multiple-choice Turkish language test questions at different difficulty levels and different topics is used in the study. Standard (general instructions) and optimized (including Turkish-specific grammar and cultural context) prompts are tested with zero-shot, single-shot and multi-shot approaches. Model performance will be analyzed with the accuracy method. The results of standard and optimized prompts will be compared. The study shows that optimized prompts reduce the error rate of the model and increase contextual relevance. The findings provide practical suggestions for more effective use of LLMs in training processes, contribute to prompt engineering strategies for morphologically rich languages such as Turkish, and reveal the contribution of prompt engineering to LLM performance.
Benzer Tezler
- Devrelerin büyük işaret cevaplarının bilgisayar yardımıyla bulunması
Başlık çevirisi yok
NÜKHET GÜNEYİ
Yüksek Lisans
Türkçe
1985
Elektrik ve Elektronik MühendisliğiUludağ ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ERGÜR TÜTÜNCÜOĞLU
- Organize sanayi bölgelerinde iş güvenliği sorunlarının teknik ve bilimsel araştırılmasında bir yöntem önerisi
Başlık çevirisi yok
MEHMET ALİ YILDIRIM
Yüksek Lisans
Türkçe
1986
Çalışma Ekonomisi ve Endüstri İlişkileriGazi ÜniversitesiKazaların Çevresel ve Teknik Araştırması Ana Bilim Dalı (disiplinlerarası)
DOÇ. DR. İBRAHİM BOYNUKALIN
- Bazı sert çekirdekli meyve türlerinde döllenme biyolojisi üzerinde yöntem çalışmaları
Başlık çevirisi yok
ATBİMOĞLU ADALET
- Sivas'ta kadınların işgücüne katılım farklılıkları
Başlık çevirisi yok
BİNNUR ERCEM
Yüksek Lisans
Türkçe
1984
SosyolojiCumhuriyet ÜniversitesiKurumlar Sosyolojisi Ana Bilim Dalı
YRD. DOÇ. DR. FARUK KOCACIK
- Analog dijital çeviricilerin analiz ve sentezi
Başlık çevirisi yok
ALİ ÇAPRAZ
Yüksek Lisans
Türkçe
1985
Elektrik ve Elektronik MühendisliğiUludağ ÜniversitesiElektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ERGÜR TÜTÜNCÜOĞLU