Açık kaynaklı büyük dil modelleri için parametre verimli ince ayar yöntemlerinin geliştirilmesi ve analizi
Development and analysis of parameter-efficient fine tuning methods for open-source large language models
- Tez No: 1008965
- Danışmanlar: DOÇ. DR. GÜLTEKİN IŞIK
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Doğal dil işleme, Natural language processing
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Iğdır Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu doktora tezi, büyük dil modellerinin parametre-verimli ince ayar yöntemleri üzerine kapsamlı bir araştırma sunmaktadır. Araştırmanın temel amacı, standart ince ayar yöntemlerinin tekdüze yaklaşımının ötesine geçerek alan-farkındalıklı ve kritikliktabanlı adaptif parametre tahsis stratejileri geliştirmektir. Çalışmada dört özgün parametre-verimli ince ayar çerçevesi (DiSA-QLoRA, MediLoRA, MedCritLoRA ve SQ-LoRA) geliştirilmiş; ayrıca QLoRA ile AdaLoRA yöntemlerinin karşılaştırmalı analizi ile geniş kapsamlı duygu analizi kıyaslama çalışması yürütülmüştür. Deneyler, LLaMA-3-8B, Qwen2-7B, Mistral-7B ve DeepSeek-7B modelleri üzerinde tıbbi, hukuki, finansal ve genel duygu analizi veri kümeleri kullanılarak gerçekleştirilmiştir. Bulgular, geliştirilen DiSA-QLoRA yönteminin F1 skorunda %16,3'e varan iyileştirme sağladığını göstermektedir. MediLoRA çerçevesi %84,5 genel doğruluk elde ederken, MedCritLoRA %90,5 tıbbi güvenlik skoru ile güvenlik-kritik senaryolarda güçlü bir performans sergilemiştir. Bu sonuçlar, 7-8B parametreli modellerin parametreverimli ince ayar ile kaynak kısıtlı ortamlarda dahi yüksek güvenlik standartlarına ulaşabileceğini ortaya koymakta olup, çok daha büyük ölçekli modellerle (örneğin MedPaLM 2, 540B parametre) elde edilen sonuçlarla dolaylı karşılaştırma yapıldığında model boyutu–performans oranı açısından dikkate değer bir verimlilik avantajına işaret etmektedir. Tüm yöntemler %98,8–%99,5 parametre azaltımı ile rekabetçi performans sergilemiştir. Sonuç olarak, bu araştırma parametre-verimli ince ayar alanına belirginliktabanlı değişken rank tahsisi, kritiklik-farkındalıklı sıkıştırma teorisi ve güvenlikverimlilik değiş-tokuşu formülasyonu gibi önemli teorik katkılar sunmaktadır. Geliştirilen yöntemler, kaynak kısıtlı ortamlarda büyük dil modellerinin dağıtımı ve alana özel yapay zekâ uygulamaları için pratik çözümler sağlamaktadır.
Özet (Çeviri)
This doctoral dissertation presents a comprehensive exploration of parameterefficient fine-tuning methods of large language models. The main objective of the research is to develop domain-aware and criticality-based adaptive parameter allocation strategies that go beyond the uniform approach of standard fine-tuning methods. In the study, four unique parameter-efficient fine-tuning frameworks (DiSAQLoRA, MediLoRA, MedCritLoRA, and SQ-LoRA) were developed; in addition, a comprehensive sentiment analysis benchmarking study was carried out with a comparative analysis of QLoRA and AdaLoRA methods. The experiments were conducted on the LLaMA-3-8B, Qwen2-7B, Mistral-7B, and DeepSeek-7B models using medical, legal, financial, and general sentiment analysis datasets. The findings show that the developed DiSA-QLoRA method provides up to 16.3% improvement in F1 score. The MediLoRA framework achieved an overall accuracy of 84.5%, while MedCritLoRA demonstrated strong performance in safetycritical scenarios with a medical safety score of 90.5%. These results reveal that models with parameters 7-8B can achieve high safety standards even in resource-constrained environments with parameter-efficient fine-tuning, indicating a remarkable efficiency advantage in terms of model size-to-performance ratio when indirect comparison with results obtained with much larger-scale models (e.g., Med-PaLM 2, 540B parameters). All methods demonstrated competitive performance with a parameter reduction of 98.8%–99.5%. In conclusion, this research makes important theoretical contributions to the field of parameter-efficient fine-tuning, such as salience-based variable rank allocation, criticality-aware compression theory, and safety-efficiency trade-off formulation. The developed methods provide practical solutions for deploying large language models in resource-constrained environments and domain-specific AI applications.
Benzer Tezler
- Parametre verimli ince ayar yöntemi ile açık kaynak büyük dil modellerinin türkçe dil bilgisi ve muhakeme yeteneklerinin iyileştirilmesi
Improving turkish grammar and reasoning capabilities of open source large language models with parameter efficient fine tuning
YUNUS EMRE DEMİRDAĞ
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. BETÜL AY
- ArGemma: Gemma'nın Arapçaya uyarlanddırılması için ince ayar ve çok görevli öğrenme mimarisi
ArGemma: A fine-tuning and multi-task learning architecture for adapting Gemma to Arabic
TAHA AL-SELWI
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SERAP ÇAKAR KAMAN
- 1983 yılı trafik kaza istatistikleri değerlendirmesi
Başlık çevirisi yok
ŞÜKRÜ ÖZER
Yüksek Lisans
Türkçe
1986
UlaşımGazi ÜniversitesiKazaların Çevresel ve Teknik Araştırması Ana Bilim Dalı (disiplinlerarası)
PROF. DR. RIDVAN EGE
- Bölünüme bağlı olmayan varyans çözümlemesi çoklu karşılaştırmalar ve tarımda uygulamaları
Distiribution-free analyis of variance multiple comparisons and applications in agriculture
HAMZA GAMGAM
- İzmir'de Mustafa Kemal Bulvarı'nın peyzaj mimarlığı açısından etüdü ve peyzaj projesi
Başlık çevirisi yok
ENGİN ALPARSLAN
Yüksek Lisans
Türkçe
1985
Peyzaj MimarlığıEge ÜniversitesiPeyzaj Mimarlığı Ana Bilim Dalı
YRD. DOÇ. DR. ÜMİT ERDEM