Parametre verimli ince ayar yöntemi ile açık kaynak büyük dil modellerinin türkçe dil bilgisi ve muhakeme yeteneklerinin iyileştirilmesi
Improving turkish grammar and reasoning capabilities of open source large language models with parameter efficient fine tuning
- Tez No: 954884
- Danışmanlar: DOÇ. DR. BETÜL AY
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Fırat Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Yazılımı Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Büyük Dil Modelleri, son dönemlerde GPT-3 modelinin ardından büyük ilgi görmeye başladı. Ardından farklı açık kaynaklı dil modelleri geliştirildi. Bunların geliştirilmesi ile büyük dil modellerinin ince ayarı büyük önem taşımaya başladı. Son zamanlarda araştırmalar konu olan en önemli konulardan biri ince ayarın verimli ve daha maliyetsiz bir şekilde yapılmasıdır. Büyük Dil Modellerinde ince ayar yapılırken yaşanan bazı problemler vardır. Bu problemlere parametre boyutunun büyük olmasından kaynaklanan depolama alanlarının yetersizliği sorunu, boyutların büyüklüğünden kaynaklanan hız sorunu vs. örnek verilebilir. Bu sorunlara çözüm bulmak için farklı yaklaşımlar geliştirilmiştir ve geliştirilmeye devam etmektedir. Bu çalışmada, büyük dil modellerinde ince ayar teknikleri ve bu tekniklerin uygulanırken hız, verimlilik ve depolamada maliyetin azaltılması için uygulanabilecek teknikler sunulmaktadır. Bu teknikler farklı Parametre Verimli İnce Ayar teknikleridir. Temel olarak olarak istem ayarlama, DüşükSıralı uygulama (LORA), bağdaştırıcılar ve önek ayarlama yöntemleri sunulmaktadır.
Özet (Çeviri)
Large Language Models have recently gained a lot of attention following the GPT-3 model. Then different open source language models were developed. With the development of these, the fine-tuning of large language models has become of great importance. One of the most important issues that has been the subject of recent research is fine-tuning in an efficient and cost-effective way. There are some problems when fine-tuning Large Language Models. Examples of these problems are the problem of insufficient storage space due to the large parameter size, the speed problem due to the large size, etc. Different approaches have been and continue to be developed to find solutions to these problems. In this paper, we present techniques for fine-tuning large language models and techniques that can be applied for speed, efficiency and cost reduction in storage. These techniques are different Parameter-Efficient Fine Tuning techniques. The main ones are prompt tuning, Low-Rank Adaption(LORA), adapters and prefix tuning.
Benzer Tezler
- ArGemma: Gemma'nın Arapçaya uyarlanddırılması için ince ayar ve çok görevli öğrenme mimarisi
ArGemma: A fine-tuning and multi-task learning architecture for adapting Gemma to Arabic
TAHA AL-SELWI
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SERAP ÇAKAR KAMAN
- Bazı esterlerin kinetik incelenmesi ve termodinamik parametrelerin belirlenmesi
Kinetic study and detesmination of thermodnamic parameters of some esters
İBRAHİM TAŞ
Yüksek Lisans
Türkçe
1986
Kimya MühendisliğiUludağ ÜniversitesiKimya Ana Bilim Dalı
PROF. DR. MUSTAFA CEBE
- Diesel motorları yakıt püskürtme sistemlerinin dinamik simülasyonu
Başlık çevirisi yok
İRFAN KARAGÖZ
Yüksek Lisans
Türkçe
1986
Makine MühendisliğiUludağ ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. OĞUZ BORAT
- Nükleer rezonasta moleküler yapıların incelenmesi (yapısal faz geçiş kuramları üzerine bir inceleme)
Başlık çevirisi yok
ABDURRAHMAN ANDİÇ
Yüksek Lisans
Türkçe
1986
Fizik ve Fizik MühendisliğiUludağ ÜniversitesiFizik Ana Bilim Dalı
PROF. DR. AYTAÇ YALÇINER
- Akaryakıtla çalışan endüstriyel tav fırınlarında yanma, sıcaklık ve basıncın optimum kontrolu
Optimum control of combustion temperature and pressure in industrial tempering furnaces working with fuel-oil
MEHMET EROĞLU
Yüksek Lisans
Türkçe
1987
Makine MühendisliğiGazi ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. YÜCEL ERCAN