Evrişimli sinir ağları için hibrit bir iyileştirici geliştirilmesi
Development of a hybrid optimizer for convolutional neural networks
- Tez No: 1015466
- Danışmanlar: DR. ÖĞR. ÜYESİ VAHİT TONGUR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Derin öğrenme, Görüntü sınıflandırma, Deep learning, Image classification
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Konya Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Derin öğrenme modellerinin başarısı, mimari tasarımın yanı sıra model parametrelerini güncelleyen optimizasyon algoritmalarının performansına da bağlıdır. Günümüzde endüstri standardı hâline gelen Adam optimizasyon algoritması, yüksek hesaplama verimliliği ve hızlı yakınsama kabiliyeti sunmasına rağmen; düşük genelleme kapasitesi, eğitim sürecinin başlangıcında gözlenen varyans kararsızlığı ve gürültülü gradyanlara karşı aşırı duyarlılık gibi yapısal sınırlamalara sahiptir. Bu tez çalışmasında, mevcut adaptif yöntemlerin bu kısıtlamalarını gidermek ve daha kararlı ve dayanıklı bir öğrenme süreci sağlamak amacıyla Self-Confident RadaBelief (SCRB) adı verilen özgün bir hibrit optimizasyon algoritması geliştirilmiştir. Önerilen yöntem; RAdam algoritmasının varyans doğrultma (rectification) mekanizması ile AdaBelief'in gradyan tahmin hassasiyetini birleştirmekte, buna ek olarak literatürde ilk kez önerilen L1 tabanlı varyans düzgünleştirme terimi sayesinde modelin ani ve hatalı gradyan dalgalanmalarına karşı daha dirençli hâle gelmesini sağlamaktadır. Algoritmanın performansı; farklı zorluk seviyelerini temsil eden CIFAR-10, CIFAR-100, Caltech-101, STL-10 ve Fashion MNIST veri setleri üzerinde, modern tekniklerle (Swish aktivasyon fonksiyonu ve Batch Normalization) güçlendirilmiş Derin Konvolüsyonel Sinir Ağı (Deep CNN) mimarisi kullanılarak değerlendirilmiştir. Deneysel sonuçlar, SCRB algoritmasının özellikle yüksek karmaşıklık içeren CIFAR-100 veri setinde %79,66 doğruluk oranına ulaşarak Adam (%78,72) ve RMSprop (%77,19) algoritmalarını geride bıraktığını göstermektedir. Dengesiz veri dağılımına sahip Caltech-101 veri setinde ise rakiplerine kıyasla daha hızlı yakınsama sağlayarak (184. epokta) hesaplama verimliliğini ortaya koymuştur. Elde edilen bulgular, geliştirilen yöntemin hem kararlı bir optimizasyon süreci sunduğunu hem de modelin genelleme yeteneğini artırarak gürültüye duyarlı görüntü sınıflandırma görevleri için etkin bir alternatif oluşturduğunu göstermektedir.
Özet (Çeviri)
The success of deep learning models depends not only on architectural design but also on the effectiveness of optimization algorithms responsible for updating model parameters. Although the Adam optimization algorithm, which has become an industry standard, provides high computational efficiency and fast convergence, it suffers from several structural limitations, including limited generalization capability, variance instability in the early stages of training, and excessive sensitivity to noisy gradients. To address these limitations and to ensure a more stable and robust learning process, this thesis proposes a novel hybrid optimization algorithm named Self-Confident RadaBelief (SCRB). The proposed method integrates the variance rectification mechanism of the RAdam algorithm with the precise gradient estimation strategy of AdaBelief. In addition, an L1-based variance smoothing term, which has not been previously explored in adaptive optimization methods, is introduced to enhance robustness against sudden and erroneous gradient fluctuations. This design enables the optimizer to achieve more reliable parameter updates, particularly in noise-sensitive training scenarios. The performance of the proposed algorithm was evaluated on multiple benchmark datasets representing varying levels of complexity, including CIFAR-10, CIFAR-100, Caltech-101, STL-10, and Fashion MNIST. All experiments were conducted using a Deep Convolutional Neural Network (Deep CNN) architecture enhanced with modern techniques such as Swish activation functions and Batch Normalization. Experimental results demonstrate that the SCRB algorithm outperforms widely used optimization methods such as Adam and RMSprop, particularly on high-complexity datasets. On the CIFAR-100 dataset, SCRB achieved an accuracy of 79.66%, surpassing Adam (78.72%) and RMSprop (77.19%). Furthermore, on the Caltech-101 dataset, which is characterized by an imbalanced data distribution, the proposed method exhibited superior computational efficiency by converging faster, reaching optimal performance at the 184th epoch. These findings indicate that SCRB provides a stable optimization process while significantly improving the generalization capability of deep learning models, making it an effective alternative for noise-sensitive image classification tasks.
Benzer Tezler
- Fake news classification using machine learning and deep learning approaches
Makine öğrenimi ve derin öğrenme yaklaşımlarını kullanarak sahte haber sınıflandırması
SAJA ABDULHALEEM MAHMOOD AL-OBAIDI
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ TUBA ÇAĞLIKANTAR
- Metasezgisel algoritmalar ile aşırı öğrenme makinesi parametrelerinin optimizasyonu
Optimization of extreme learning machine parameters with metaheuristic algorithms
MUSA DOĞAN
Yüksek Lisans
Türkçe
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSelçuk ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ İLKER ALİ ÖZKAN
- Anomaly detection systems in SDNS using a hybrid deep learning -LSTM based approach
Hibrit derin öğrenme -lstm tabanlı yaklaşım kullanılarak SDNS'de anomali tespit sistemleri
AHMED MOHANAD JABER ALHİLO
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş ÜniversitesiBilişim Teknolojileri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ HAKAN KOYUNCU
- Selectıve state space modelıng for multı-modal medıcal ımage synthesıs
Çoklu kip tıbbi görüntü sentezi için seçici durum uzayı modellemesi
ÖMER FARUK ATLI
Yüksek Lisans
İngilizce
2026
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. TOLGA ÇUKUR
- Design and implementation of an ECB-BUS compatible FDC board
Başlık çevirisi yok
M.ORHUN ARKUT
Yüksek Lisans
İngilizce
1987
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiDOÇ. DR. HAYRETTİN KÖYMEN