Uncovering efficient learning and initialisation algorithms for neural networks using evolutionary algorithms and theoretical analyses
Evrimsel algoritmaları ve teorik analizleri kullanarak sinir ağları için etkili öğrenme ve başlatma algoritmalarını açığa çıkarma
- Tez No: 981820
- Danışmanlar: PROF. RICCARDO POLI
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: Unıversıty Of Essex
- Enstitü: Yurtdışı Enstitü
- Ana Bilim Dalı: Bilgisayar Bilimleri Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Yapay Sinir Ağları (YSA), en yaygın kullanılan makine öğrenimi algoritmalarından biridir. Yıllar boyunca çok sayıda YSA türü geliştirilmiş ve birçok alana uygulanmıştır. Bununla birlikte, yavaş öğrenme ve bazı derin YSA türlerinin kaybolan gradyan problemi nedeniyle öğrenememesi gibi hala üstesinden gelinmesi gereken önemli sorunlar vardır. Bu tez, bu sorunları yeni verimli öğrenme ve başlatma algoritmaları yoluyla çözmeye çalışmıştır. Bunu yapmak için kullanılan araçlardan biri Genetik Programlamadır (GP): bir program evrimi biçimi. YSA'lar için öğrenme kuralları oluşturmak için GP kullanımı konusunda çok az araştırma yapılmıştır. Bu tez, diğerlerinin bıraktığı yerden başladı ve aynı zamanda öğrenme kurallarını adil bir şekilde karşılaştırmak için titiz bir metodoloji geliştirdi. GP, hızlı ve genel bir öğrenme kuralı geliştirebildi. Kural için nitel bir yorum ve deneysel kanıt, kuralın standart geri yayılma algoritmasından daha üstün olduğunu gösterdi. Kaybolan gradyan problemi, sigmoid aktivasyon fonksiyonlarını kullanan derin YSA'ların eğitimi önünde uzun süredir devam eden bir engeldir. Literatürde durumu iyileştirmek için önerilen yöntemler çok başarılı değildir. Bu tez ilk olarak GP'yi problemi çözen bir başlatma algoritması keşfetmek için kullandı. Ardından, gelişen algoritmanın derinlemesine bir analizini ve kaybolan gradyan probleminin başlangıçtaki ağırlık dağılımının ortalama seçimine ne ölçüde bağlı olduğuna dair teorik analiz yaptık. Her ikisi de ağırlıkların dikkatle seçilmiş bir negatif ortalama ile başlatılmasının ağırlık uzayında büyük başlangıç gradyanları vereceğini gösterdi. Sonunda, deneysel doğrulama, standart geri yayılma algoritmasının standart bir kıyaslama problemleri setinde 10 ve 15 gizli katmana sahip derin ağları eğitmede böylesine iyi bir başlangıç konumundan başlayarak başarılı ve verimli olduğunu gösterdi.
Özet (Çeviri)
Artificial Neural Networks (ANNs) are one of the most widely used form of machine learning algorithms. Over the years numerous types of ANN have been developed and applied to many domains. However, there are still important problems to overcome including their slow learning and the inability of certain types of deep ANNs to learn, due to the vanishing gradient problem. This thesis attempted to solve these problems via novel efficient learning and initialisation algorithms. One of the tools used to do this is Genetic Programming (GP): a form of program evolution. Very little research had been done on the use of GP to induce learning rules for ANNs. This thesis started from where others left and also developed a rigorous methodology for fairly comparing learning rules. GP was able to evolve a learning rule that is fast and general. A qualitative interpretation for the rule and empirical evidence showed it is superior to the standard back-propagation algorithm. The vanishing gradient problem is a long-standing obstacle to the training of deep ANNs using sigmoid activation functions. The methods proposed in the literature to improve the situation are not very successful. This thesis first used GP to discover an initialisation algorithm that solve the problem. Then, we performed an in-depth analysis of the evolved algorithm and a theoretical analysis of the extent to which the vanishing gradient problem depends on the choice of the mean of the initial weight distribution. Both indicated that initialising the weights with a carefully selected negative mean would give large initial gradients in weight space. Empirical verification finally showed that starting from such a good initial position, the standard back-propagation algorithm is successful and efficient at training deep networks with 10 and 15 hidden layers on a standard set of benchmark problems.
Benzer Tezler
- İnsan gen yolaklarında ikâme modelleme ve makine öğrenmesi kullanarak varyant analizi
Variant analysis in human gene networks using surrogate modelling and machine learning
FURKAN AYDIN
Yüksek Lisans
Türkçe
2024
Genetikİstanbul Teknik ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SÜHA TUNA
- Rüzgâr enerji sistemlerinde makine öğrenmesi ile kısa, orta ve uzun vadeli elektrik enerjisi üretim tahmini
Short, medium, and long-term electricity generation forecasting with machine learning in wind energy systems
AVŞİN AY
Yüksek Lisans
Türkçe
2025
Elektrik ve Elektronik MühendisliğiDicle ÜniversitesiYenilenebilir Enerji Kaynakları Ana Bilim Dalı (disiplinlerarası)
DR. ÖĞR. ÜYESİ HEYBET KILIÇ
- Gelişmiş makine öğrenmesi ile sermaye piyasalarında kısa vadeli yön tahmini ve dinamik TP/SL analizi
Short-term direction forecasting in capital markets with advanced machine learning and dynamic TP/SL analysis
EMRE ARI
Doktora
Türkçe
2026
İstatistikİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. ALP ÜSTÜNDAĞ
- Tuzlu su desalinasyonunda yapay zeka kullanımı
Application of artificial intelligence in saltwater desalination
RABİYA KARALI TÜRKER
Yüksek Lisans
Türkçe
2025
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ CEMANUR AYDINALP PENÇE
