Geri Dön

Uncovering efficient learning andinitialisation algorithms for neuralnetworks using evolutionaryalgorithms and theoretical analyses

Başlık çevirisi mevcut değil.

PDF İndir

  1. Tez No: 720656
  2. Yazar: AHMET YILMAZ
  3. Danışmanlar: Belirtilmemiş.
  4. Tez Türü: Doktora
  5. Konular: Elektrik ve Elektronik Mühendisliği, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Electrical and Electronics Engineering, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: İngilizce
  9. Üniversite: Unıversıty Of Essex
  10. Enstitü: Yurtdışı Enstitü
  11. Ana Bilim Dalı: Belirtilmemiş.
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Özet yok.

Özet (Çeviri)

Artificial Neural Networks (ANNs) are one of the most widely used form of machine learning algorithms. Over the years numerous types of ANN have been developed and applied to many domains. However, there are still important problems to overcome including their slow learning and the inability of certain types of deep ANNs to learn, due to the vanishing gradient problem. This thesis attempted to solve these problems via novel efficient learning and initialisation algorithms. One of the tools used to do this is Genetic Programming (GP): a form of program evolution. Very little research had been done on the use of GP to induce learning rules for ANNs. This thesis started from where others left and also developed a rigorous methodology for fairly comparing learning rules. GP was able to evolve a learning rule that is fast and general. A qualitative interpretation for the rule and empirical evidence showed it is superior to the standard back-propagation algorithm. The vanishing gradient problem is a long-standing obstacle to the training of deep ANNs using sigmoid activation functions. The methods proposed in the literature to improve the situation are not very successful. This thesis first used GP to discover an initialisation algorithm that solve the problem. Then, we performed an in-depth analysis of the evolved algorithm and a theoretical analysis of the extent to which the vanishing gradient problem depends on the choice of the mean of the initial weight distribution. Both indicated that initialising the weights with a carefully selected negative mean would give large initial gradients in weight space. Empirical verification finally showed that starting from such a good initial position, the standard back-propagation algorithm is successful and efficient at training deep networks with 10 and 15 hidden layers on a standard set of benchmark problems.

Benzer Tezler

  1. Tez No

    981820

    Uncovering efficient learning and initialisation algorithms for neural networks using evolutionary algorithms and theoretical analyses

    Evrimsel algoritmaları ve teorik analizleri kullanarak sinir ağları için etkili öğrenme ve başlatma ​​algoritmalarını açığa çıkarma

    AHMET YILMAZ

    Doktora

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolUnıversıty Of Essex

    Bilgisayar Bilimleri Ana Bilim Dalı

    PROF. RICCARDO POLI

  2. Tez No

    887780

    İnsan gen yolaklarında ikâme modelleme ve makine öğrenmesi kullanarak varyant analizi

    Variant analysis in human gene networks using surrogate modelling and machine learning

    FURKAN AYDIN

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Genetikİstanbul Teknik Üniversitesi

    Bilgisayar Bilimleri Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ SÜHA TUNA

  3. Tez No

    920892

    Rüzgâr enerji sistemlerinde makine öğrenmesi ile kısa, orta ve uzun vadeli elektrik enerjisi üretim tahmini

    Short, medium, and long-term electricity generation forecasting with machine learning in wind energy systems

    AVŞİN AY

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    Elektrik ve Elektronik MühendisliğiDicle Üniversitesi

    Yenilenebilir Enerji Kaynakları Ana Bilim Dalı (disiplinlerarası)

    DR. ÖĞR. ÜYESİ HEYBET KILIÇ

  4. Tez No

    979536

    Tuzlu su desalinasyonunda yapay zeka kullanımı

    Application of artificial intelligence in saltwater desalination

    RABİYA KARALI TÜRKER

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ CEMANUR AYDINALP PENÇE

  5. Tez No

    895204

    Mimari tasarım sürecinin erken aşamasında kullanılacak artırılmış gerçeklik uygulamalarının geliştirilmesi için bir yöntem önerisi

    A new approach for development of a mobile augmented reality application to be used in the early phases of the architectural design process

    MAHMUT ÇAĞDAŞ DURMAZOĞLU

    Doktora

    Türkçe

    Türkçe

    2023

    Mimarlıkİstanbul Teknik Üniversitesi

    Bilişim Ana Bilim Dalı

    PROF. DR. LEMAN FİGEN GÜL

Geri Dön