Az örnekle öğrenme problemlerinde derin öğrenme temelli meta-öğrenme algoritmalarının karşılaştırılması
Comparison of deep learning based meta-learning algorithms on few-shot learning problems
- Tez No: 647494
- Danışmanlar: DR. ÖĞR. ÜYESİ AYLA GÜLCÜ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2020
- Dil: Türkçe
- Üniversite: Fatih Sultan Mehmet Vakıf Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Meta-öğrenme, literatürde daha çok öğrenmeyi öğrenme olarak dikkat çekmektedir ve bunun temel sebebi ise makine öğrenmesi yaklaşımlarının eğitim sürecini daha önceki eğitimlerden elde edilmiş olan genel özellikleri kullanarak kısaltmayı amaçlamasıdır. İnsanlardan örnek vermek gerekirse, yeni bir konuyu öğrenirken daha önceki benzer konularla ilişki kurarak önceden elde etmiş oldukları bilgiyle birlikte yeni konuyu öğrenme sürecini az sayıda örneğe bakarak başarılı bir şekilde tamamlarlar. Aynı şekilde, makine öğrenmesi algoritmalarının her defasında büyük bir veri kümesine ihtiyaç duymaksızın, az sayıda örnekle ve önceki algoritmalardan öğrenilmiş olan meta-bilgilerle yeni görevler için daha hızlı bir şekilde genelleştirilebilmesi meta-öğrenme sayesinde mümkündür. Meta-öğrenme algoritmaları iki ana işlem içermektedir ve bu işlemler için iç içe iki döngüye sahiptir. Dışarıdaki döngüde görevler hakkında genel özellikler öğrenilmeye ve genel bilgiler çıkarılmaya çalışılırken, içerideki döngüde ise yeni gelecek olan görevlere daha çabuk adapte olmaya çalışılır. Dışarıdaki döngüde çıkartılan genel özellikler sayesinde, içerideki adaptasyon sürecinin daha kısa ve daha doğru sonuçlar elde etmesi sağlanır. MAML ve ProtoNet gibi, literatürde karşılaştırma için çokça kullanılmakta olan meta-öğrenme algoritmalarının, az örnekle öğrenme problemlerine uygulanarak Omniglot, MiniImageNet, CIFAR100 ve CUB gibi birden fazla veri kümesi üzerinde elde edecekleri sonuçlar ayrıntılı incelendi. Bu sonuçlara bakarak meta-öğrenme hakkında, kullanılan algoritmalar (MAML ve ProtoNet) ve veri kümeleri (Omniglot, MiniImageNet, CIFAR100 ve CUB) hakkında çıkarımlar yapıldı. MAML algoritması için; eğitim ve test sürecindeki adım sayıları, adım genişliği gibi parametreler farklı yol sayısı (way) ve örnek sayısı (shot) yapılandırmaları üzerinde test edilmiştir. Örnek sayısı 1 olarak alındığında MAML algoritması daha başarılı sonuçlar elde ederken örnek sayısı 5 olarak alındığında ise MAML ve ProtoNet algoritmaları yaklaşık olarak benzer sonuçlar elde etmişlerdir.
Özet (Çeviri)
Meta-learning stands out as“learning to learn”in the literature, and aims to shorten the training process of machine learning approaches by using the general features obtained from previous training. For example, while people learn a new subject, they successfully complete the process of learning the new subject with a few examples by and establishing a relationship with the previous similar topics and the knowledge they have previously obtained. Likewise, machine learning algorithms can be quickly generalized for new tasks with a few training examples and knowledge learned from previous training examples without the need for a large data set each time. Meta-learning algorithms involve two main processes and have two nested loops for these processes. While trying to learn general features in the outer loop about the tasks and to get general information, it is tried to adapt to the new tasks more quickly in the inner loop. By this way, learned general features in the outer loop makes the adaptation process inside shorter and ensures it gets more accurate results. Meta-learning algorithms, such as MAML and ProtoNet, which are widely used in the literature are applied to few-shot learning problems and the obtained results examined in detail on multiple data sets such as Omniglot, MiniImageNet, CIFAR100 and CUB. Based on these results, inferences about meta-learning, algorithms (MAML, ProtoNet) and datasets (Omniglot, MiniImageNet, CIFAR100 and CUB) were made. Parameters such as number of gradient steps and step size in the training and testing were tested on different way and shot configurations for the MAML algorithm. While MAML obtained more successful results when the number of shot is taken as 1, MAML and ProtoNet algorithms obtained approximately similar results when the number of shot was taken as 5.
Benzer Tezler
- GAN-based intrinsic exploration for sample efficient reinforcement learning
Örnek verimli pekiştirmeli öğrenme için üretken çekişmeli ağlarla içsel keşif
DOĞAY KAMAR
Yüksek Lisans
İngilizce
2022
Bilim ve Teknolojiİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. GÖZDE ÜNAL
- Neural network estimatorsfor optimal tour lengths of TSP instances with arbitrary node distributions
Gelişigüzel düğüm dağılımlarına sahip GSP örneklerinin en iyi tur uzunluğunu tahminlemek için sinir ağı tahminleyicileri
TAHA VAROL
Yüksek Lisans
İngilizce
2022
UlaşımÖzyeğin ÜniversitesiVeri Bilimi Ana Bilim Dalı
PROF. DR. OKAN ÖRSAN ÖZENER
DR. ÖĞR. ÜYESİ ERİNÇ ALBEY
- Geniş ölçekli veriler üzerinde sınıflandırma ve bölütleme amaçlı evrişimsel sinir ağı ve istatistiksel modellerin geliştirilmesi
Development of convolutional neural network and statistical models for classification and segmentation on large-scale data
NURULLAH ÇALIK
Doktora
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. LÜTFİYE DURAK ATA
- Derin öğrenme tabanlı görüntü gürültü giderme için yoğun bağlantı kullanan yeni yaklaşımlar
Densely connected structures in deep learning based image denoising
VEDAT ACAR
Yüksek Lisans
Türkçe
2022
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ENDER METE EKŞİOĞLU
- Anomaly detection using machine learning techniques: A comparative study on first payment default prediction in retail loans
Yapay öğrenme yöntemleriyle anomali saptanması: Bireysel kredilerde ilk ödemede batma tahmini üzerine karşılaştırmalı bir çalışma
AHMET TALHA YİĞİT
Yüksek Lisans
İngilizce
2022
Bankacılıkİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. ALP ÜSTÜNDAĞ