Learning filter scale and orientation in convolutional neural networks
Evrı̇şı̇msel sı̇nı̇r ağlarında fı̇ltre ölçeğı̇ ve oryantasyonunun öğrenı̇lmesı̇
- Tez No: 537803
- Danışmanlar: DR. ÖĞR. ÜYESİ FAİK BORAY TEK
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: CNN, Sinir ağları, Öğrenme algoritmaları, CNN, Nerve net, Learning algorithms
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Işık Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Evrişimsel sinir ağlarında filtre boyutu, sayısı ve ortaklama boyutu elle seçilmek- tedir. Derin katmanlı sinir ağları hiyerarşik çok ölçekli temsiller öğrenebilme- sine rağmen, sabit filtre boyutları farklı ölçekteki öğrenilebilecek filtre sayısını sınırlamaktadır. Aynı katmanda farklı ölçeklerde filtreleri eğitim aşamasında öğrenebilen bir mimari olabilir mi? Önerilen filtre modelimizde filtre ölçek ve oryantasyonları geriye yayılım ile öğre- nilebilir. Bu şekilde, aynı evrişimsel katmanda farklı ölçek ve oryantasonlarla büyük ve küçük objeleri tanımlayabiliriz. Önerilen model, nispeten büyük filtre (ızgara) boyutlarına sahiptir. Türevi olan bir çevreleyici fonksiyon ile filtrelerin efektif ölçeklerini ve oryantasyonlarını, evrişim işlemine girmeden, katsayı ma- trislerini maskeleyebiliriz. Bu sayede, sadece çevreleyici fonksiyon içerisindeki katsayılar eğitilecektir. Bu çalışmamızda, çok değişkenli (2 Boyutlu) Gaussian fonksiyonunu çevreleyici fonksiyon olarak kullandık. Kovaryans matrisinin geriye yayılım yöntemiyle eği- tilmesiyle, çevreyeliyici fonksiyonun büyüyüp, küçüldüğünü ve dönebildiğini gös- terdik. Çevreliyici fonksiyonun eğitilebildiğini ve katsayılarla işbirliğini, modelin en basit haliyle deneyimledik. Derin katmanlardaki performansını, derin ve geniş mimariler üzerinde çalıştırdık ve performansını izledik. Önerilen modeli, MNIST, MNIST-cluttered ve CIFAR-10 veri kümelerinde çaıştırdık ve geleneksel evrişim- sel sinir ağ mimarilerindeki çalışma performanslarıyla karşılaştırdık. Sonuçlar, önerdiğimiz modelin, farklı ölçek ve oryanyasyonlarda, aynı katmanda, filtreler öğrenebildiğini gösterdi. Ayrıca, deneylerimiz, adaptif evrişimsel katmanının aynı, özellikle veri kümesinde farklı ölçeklerde obje ve gürültülü arkaplan içeren veri kümelerinde daha iyi çalıştığını gösterdik
Özet (Çeviri)
Convolutional neural networks have many hyper-parameters such as filter size, number of filters, and pooling size, which require manual tuning. Though deep stacked structures are able to create multi-scale and hierarchical representations, manually fixed filter sizes limit the scale of representations that can be learned in a single convolutional layer. Can we adaptively learn to scale the filters on training time? Proposed adaptive filter model can learn the scale and orientation parameters of filters can be learned using back propagation. Therefore, in a single convolution layer, we can create filters of different scale and orientation that can adapt to small or large features and objects. The proposed model uses a relatively large base size (grid) for filters. In the grid, a differentiable function acts as an envelope for the filters. The envelope function guides effective filter scale and shape/orientation by masking the filter weights before the convolution. Therefore, only the weights in the envelope are updated during training. In this work, we employed a multivariate (2D) Gaussian as the envelope function and showed that it can grow, shrink, or rotate by updating its covariance matrix during back propagation training . We tested the model with its basic settings to show the collaboration of weight matrix and envelope function is possible. We used a deeper architecture to show the performance on deeper and wider networks. We tested the new filter model on MNIST, MNIST-cluttered, and CIFAR-10 and compared the results with the networks that used conventional convolution layers. The results demonstrate that the new model can effectively learn and produce filters of different scales and orientations in a single layer. Moreover, the experiments show that the adaptive convolution layers perform equally; or better, especially when data includes objects of varying scale and noisy backgrounds
Benzer Tezler
- Ameliyat öncesi hastaların ameliyata ilişkin duyguları, düşünceleri ve bilgi istekleri
The Pre-operative patiensts feelings throughts and information requirements concerning their surgical operations
KADRİYE BULDUKOĞLU
Yüksek Lisans
Türkçe
1987
HemşirelikCumhuriyet ÜniversitesiHemşirelik Ana Bilim Dalı
YRD. DOÇ. DR. MELİHA ATALAY
- Sivas ili cumhuriyet üniversitesi tip fakültesi numune ve sosyal sigortalari kurumu hastanelerinde çalişan hemşirelerin intra venöz (damar içi) sivi tedavisine ilişkin bilgi ve uygulamalari
The knowledge and practice related to the intravenous fluid theraph of the nurses working at the hospital of the medical faculty in cumhuriyet university, numune hastanesi and sosyal sigortalar kurumu hastanesi in sivas
İLKAY KALELİ
Yüksek Lisans
Türkçe
1985
HemşirelikCumhuriyet ÜniversitesiHemşirelik Ana Bilim Dalı
YRD. DOÇ. DR. MELİHA ATALAY
