Geri Dön

Revisiting image captioning structures based on CNN and RNN, and improving the performance using modified decoders with residual connections

Evrişimli sinir ağı ve tekrarlayan sinir ağı tabanlı tanım oluşturma yapılarını yeniden değerlendirmek ve artık bağlantıları olan kod çözücüler kullanarak performansı artırmak

PDF İndir

  1. Tez No: 792425
  2. Yazar: SİNAN SARAÇOĞLU
  3. Danışmanlar: PROF. DR. EMİN ANARIM
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Bilgisayarla görme, Derin öğrenme, Evrişimli sinir ağları, Sayısal görüntü işleme, Yapay sinir ağları, Computer vision, Deep learning, Convolutional neural networks, Digital image processing, Artificial neural networks
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: Boğaziçi Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Bu tezde, kodlayıcı olarak bir Evrişimli Sinir Ağı (CNN) ve kod çözücü olarak Tekrarlayan Sinir Ağından (RNN) oluşan tanım oluşturma yapısı yeniden ziyaret edilerek, farklı görüntü özellik çıkarıcılarının, farklı RNN hücrelerinin, farklı kelime gömme türlerinin ve artık bağlantıların kullanımının etkileri karşılaştırıp değerlendirildi. Tanım oluşturma araştırma alanında oldukça popüler olan ``Show, Attend and Tell" modelinde, RNN hücreleri arasına artık bağlantılar eklendi, ek olarak hem kodlayıcı hem de kod çözücü üzerinde değişiklikler yapılarak, modelin tanım oluşturma görevindeki performansı iyileştirildi. Ayrıca, önceden eğitilmiş 3 farklı kelime gömme içeren modeller eğitildi ve bunların faydaları araştırıldı. En iyi modelde, baz olarak alınan modele kıyasla 34 BLEU-4 puanı ve 15 SPICE puanı gelişme elde edildi. Ayrıca, en yüksek performans gösteren model, uzamsal alanda temsil edilen görüntüler yerine, frekans alanında temsil edilen görüntülerle eğitildi, etkileri araştırıldı ve bu yaklaşımın, modelin performansını artıramayacağı sonucuna varıldı. Deneylerin sonuçları, önerilen değişikliklerin etkinliğini göstermekte ve artık bağlantıların potansiyeline ilişkin içgörü sağlamaktadır.

Özet (Çeviri)

In this thesis, the image captioning structure consisting of a Convolutional Neural Network (CNN) as the encoder and a Recurrent Neural Network (RNN) as the decoder is visited by comparing and evaluating the effects of different image feature extractors, different RNN cells, different types of word embeddings, and the involvement of residual connections between the RNN cells. The famous ``Show, Attend and Tell" model is modified by adding residual connections between the RNN cells and adding other modifications on both the encoder and the decoder side, which improved the performance of the model on the image captioning task. Furthermore, models were trained by implementing 3 different pre-trained word embeddings and their benefits were explored. With the best model, 34 BLEU-4 points and 15 SPICE points improvement were achieved compared with the base model. The effects of training our best model with the images transformed into the frequency domain rather than the images represented in the spatial domain are investigated and it is concluded that this approach cannot enhance the performance of the model. The results of the experiments demonstrate the effectiveness of the proposed modifications and provide insights into the potential of residual connections.

Benzer Tezler

  1. Tez No

    960357

    Hizmet atmosferi ve marka imajının tekrar ziyaret etme üstündeki etkisi: Antalya ili otelleri üzerinde bir araştırma

    The effect of service atmosphere and brand image on revisiting: A study on hotels in Antalya province

    HANDE COŞKUN

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    İşletmeKaramanoğlu Mehmetbey Üniversitesi

    İşletme Ana Bilim Dalı

    PROF. DR. MURAT BAY

  2. Tez No

    582262

    Text and image in dialogue: Revisiting iron age Neo-Hittite stelae

    Metin ve imgenin diyaloğu: Demir çağı Neo-Hitit stellerinin yeni bir açıdan incelenmesi

    SAİT KUTAY ŞEN

    Yüksek Lisans

    İngilizce

    İngilizce

    2019

    Eski Çağ Dilleri ve KültürleriBoğaziçi Üniversitesi

    Tarih Ana Bilim Dalı

    PROF. DR. ASLI ÖZYAR MİZRAHİ

  3. Tez No

    709038

    Destinasyon imajı, bütüncül imaj ve kişisel normatif inançların yeniden ziyaret etme niyeti üzerindeki etkisi: Siirt ili örneği

    The effect of destination image, holistic image and personal normative beliefs on revisiting intention: Siirt city example

    SERKAN GÜN

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Gastronomi ve Mutfak SanatlarıMardin Artuklu Üniversitesi

    Gastronomi ve Mutfak Sanatları Ana Bilim Dalı

    DOÇ. DR. LOKMAN TOPRAK

  4. Tez No

    1010780

    Medikal turizm destinasyon imajı, anadil yatkınlığı ve tekrar ziyaret niyeti arasındaki yapısal ilişkiler: Almanya Türk diasporası üzerinde bir araştırma

    Structural relationships between medical tourism destination image, native language proficiency and revisiting intention: A study on the Turkish diaspora in Germany

    FAHRİYE NALAN KARTAL

    Yüksek Lisans

    Türkçe

    Türkçe

    2026

    Sağlık YönetimiDüzce Üniversitesi

    Sağlık Turizmi Ana Bilim Dalı (disiplinlerarası)

    DOÇ. DR. FUAT YALMAN

  5. Tez No

    570255

    Müşteri deneyimi, deneyimsel değer ve yeşil davranışlara karşı tutumun tekrar ziyaret niyetine etkisinin belirlenmesi: Yeşil imajın düzenleyicilik ve aracılık rolü

    Determining the effect of attitude against customer experience, experiential value and green behavior on the purpose of revisiting: The moderating and mediating role of green image

    SİNAN ÇAVUŞOĞLU

    Doktora

    Türkçe

    Türkçe

    2019

    İşletmeHasan Kalyoncu Üniversitesi

    İşletme Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ YAKUP DURMAZ

Geri Dön