A transformer-based approach for fusing infrared and visible band images
Kızılötesi ve görünür bant görüntülerin birleştirilmesi için transformer tabanlı bir yaklaşım
- Tez No: 827161
- Danışmanlar: DOÇ. DR. ELİF SÜRER, DOÇ. DR. ERDEM AKAGÜNDÜZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Sayısal görüntü işleme, Digital image processing
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Modelleme ve Simülasyon Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Görüntü füzyonu, farklı sensörlerden elde edilen görüntülerin birleştirilerek tamamlayıcı bilgilerden yararlanan tek bir görüntü oluşturulması sürecidir. Son zamanlarda, farklı sensörlerden elde edilen görüntülerin birleştirilerek geliştirilmiş bir görüntü elde etme konusunda büyük bir ilgi artışı yaşanmaktadır. Derin öğrenme yöntemleri, görüntü füzyonu için anlamlı özelliklerin çıkarılmasında yaygın olarak kullanılmaktadır; ancak bu yöntemler genellikle yerel özelliklerin entegrasyonuna odaklanırken görüntünün daha geniş bağlamını dikkate almamaktadır. Bu kısıtlamayı aşmak için Transformer tabanlı modeller, dikkat mekanizmaları aracılığıyla genel bağlamlı bağımlılıkları yakalamayı hedefleyen umut vaat eden bir çözüm olarak ortaya çıkmıştır. Bu doğrultuda, yerel ve genel bağlam bilgisini etkili bir şekilde dikkate alan bir transformer tabanlı çok ölçekli füzyon stratejisi içeren yeni bir görüntü füzyon yaklaşımı önermekteyiz. Önerdiğimiz yöntem, ilk aşamada bir otokodlayıcı ile çok ölçekli derin özelliklerin çıkarılmasını sağlayan iki aşamalı bir eğitim yaklaşımını takip etmektedir. Ardından, çok ölçekli özellikler, Konvolüsyonel Sinir Ağları (CNN'ler) ve Transformer'ların bir kombinasyonu kullanılarak birleştirilmektedir. CNN'ler yerel özellikleri yakalamak için kullanılırken, Transformer genel bağlam özelliklerini entegre etmekten sorumludur. Benzer yöntemlere kıyasla, füzyon için gerçek değeri olmayan bir kayıp fonksiyonu tanımlama zorluklarını ele almak için yeni kayıp fonksiyonları önermekteyiz. Çeşitli benchmark veri kümeleri üzerinde yapılan kapsamlı deneylerle, önerilen yöntemimiz ve yeni kayıp fonksiyonu tanımı, diğer rekabetçi füzyon algoritmalarına kıyasla üstün performans sergilemektedir. Genel olarak, bu tez, görüntü füzyon tekniklerinde önemli ilerlemeler sunmakta, yenilikçi yaklaşımlar sunmakta ve bu alandaki en son teknolojiye katkıda bulunmaktadır.
Özet (Çeviri)
Image fusion is a process where images obtained from different sensors are combined to generate a single image that benefits from complementary information. Recently, there has been a growing interest in image fusion, which involves fusing images from diverse sensors to produce an enhanced image. Although deep learning methods have been widely employed in state-of-the-art techniques to extract meaningful features for image fusion, these methods primarily focus on integrating local features while disregarding the broader context within the image. To overcome this limitation, Transformer-based models have emerged as a promising solution, aiming to capture general context dependencies through attention mechanisms. Inspired by this, we propose a novel image fusion approach that incorporates a transformer-based multi-scale fusion strategy, effectively considering both local and general context information, thus enhancing the overall fusion process. Our proposed method follows a two-stage training approach, where an auto-encoder is initially trained to extract deep features at multiple scales. Subsequently, the multi-scale features are fused using a combination of Convolutional Neural Networks (CNNs) and Transformers. The CNNs are utilized to capture local features, while the Transformer handles the integration of general context features. Notably, in contrast to similar methods, we propose novel loss functions to address the challenges associated with defining a loss function when ground truth for fusion is absent. Through extensive experiments on various benchmark datasets, our proposed method, along with the novel loss function definition, demonstrates superior performance compared to other competitive fusion algorithms. Overall, this thesis presents significant advancements in image fusion techniques, offering innovative approaches and contributing to the state-of-the-art in this field.
Benzer Tezler
- İletken anilin, triflorometil-anilin ve diamino-disiyano-antrakinon polimerlerinin sentezi ve karakterizasyonu
Synthesis and characterization of conductive aniline, trifluoromethyl aniline, and diamino-dicyano anthraquinone polymers
SEVİL GÜNERALP
- Grafen sentezi ve elektrot malzemesi olarak geliştirilmesi
Graphene synthesis and its development as electrode materials
UTKAN ŞAHİNTÜRK
Doktora
Türkçe
2016
Metalurji MühendisliğiYıldız Teknik ÜniversitesiMetalurji ve Malzeme Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET EKERİM
- RSM optimizasyonu ile çörekotu (Nigella Sativa L.) atık biyokütlesi-esaslı üretilen aktif karbon kullanılarak uçucu organik bileşiklerin giderilmesi ve fotovoltaik uygulamalarının incelenmesi
Examination of volatile organic compounds removal and photovoltaic applications using activated carbon derived from black cumin (Nigella Sativa L.) waste biomass through RSM optimization
EBRU BATUR
Yüksek Lisans
Türkçe
2021
Kimya MühendisliğiSiirt ÜniversitesiKimya Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SİNAN KUTLUAY
- Yüksek performanslı polimerik yüzey kaplama malzemeleri
High performance polymeric surface coating materials
ELİF KESKİN
- Atık tekstillerden ileri dönüşüm nanolifli yağlı aerosol filtre medyalarının üretimi ve karakterizasyonu
Production and characterization of upcycled nanofibrous oily aerosol filter media from waste textiles
MELİKE GÜNGÖR
Doktora
Türkçe
2026
Tekstil ve Tekstil Mühendisliğiİstanbul Teknik ÜniversitesiTekstil Mühendisliği Ana Bilim Dalı
DOÇ. DR. ALİ KILIÇ