Image alignment for visible and infrared images taken by aerial systems
İnsansız hava araçları ile alınan görünür ve kızılötesi görüntülerin hizalanması
- Tez No: 982376
- Danışmanlar: DR. ÖĞR. ÜYESİ SEDAT ÖZER
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Özyeğin Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Uydu, insansız hava aracı (İHA) veya balon gibi araçlarla elde edilen hava görüntüleri, günümüzde eğlence, tarım, teslimat, gözetim, kurtarma ve afet yönetimi gibi pek çok alanda kullanılmaktadır. Teknoloji ve depolama donanımlarındaki son gelişmeler, hava araçlarındaki kameraların tek tek görüntüler yerine video kaydetmesine imkân tanımıştır. Bu doğrultuda, ilgili araştırma topluluğunda, hedef hava görüntüsü veya video analizi olduğunda bu zamana bağlı bilgiden yararlanma eğilimi artmıştır. Özellikle, hava videolarındaki ilgi nesnelerinin zamanında ve doğru bir şekilde segmentasyonu ve takip edilmesi son yıllarda önemli bir araştırma alanı hâline gelmiştir. Veriler kızılötesi ve görünür spektrum tabanlı farklı kameralarla elde edildiğinde, acil ve temel bir sorun, aynı düzlem üzerindeki bu farklı kameraların görüntülerini (veya videolarını) birbirleriyle hizalamaktır. Görüntü hizalama (veya kayıt işlemi), temelde farklı bir kamera tarafından çekilen bir görüntüyü diğer kameranın koordinat sistemine haritalayarak aynı nesnelerin her iki görüntüde de aynı koordinatta görünmesini sağlamaktır. Bu tezde, nesne algılama ve video nesne örnek segmentasyonu gibi diğer görevler için yardımcı olabilecek görüntü hizalama üzerine odaklanıyoruz. Derin öğrenme tabanlı bir çözüm geliştiriyor ve öneriyoruz; bu çözümün performansını literatürdeki geleneksel ve diğer derin öğrenme tabanlı yöntemlerle birden fazla veri kümesi üzerinde karşılaştırıyoruz. Görüntü hizalamanın yanı sıra, gelecekteki çalışmalar kapsamında, çalışmaları özetleyen ve performanslarını karşılaştıran bir video örnek segmentasyonu çalışması da sunuyoruz. Bu tezdeki ana katkılar şunlardır: (i) Farklı kameralarla aynı uç cihazda elde edilen görüntüleri hizalamaya yönelik bir tekniğin önerilmesi, (ii) Bu tür hizalama algoritmalarının birden çok veri kümesindeki performanslarının karşılaştırılıp raporlanması, (iii) Yakın zamanda önerilen son teknoloji Video Örnek Segmentasyonu (VIS) modellerinin çoklu veri kümeleri üzerindeki performans değerlendirmelerini özetleyen kapsamlı bir çalışmanın sunulması, (iv) VIS uygulamalarındaki eğitilebilir katmanların eğitilemeyen Fourier tabanlı katmanlarla değiştirilmesine yönelik bir yaklaşımın ortaya konması.
Özet (Çeviri)
Aerial images acquired by satellites, unmanned aerial vehicles (UAVs) or by other means such as balloons, are used in many applications in today's world including entertainment, agriculture, delivery, surveillance, rescue, and disaster management applications. Recent advances in technology and storage hardware allowed cameras to record videos as opposed to individual images in aerial vehicles in multiple modalities. Consequently, there is a recent trend in the relevant research community to leverage such information, when the goal is aerial image or video analysis. As a particular example, timely and accurate segmentation and association of objects of interest in such aerial video frames has been an important research field, recently. When the data is acquired by different cameras focusing on infrared and visible spectrum individually, a particular and an immediate problem is aligning the images (or videos) captured by such different cameras. Image alignment (or registration) is, essentially, the task where an image taken by a different camera is mapped onto the coordinate system of the other camera so that the same objects appear at the same coordinate on both images. In this thesis, we mainly focus on image alignment problem. We develop and propose a deep learning-based solution and compare its performance to traditional and other recent deep learning-based solutions from the relevant literature on multiple datasets. In addition to the image alignment, as additional tasks where such alignment can later be used as input, and as a part of future work, we provide a study on video instance segmentation algorithms that summarizes recent relevant advances and compares their performances. Main contributions in this thesis include: (i) proposing a technique to align images acquired by different cameras on the same edge device, (ii) comparing and reporting the performance of such alignment algorithms on multiple datasets focusing on aerial datasets, (iii) a comprehensive study summarizing the performance evaluations of recently proposed state-of-the-art VIS models on multiple datasets, (iv) presenting an approach on replacing the trainable layers in VIS applications with the non-trainable Fourier based layers.
Benzer Tezler
- Yerel görünüm ve derin modeller kullanarak hibrit bir yüz tanıma yaklaşımı
A hybrid face recognition approach using local appearance and deep models
MERT ARI
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HAZIM KEMAL EKENEL
- Görünür ve kızılötesi görüntülerde kişiyi yeniden tanıma
Person re-identification in visible and infrared images
NİHAT TEKELİ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET BURAK CAN
- Fusion of RGB and thermal image pairs for object and face liveness detection
Nesne ve yüz canlılığı tespiti için RGB ve termal görüntü çiftlerinin birleştirilmesi
MERVE ERŞAN
Yüksek Lisans
İngilizce
2026
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. TAYFUN AKGÜL
- Multi-modal image registration
Çok modlu görüntü çakıştırma
MOHAMED SABBAH MOHAMED MESBAH ELSAEIDY
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Medipol ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. BAHADIR KÜRŞAT GÜNTÜRK
- Yüzey kırığı haritalamada termal kızılötesi verilerin kullanımı, 6 şubat 2023 Kahramanmaraş, Pazarcık depremi örneği
Utilizing thermal infrared data in surface rupture mapping, the case of feb 6, 2023 Pazarcık earthquake, Kahramanmaraş
MELİKE KARAKAŞ GEDİK
Yüksek Lisans
Türkçe
2025
Jeoloji Mühendisliğiİstanbul Teknik ÜniversitesiKatı Yer Bilimleri Ana Bilim Dalı
DOÇ. DR. ORKAN ÖZCAN
PROF. DR. CENGİZ YILDIRIM