Domain adaptive visual inertial global localization in GNSS-denied environments
GNSS olmayan ortamlarda görüntü uyarlamalı görsel-ataletsal küresel konum belirleme
- Tez No: 972067
- Danışmanlar: DOÇ. DR. EMRE KOYUNCU
- Tez Türü: Yüksek Lisans
- Konular: Uçak Mühendisliği, Aeronautical Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Uçak ve Uzay Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Uçak ve Uzay Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, Küresel Navigasyon Uydu Sistemi (GNSS) bulunmayan ortamlarda görev yapan küçük insansız hava araçlarının (İHA) uzun menzilli küresel konumlandırma problemini ele almaktadır. Temel varsayım, İHA üzerine monte edilmiş aşağı bakan bir kameradan elde edilen görsel bilgilerin, coğrafi referanslı uydu görüntüleri ile hizalanarak mutlak konum bilgisi elde edilmesidir. Bunun mümkün olabilmesi için kısa vadeli hareketin güvenilir şekilde tahmin edilmesi, küresel kestiricinin çoklu hipotezleri kararlı biçimde işleyebilmesi ve hava/uydu görüntüleri arasındaki görünüş farklılıklarının azaltılarak özellik seviyesinde eşleştirmenin mümkün hale gelmesi gereklidir. Bu amaçla, hafif bir görsel-atıl ivmeölçer odometri (VIO) ön ucu, durum kestirimi için marjinalleştirilmiş parçacık filtresi (MPF) ve CycleGAN tabanlı öğrenilmiş görüntü alanı uyarlama modülünü birleştiren entegre bir boru hattı önerilmektedir. Ayrıca, özellik eşleşmelerinden elde edilen kanıtları sağlam parçacık ağırlıklarına dönüştüren özel bir olabilirlik fonksiyonu tasarlanmış ve belirsiz koşullarda yakınsamayı iyileştirmesi sağlanmıştır. VIO tarafında, çok durumlu kısıtlı sıkı bağlı (MSCKF-benzeri) bir formülasyon benimsenmiştir. Görsel özellik artıklarının, her bir arazi noktası için oluşturulan Jacobi matrislerinin sol null uzayına izdüşürülmesiyle, arazi noktası durumları açıkça artırılmadan kamera pozlarının bir kaydırma penceresi boyunca kısıtlanması sağlanmaktadır. Bu yaklaşım, durum boyutunun sınırlı kalmasını ve kestiricinin First-Estimates Jacobians altında tutarlılığını korumasını sağlamaktadır. Böylece kısa vadeli hareket ve poz tahminleri yüksek oranda ve doğrulukla elde edilmekte, global kestiriciye sapma sınırlandırılmış hareket öncelikleri sağlanmaktadır. Küresel konumlandırma, marjinalleştirilmiş parçacık filtresi ile gerçekleştirilmiştir. Durum, parçacıklarla temsil edilen düşük boyutlu doğrusal olmayan bir altuzay ve parçacık başına Kalman filtreleriyle temsil edilen doğrusal–Gaussian bir altuzay olarak ayrıştırılmaktadır (Rao–Blackwellizasyon). Bu ayrıştırma, hipotez uzayını kapsamak için gereken parçacık sayısını önemli ölçüde azaltırken, hız, tutum hatası ve bias terimleri için doğrusal kovaryans yayılımını korumaktadır. Hata-durum dinamiklerinin ayrık zamanlı formu kullanılarak yayılım yapılmış, gözlemler ise parçacığa bağlı konum, yönelim ve irtifa ölçeği ile uydudan kırpılmış/girdaplanmış görüntülerin işlenmesiyle üretilmiştir. Kamera roll ve pitch eksenlerinde gimballı olduğundan, uçuş testlerinde nadir görüntüleme varsayımı geçerli olmuş ve işlem kolaylaşmıştır. Onboard (uçuş sırasında alınan) görüntüler ile uydu görüntüleri arasındaki temel zorluk, mevsimsel görünüm farklılıkları, ışıklandırma ve alım geometrisinden kaynaklanan“alan farkı”dır. Bu farkı azaltmak için üç farklı eşleştirilmemiş görüntü çevirim modeli eğitilmiştir: CycleGAN, CUT (contrastive unpaired translation) ve Turbo-CycleGAN. CycleGAN çift yönlü dönüşüm ve döngü tutarlılığı üzerine kuruludur; CUT, döngü tutarlılığı yerine yama düzeyinde karşıtlık tabanlı bir amaç fonksiyonu kullanarak içerik korunmasını artırır; Turbo-CycleGAN ise çok ölçekli iyileştirmeler ile doku doğruluğunu artırır, ancak daha yüksek hesaplama maliyeti getirir. Bu modeller, UAV/uydu uyarlamasında, 100 sorgu görüntüsünde geometrik olarak doğrulanmış özellik eşleşmelerinin ortalamasına dayalı bir metrikle değerlendirilmiştir. Deneylerde CycleGAN ve CUT mütevazı kazanımlar sağlarken, Turbo-CycleGAN daha yüksek (yüzde onlar seviyesinde) eşleşme artışı sunmuş fakat hesaplama yükü oldukça yüksek olmuştur. Önerilen çerçeve, farklı çevresel koşullar, irtifalar ve sahne özelliklerinde gerçekleştirilen uçuş testleriyle doğrulanmıştır. Testler, alan uyarlamasının UAV ve uydu görüntüleri arasındaki görünüm farklılıklarını önemli ölçüde azalttığını, daha güvenilir özellik eşleşmeleri sağladığını ve konum doğruluğunu artırdığını göstermektedir. Mevsimsel farklılıkların büyük olduğu veya tekrar eden dokuların bulunduğu zorlu durumlarda, uyarlama kestiricinin kararlılığını koruyarak sapma ve hatalı yakınsamayı azaltmıştır. Daha yüksek irtifalarda, etkin çözünürlük düşse ve gözlenebilirlik azalsa dahi konum doğruluğunda ölçülebilir iyileşmeler elde edilmiştir. Uygun koşullarda ise sistem en iyi performansını göstermiş, alan uyarlaması ek olarak sağlamlık ve tutarlılığı artırmıştır. Genel olarak, uçuş deneyleri, VIO, marjinalleştirilmiş parçacık filtresi ve öğrenilmiş alan uyarlamanın bir araya getirilmesinin GNSS olmayan ortamlarda İHA küresel konumlandırması için güvenilir ve doğru bir çözüm sunduğunu kanıtlamaktadır. Senaryoların tamamında, VIO, MPF ve alan uyarlamasının birleşimi, yalnızca görsel tabanlı yaklaşımlara kıyasla belirgin bir üstünlük göstermiştir. Özellikle, görsel eşleştirme sürecinde alan farklarının büyük olduğu veya dokuya dayalı belirsizliklerin yoğun olduğu koşullarda elde edilen kazanımlar oldukça dikkat çekicidir. Bu durum, görsel tabanlı sistemlerin, özellikle karmaşık çevresel koşullar altında, konumlandırma doğruluğunu önemli ölçüde sınırladığı bilinen bir gerçektir. MPF'nin ayrıştırılmış formülasyonu ise, sistemin çoklu hipotezleri daha kararlı bir şekilde ele almasını sağlayarak, hem başlangıçta daha doğru tahminler yapılmasına yardımcı olmuş hem de önerilen olabilirlik fonksiyonu sayesinde yanlış yakınsama durumlarını minimize etmiştir. Bu fonksiyon, daha iyi bir optimizasyon süreci sunmuş ve böylece elde edilen çözümün güvenilirliğini artırmıştır. Bununla birlikte, bu gelişmelerin bazı pratik ödünleri de gözlemlenmiştir. Örneğin, Turbo-CycleGAN modelinin sağladığı en yüksek uyarlama kalitesi, özellikle kaynak kısıtlı hava araçlarında uygulama açısından bir sınırlama teşkil etmektedir. Modelin boyutu ve işlem süresi, düşük performanslı platformlarda kullanılabilirliğini kısıtlamakta olup, bu tür sistemlerin daha verimli hale gelmesi için farklı optimizasyon stratejilerine ihtiyaç duyulmaktadır. Ayrıca, kullanılan gimballı kamera varsayımı, düşük maliyetli platformlarda genellikle geçerli olmayabilir. Bu durumda, eğik (off-nadir) görüntülerle karşılaşılması, ek geometrik bozulmalara yol açabilir ve bu da eşleştirme öncesinde bu bozulmaların düzeltilmesini gerektirir. Bu sorunlar, pratik uygulamalarda dikkatle ele alınmalıdır, çünkü görüntü bozulmalarının düzeltilmesi, işlem süresi üzerinde ek bir yük oluşturabilir ve sistemin genel verimliliğini etkileyebilir. Bu tez, GNSS olmayan ortamlarda doğru ve hesaplama açısından uygulanabilir küresel konumlandırmanın, sapması sınırlandırılmış hareket öncelikleri sağlayan sıkı bağlı bir VIO, küresel hipotezleri etkin biçimde değerlendiren marjinalleştirilmiş parçacık filtresi, UAV/uydu görüntüleri arasındaki alan farklılıklarını azaltan eşleştirilmemiş dönüşüm tabanlı alan uyarlama ve doğrulanmış eşleşme istatistiklerinden türetilmiş ayrıştırıcı olabilirlik fonksiyonunun bir araya getirilmesiyle mümkün olduğunu ortaya koymaktadır. Bu bütünleşik sistem, özellikle GNSS sinyalinin zayıf olduğu veya hiç mevcut olmadığı bölgelerde, İHA'ların doğru konumlandırmasını sağlayacak önemli bir adım atılmasına olanak tanımaktadır. Konumlandırma doğruluğunun, her bir modülün katkılarıyla sürekli olarak iyileştirilmesi, farklı çevresel koşullara uyum sağlamak için gerekli esnekliği sunmakta ve mevcut yaklaşımları ileriye taşımaktadır. Bu sayede, daha güvenilir ve gerçek zamanlı bir konumlandırma sağlanmaktadır. Gelecek çalışmalar arasında, düşük ışık koşullarında çalışabilen gece-gündüz uyarlama algoritmalarının geliştirilmesi önemli bir yer tutmaktadır. Bu algoritmalar, hem şehir içi hem de kırsal alanlarda ortaya çıkabilecek dramatik aydınlatma değişimlerine karşı sistemin dayanıklılığını artıracaktır. Özellikle, şehir ışıkları ve doğal ortamların farklı ışık profilleri, mevcut algoritmaların performansını düşürebilmektedir; bu nedenle derin öğrenme tabanlı ışık adaptasyonu veya görüntü ön işleme yöntemlerinin geliştirilmesi büyük önem taşımaktadır. Ayrıca, gimballsız sensörler için görüntü düzeltme yöntemlerinin araştırılması, sensörlerin daha geniş bir yelpazede kullanılabilmesini sağlayacaktır. Bu çalışmalar, platform üzerindeki donanım maliyetini düşürürken, farklı uçuş profillerine sahip İHA'larda da güvenilir konumlandırma sağlamayı mümkün kılacaktır. Kaynak kısıtlı platformlarda çalışabilecek hafif üretici modellerin tasarımı, daha verimli veri işleme ve daha düşük enerji tüketimi sağlamak için kritik öneme sahiptir. Bu modeller, özellikle mini veya mikro İHA'lar için uzun uçuş süreleri ve hızlı işlem yetenekleri sunabilir. Bunun yanı sıra, eşleşme sayılarının ötesinde, mekansal ve geometrik yapıların dikkate alındığı yeni olabilirlik fonksiyonlarının geliştirilmesi, konumlandırma doğruluğunu daha da artırabilir. Bu tür fonksiyonlar, yalnızca görsel eşleştirmeleri değil, aynı zamanda çevresel parametreleri de modelleyerek daha kapsamlı bir analiz yapmayı mümkün kılacaktır. Örneğin, arazi eğimi, yapı yoğunluğu, gölgelendirme ve nesne boyutlarının hesaba katılması, sistemin yanlış yakınsama riskini azaltabilir ve partikül ağırlıklarının daha doğru şekilde güncellenmesini sağlayabilir. Ayrıca, manyetik alan haritalarının ve diğer çoklu verilerin entegrasyonu, sistemin sağlamlığını ve doğruluğunu daha da pekiştirebilir. Özellikle, manyetik alan, barometrik ve atmosferik verilerle birleştirilen çoklu sensör füzeleri, GNSS olmayan ortamlar için güvenilir bir konumlandırma çözümü sunabilir. Bu tür yenilikçi yaklaşımlar, GNSS olmayan ortamlar için son derece etkili ve pratik çözümler sunma potansiyeline sahiptir. Dahası, simülasyon tabanlı doğrulama ve sahada yapılan testler, geliştirilen algoritmaların gerçek uçuş senaryolarındaki performansını daha iyi değerlendirmeye yardımcı olacaktır. Bu sayede, sistemin kararlılığı, doğruluğu ve dayanıklılığı artırılabilir ve ileri seviye İHA uygulamalarına doğrudan entegrasyon sağlanabilir.
Özet (Çeviri)
This thesis addresses the problem of long-range global localization for small unmanned aerial vehicles (UAVs) operating in Global Navigation Satellite System (GNSS)–denied environments. The central premise is that visual information from an onboard nadir-looking camera can be aligned with geo-referenced satellite imagery to obtain absolute position fixes, provided that (i) short-term motion is estimated reliably, (ii) the global estimator can reason over multi-modal hypotheses without instability, and (iii) the appearance gap between aerial/satellite domains is reduced so that feature-level correspondence becomes feasible. To this end, we propose an integrated pipeline that combines a lightweight visual–inertial odometry (VIO) front-end, a marginalized particle filter (MPF) for state estimation, and a learned image-to-image domain adaptation module based on cycle-consistent generative adversarial networks (CycleGAN). A custom likelihood function is introduced to convert feature-matching evidence into robust particle weights, thereby improving convergence in ambiguous conditions. For VIO, we employ a tightly coupled multi-state constraint formulation (MSCKF-like), in which visual feature residuals are projected into the left null space of per-landmark Jacobians, enforcing constraints across a sliding window of camera poses without explicitly augmenting landmark states. This maintains bounded state dimension and estimator consistency under First-Estimates Jacobians while providing accurate short-term motion and pose estimates at high rate. The VIO output supplies drift-limited motion priors to the global estimator. Global localization is performed with a marginalized particle filter. The state is partitioned into a low-dimensional nonlinear subspace, represented by particles, and a linear–Gaussian subspace, represented by per-particle Kalman filters (Rao–Blackwellization). This decomposition substantially reduces the number of particles required to cover the hypothesis space while preserving linear covariance propagation for velocity, attitude-error, and bias terms. The discrete-time form of the error-state dynamics is adopted for propagation, and observations are produced by rendering a particle-conditioned view (a crop and rotation of the satellite map) using the particle's horizontal position, yaw, and altitude-dependent scale. A key challenge is the domain gap between onboard imagery and satellite references, arising from seasonal appearance, illumination, and acquisition geometry. To mitigate this gap, we train three unpaired image translation models: the original CycleGAN, CUT (contrastive unpaired translation), and Turbo-CycleGAN. CycleGAN learns bidirectional mappings regularized by cycle consistency; CUT replaces cycle consistency with a patchwise contrastive objective to better preserve content; Turbo-CycleGAN enhances texture fidelity and artifact suppression with multi-scale refinements at the cost of higher training and inference complexity. We evaluate these models on UAV/satellite domain adaptation using a task-aligned metric: the mean number of geometrically verified feature correspondences across 100 query images, normalized by the matches obtained from raw (unadapted) UAV images. The proposed framework has been validated through multiple flight tests conducted under varying environmental conditions, altitudes, and scene characteristics. These tests demonstrate that domain adaptation significantly mitigates the appearance discrepancies between UAV and satellite imagery, resulting in more reliable feature correspondences and improved localization accuracy. In challenging cases with large seasonal differences or repetitive textures, adaptation helps maintain estimator stability by preventing divergence and reducing drift. At higher altitudes, where the effective resolution diminishes and feature observability becomes limited, the approach still provides measurable improvements in position accuracy. Across scenarios, the combination of VIO, MPF, and domain adaptation consistently outperforms a purely visual baseline without adaptation, with the largest gains observed when the raw domain gap or the texture-induced ambiguity is severe. The MPF's partitioned formulation enables robust multi-hypothesis reasoning without the instability that can arise when error states are reset at each update, and the proposed likelihood reduces false convergence. At the same time, we identify practical trade-offs. Turbo-CycleGAN offers the highest domain-alignment quality but incurs substantial model size and runtime, which may be challenging for the most resource-constrained airframes. The thesis concludes that accurate, computationally tractable global localization in GNSS-denied settings can be achieved by: employing a consistent, tightly coupled VIO to provide drift-limited motion priors, using a marginalized particle filter to reason over global hypotheses while keeping computation bounded, adapting image appearance across domains with unpaired translation to restore descriptor consistency, and shaping particle likelihoods with a discriminative mapping from verified match statistics. The overall system advances the state of practice toward reliable, real-time-capable UAV navigation in diverse environmental conditions. Future avenues include night-to-day domain adaptation for low-light operations, image rectification strategies for non-gimballed sensors, lightweight generative models suitable for edge deployment, enhanced likelihoods that exploit spatial/geometric structure beyond match counts, and multi-modal fusion (e.g., magnetic field maps) for scenarios that are intrinsically challenging for vision alone.
Benzer Tezler
- A Finite element method for the solution of three-dimensional electromagnetic boundary valve problems with real and artificial boundary conditions
Başlık çevirisi yok
ÜMİT PEKEL
Yüksek Lisans
İngilizce
1987
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiYRD. DOÇ. DR. MUSTAFA KUZUOĞLU
- Mimari çevrede değişme sürecinin analizi Ulus-Çankaya aksi (Ankara) üzerinde bir deneme
Başlık çevirisi yok
MUSTAFA KANDİL
Doktora
Türkçe
1987
MimarlıkKaradeniz Teknik ÜniversitesiMimarlık Ana Bilim Dalı
DOÇ.DR. D. ZAFER ERTÜRK
- Konveks fonksiyonların özellikleri ve altdiferansiyel
Başlık çevirisi yok
BELGİN ŞİMŞEK
Yüksek Lisans
Türkçe
1987
MatematikHacettepe ÜniversitesiMatematik Ana Bilim Dalı
YRD. DOÇ. DR. KENAN TAŞ
- Çoruh meşesi (Quercus dschorochensis K. Koch)'nde dendrokronolojik araştırmalar
Recherches dendrocronologiques sur le chene de Çoruh (quercus dschorochensis K. Koch)
BİRSEN KANTAY
Yüksek Lisans
Türkçe
1986
Ormancılık ve Orman Mühendisliğiİstanbul ÜniversitesiPROF. DR. MUZAFFER SELİK