UAV operations in GPS-denied environments
GPS'in kullanılamadığı ortamlarda İHA operasyonları
- Tez No: 1007696
- Danışmanlar: DOÇ. DR. EMRE KOYUNCU
- Tez Türü: Doktora
- Konular: Mekatronik Mühendisliği, Mechatronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Mekatronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
İnsansız hava araçları (İHA) ve otonom mobil sistemler, son yıllarda hem sivil hem de askeri uygulamalarda kritik görevler üstlenmeye başlamıştır. Paket teslimatı, haritalama, arama-kurtarma, tarım, altyapı denetimi gibi birçok senaryoda bu sistemlerin güvenilir ve kesintisiz bir şekilde kendi kendine konumlanabilmesi ve yörüngesini güncelleyebilmesi temel bir gereklilik haline gelmiştir. Klasik yaklaşımda bu ihtiyaç, büyük ölçüde Küresel Konumlama Sistemleri (GPS/GNSS) üzerine kuruludur; ancak GPS sinyalleri kapalı mekânlarda, kanyon benzeri şehir yapılarında, yoğun elektromanyetik parazit altında veya kasıtlı karartma (jamming/spoofing) durumlarında hızla kullanılmaz hale gelebilir. Bu nedenle, UAV navigasyonunda yalnızca GPS'e dayanmayan, araç üzerine monte sensörlerden (kamera, IMU, tekerlek enkoderleri, radar/LiDAR vb.) gelen verilerle kendi kendine konum kestirimi yapabilen yöntemlere ihtiyaç duyulmaktadır. Bu tez çalışması, özellikle kamera–IMU temelli navigasyonun GPS'in tamamen veya kısmen kaybolduğu koşullarda nasıl sürdürülebileceği ve sistemin hangi sensöre ne ölçüde güvenmesi gerektiğini zaman içinde uyarlanabilir biçimde nasıl belirleyebileceği sorularına odaklanmaktadır. Tez kapsamında ele alınan temel problem, GPS mevcutken yüksek doğrulukla çalışan fakat GPS devre dışı kaldığı anda hangi sensörün baskın hata kaynağı haline geldiğini ayırt edemeyen klasik sensör füzyonu çerçevelerinin ötesine geçmektir. Literatürde yaygın olarak kullanılan birçok Visual–Inertial Odometry (VIO) yöntemi, sensör gürültülerini büyük ölçüde sabit (homosedastik) kabul eden ve belirsizliği çoğunlukla filtre içi artıklar üzerinden“sonradan”ayarlayan yapılar üzerine kuruludur. Bu durum, örneğin kamera dokusuz bir yüzeye baktığında veya IMU yüksek frekanslı titreşim altında kaldığında, sistemin o anda hangi sensörün ne kadar güvenilir olduğu bilgisini açık ve proaktif biçimde modellemesini zorlaştırmaktadır. Bu tezde önerilen yaklaşım, tam da bu noktada devreye girerek, monocular kamera ve IMU'dan elde edilen poz artışlarının (delta pozların) zaman içindeki hata davranışını öğrenen ve GPS'in artık bulunmadığı çalışma fazında“hangi sensöre ne kadar güvenilmesi gerektiğini”kare bazında belirleyen dinamik, güvenilirlik odaklı bir füzyon çerçevesi önermektedir. Görüntü tabanlı poz kestirimi için DeepVO yapısı black-box bir VO omurgası (backbone) olarak kullanılmıştır. DeepVO, ardışık iki kamera görüntüsünü birleştirerek evrişimli sinir ağları (CNN) aracılığıyla görsel özellikler çıkaran ve bu özellikleri zamansal bağlamı yakalayabilen bir uzun-kısa süreli bellek (LSTM) katmanı üzerinden geçirerek 6-DOF pose artışlarını doğrudan tahmin eden uçtan uca bir öğrenme tabanlı VO yöntemidir. Bu tezde DeepVO yeniden eğitilmemiş, literatürde raporlanan yapı ve eğitilmiş ağırlıklar kullanılarak monocular VO için bir temel bileşen olarak konumlandırılmıştır. Çalışmanın ana katkısı, DeepVO'nun iç performansını daha da iyileştirmekten ziyade, bu tür bir VO çıktısının hata istatistikleriyle birlikte yorumlanarak IMU ile nasıl güvenilirlik odaklı bir füzyona dönüştürülebileceğini göstermektir. Dolayısıyla DeepVO, tasarlanan çerçevenin UAV'lerde veya başka platformlarda alternatif VO/VIO yöntemleriyle de değiştirilebileceğini gösteren modüler bir bileşen rolü üstlenmektedir. Ataletsel ölçü birimi (IMU) tarafında ise, sensör ölçümlerinden poz kestirimi için ayrık zamanlı kinematik denklemler kullanılmıştır. İvmeölçer ve jiroskop çıktıları, ayrık zaman aralıkları boyunca entegre edilerek hız ve konum güncellemesi yapılmış, yerçekimi bileşeni ve gövde–dünya dönüşümleri dikkate alınmıştır. Her ne kadar deneysel çalışma, kara aracı veri kümesi üzerinde gerçekleştirilmiş olsa da, bu kinematik çerçevenin UAV'ler için de uygun dönüşüm matrisleri ve ivme/gövde dinamiği varsayımlarıyla genişletilebileceği tartışılmıştır. Tez boyunca, IMU'nun tipik hata kaynakları (bias, gürültü, sürüklenme) vurgulanmış ve bu hataların delta poz uzayında nasıl birikerek uzun vadeli sapmalara yol açtığı senaryo tabanlı analizlerle gösterilmiştir. Tezin önemli bileşenlerinden biri, tüm bu öğrenme ve füzyon hattının delta poz uzayında tasarlanmış olmasıdır. Mutlak pozlar üzerinde çalışıldığında, başlangıç ofsetleri, küresel hizalama hataları ve uzun vadeli kaymalar, hata modellemesini zorlaştıran ek gürültü kaynakları oluşturur. Oysa delta poz uzayında, her karede yalnızca o kısa zaman aralığında gerçekleşen yerel hareket (küçük öteleme ve küçük açısal değişim) dikkate alınır. Bu, hem sensör hatalarını daha istasyoner ve anlamlı bir şekilde modellemeyi kolaylaştırmakta, hem de“bu karede ne kadar hareket edildi ve bu büyüklükte bir manevrada ilgili sensör tipik olarak ne kadar sapma yapar?”sorusunu doğrudan yanıtlayabilmeyi mümkün kılmaktadır. Tezde kullanılan en küçük kareler tabanlı ölçek düzeltme adımının da delta ötelemeler üzerinde tanımlanması, başlangıç ofsetlerinin ve küresel kaymaların etkisini bastırarak VO ölçeğinin kararlı biçimde kalibre edilmesini sağlamaktadır. Önerilen yöntem, en temelde iki aşamalı bir çalışma yapısı üzerine inşa edilmiştir. Birinci aşama (Phase A), GPS referans verisinin erişilebilir olduğu bir“öğrenme”safhasıdır. Bu safhada monocular VO ve IMU temelli pose estimation tamamen birbirinden bağımsız şekilde hesaplanır; her iki sensör kendi kinematik modeli veya öğrenilmiş temsilcisi üzerinden 6 serbestlik dereceli (3D konum + 3D yönelim) poz tahmini üretir. Bu poz tahminleri, zaman damgaları kullanılarak ortak bir kamera zaman eksenine taşınır, monocular VO için ölçek belirsizliği en küçük kareler (LSQ) tabanlı bir ölçek katsayısı ile düzeltilir ve ardından iki zaman adımı arasındaki yerel hareketi temsil eden delta pozlara dönüştürülür. GPS ile elde edilen gerçek yörünge, aynı delta uzayına projeksiyon yapılarak VO ve IMU'nun her karede ne kadar hata yaptığı (hem öteleme hem de dönme bileşenleri bazında) hesaplanır. Bu hata dizileri, daha sonra hafif birçok katmanlı algılayıcı (MLP) tarafından“bir saniye sonra hangi sensörün ne kadar hata yapmaya meyilli olduğu”nu tahmin etmeyi öğrenmek için etiket olarak kullanılır. Burada temel amaç, mutlak poz doğruluğunu bir kez daha optimize etmek değil, her sensörün hata davranışını dinamik olarak modellemektir. İkinci aşama (Phase B), gerçek UAV veya araç operasyonlarını temsil eden GPS'siz çalışma safhasıdır. Bu safhada, sistem artık yeni bir GPS verisi almadan yalnızca kamera ve IMU'dan gelen veriler ile hareketine devam eder. Her karede önce monocular VO ve IMU üzerinden bağımsız delta pozlar hesaplanır; ardından Phase A'da eğitilmiş MLP'ye bu delta pose değerleri giriş olarak verilerek VO ve IMU için öngörülen hata dağılım parametreleri (özellikle varyanslar) elde edilir. Tez kapsamında, belirsizliğin hareket paternine göre değişebildiğini modelliyen heteroscedastik Gauss modeli benimsenmiş ve eğitimde Gaussian Negative Log Likelihood (GNLL) kayıp fonksiyonu kullanılmıştır. Bu çerçevede, MLP çıktısındaki varyans terimleri, ilgili sensörün“bu tür bir hareket için ne kadar güvenilir olduğu”bilgisini kodlar; küçük varyans, daha güvenilir, büyük varyans ise daha az güvenilir bir ölçüm anlamına gelir. VO ve IMU için tahmin edilen bu varyanslar, klasik ters-varyans kuralına dayanarak dinamik füzyon ağırlıklarına dönüştürülür. Kısaca, güvenilirliği yüksek (varyansı küçük) sensörün ağırlığı büyürken, belirsizliği artan sensörlerin ağırlığı otomatik olarak kısılır. Tezde bu ağırlık, αt ile simgelenmekte ve her zaman adımı için hesaplanmaktadır. Hesaplanan αt değeri, delta pozların füzyonunda kullanılır; öteleme ve dönme artışları doğrusal bileşimle birleştirilir ve bu birleşik delta pozlar zaman içinde entegre edilerek nihai yörünge elde edilir. Böylece sistem, GPS devre dışı kaldığı durumda dahi,“IMU mu yoksa VO mu bu karede daha güvenilir?”sorusuna, o ana kadar gözlenen hareket ve öğrenilmiş hata istatistikleri üzerinden cevap verebilen bir mekanizmaya kavuşmuş olur. Ek olarak, αt değerlerinin çok hızlı dalgalanmasını engellemek için üssel hareketli ortalama (EWMA) tipi bir yumuşatma ve ibreyi tamamen 0 veya 1'e kilitlemeyi engelleyen alt/üst sınırlarla (clamp) istikrar sağlanmış; sensörlerden birinin fiziksel olarak koptuğu veya veri üretemediği özel durumlarda ise, bu sınırlamalar kaldırılarak ağırlık tek sensöre doğru sert biçimde kaydırılmaktadır. Önerilen yöntemin performansı ve davranışı, KITTI odometri veri setinden seçilen birkaç senaryo üzerinde ayrıntılı olarak incelenmiştir. Özellikle 04, 07 ve 10 numaralı sekanslar, düz gidiş, keskin dönüşler ve karmaşık manevralar içeren farklı yol geometrilerini temsil edecek şekilde seçilmiştir. Her senaryo için sadece VO, sadece IMU, klasik bir EKF tabanlı füzyon ve önerilen dinamik ağırlıklandırmalı füzyon yöntemleri, KITTI tarzı segment bazlı bağıl çeviri/dönme hatası metrikleri ile verilmiştir. Elde edilen sonuçlar nicel olarak her bir yöntemin hata profillerini ortaya koyarken, 2B yörünge grafikleri ve kare bazlı αt eğrileri de niteliksel davranışın anlaşılmasına katkı sağlamıştır. Düz yol geometrisinin hakim olduğu 04 numaralı sekans, IMU'nun özellikle çeviri bileşenlerinde oldukça iyi bir yörünge ürettiği, ancak küçük de olsa dönme hatalarının zaman içinde sürüklenmeye yol açabildiği bir senaryodur. VO ise bu sekans boyunca ölçek hatasına ve yanal kaymalara daha fazla maruz kalmaktadır; buna karşın dönme bileşenlerinde IMU'ya kıyasla daha tutarlı bir davranış sergilemektedir. Önerilen yöntem, αt ağırlıklarını IMU lehine konumlandırmakta, böylece füzyon yörüngesi çeviri açısından IMU'ya yakınsamakta; aynı zamanda VO'nun nispeten daha iyi olduğu dönme bilgisinden de kısmen yararlanarak IMU'ya göre daha dengeli bir hataya ulaşmaktadır. 07 numaralı sekans gibi keskin dönüşler ve karmaşık manevralar içeren senaryolarda ise, IMU'nun yüksek açısal hızlar altında dönme hatalarının hızla büyüdüğü, VO'nun ise bazı bölümlerde daha iyi yönelim, bazı bölümlerde ise daha kötü çeviri ürettiği görülmüştür. Dinamik ağırlıklandırma mekanizması, bu tip manevralarda αt değerlerini zamanla yeniden ayarlayarak bazen VO'ya, bazen IMU'ya daha fazla ağırlık vermekte ve hatayı her iki sensörün de sistematik zayıflıklarını göz önünde bulunduran ara bir noktaya taşımaktadır. 10 numaralı sekans üzerinde gerçekleştirilen özel senaryo çalışmaları, sensör kopmalarına karşı sistem davranışını net biçimde gözlemlemeye imkân vermiştir. Birinci senaryoda, başlangıçta her iki sensörün de veri ürettiği, daha sonra kameradan gelen görüntülerin aniden kesildiği bir durum ele alınmıştır. Bu durumda αt değerleri, kamera hala çalışırken ağırlığı çoğunlukla IMU lehine kaydırmış; kamera tamamen koptuğunda ise sensör füzyonu IMU yörüngesine tam anlamıyla devrolmuş ve sistem sadece IMU ile yola devam etmiştir. İkinci senaryoda ise IMU'daki ani bir kesinti sonrası, kalan tek sensör VO olduğunda, ağırlıklar VO'ya devredilmiş ve füzyon yörüngesi özellikle yüksekliğin arttığı son bölümlerde VO'nun ölçek ve eğim hatalarını devralmıştır. Her iki senaryoda da delta poz uzayında çalışmanın sağladığı en önemli kazanımlardan biri, sensörler arası geçişte yörüngede ani eksen atlamalarının görülmemesi; füzyon yörüngesinin, o ana kadar bulunduğu noktadan devam ederek yönelim bilgisini yeni sensörden alsa dahi sürekliliğini korumasıdır. Tez boyunca sunulan analizler, önerilen yapının sensörlerden bağımsız“sihirli”bir düzeltme mekanizması olmadığını, aksine her sensörün hata karakteristiğini öğrenerek GPS'siz durumda sistem davranışını hangi sensöre ne ölçüde güvenileceği kararına indirgediğini göstermektedir. Bunun sonucunda, elde edilebilecek en iyi performans da doğal olarak kullanılan sensörlerin fiziksel ve ölçümsel sınırlarıyla çerçevelenmektedir. Yine de bu yaklaşım, hem gerçek sistem tasarımcılarına“GPS kesildikten sonra sistem hangi sensöre ne ölçüde güvenebiliriz?”sorusuna daha şeffaf bir cevap sunması, hem de UAV navigasyonu ve sensör füzyonu alanında güvenilirlik odaklı, öğrenme tabanlı modelleme tartışmalarına katkı sağlaması bakımından önemli bir adım olarak değerlendirilebilir.
Özet (Çeviri)
This thesis addresses the problem of maintaining reliable navigation for unmanned aerial vehicles and other autonomous platforms when global positioning system (GPS) information is absent, degraded, or deliberately disrupted. In such conditions, the vehicle must rely exclusively on onboard sensors to estimate its pose and update its trajectory. Monocular cameras and inertial measurement units (IMUs) are among the most widely available and lightweight sensors for this purpose; however, each exhibits characteristic weaknesses. Monocular visual odometry suffers from scale ambiguity and degradation in texture-poor or motion-blurred scenes, while IMU integration is prone to drift due to noise and slowly varying biases. Conventional visual-inertial odometry frameworks often fuse these modalities under fixed or manually tuned noise assumptions and adapt only reactively to errors detected a posteriori. The central objective of this work is to move from such static or residual-driven fusion towards a confidence-aware, adaptive scheme that explicitly models how the relative trustworthiness of camera and IMU evolves over time and uses this knowledge proactively once GPS is no longer available. At the core of the proposed framework lies an incremental, or delta pose, representation of motion. Instead of working directly with global position and orientation, both the visual odometry module and the IMU-based kinematic model are treated as independent black-box pose estimators that produce small motion increments between successive time steps. These increments describe how much the platform has translated and rotated over a short interval, relative to the previous pose. Before any learning or fusion is performed, the camera and IMU streams are temporally aligned on a common time grid using their timestamps, and the visual increments are brought to a consistent metric scale using a least-squares-based correction computed from an initial segment of the trajectory. This delta representation has several advantages: it suppresses the influence of initial misalignment and long-term drift in the global frame, simplifies the statistics of the errors, and focuses the model on the local relationship between motion patterns and sensor confidence. On top of this representation, the thesis introduces a lightweight neural predictor that learns to anticipate, from recent motion increments, how much error each sensor is likely to incur in the near future. During a training phase, when a ground-truth pose reference is still available, the pose increments produced by the visual and inertial pipelines are compared against the corresponding reference increments. From these differences, scalar error labels are derived that combine translational and rotational discrepancies into a single measure for each modality and each time step. The predictor, implemented as a small multilayer perceptron, receives as input a compact feature vector built from the recent visual and inertial delta poses and is trained using a Gaussian negative log-likelihood loss. In this probabilistic formulation, the network is encouraged not only to estimate an average error level, but also to output a variance that reflects how uncertain a sensor's future error is expected to be under the current motion conditions. This corresponds to a heteroscedastic noise model, in which the predicted uncertainty depends on the motion pattern rather than being fixed once and for all. Once this learning stage has been completed, the system can operate in its intended“GPS-denied”regime. In this deployment phase, the predictor is frozen and ground truth is no longer used. At each new time step, the visual and inertial pipelines provide their respective delta pose estimates. These increments are transformed into the feature space used during training and passed through the neural predictor, which now outputs, for each sensor, an estimated uncertainty for the upcoming motion. The predicted variances are then converted into fusion weights through an inverse-variance heuristic: sensors that are estimated to be more reliable (lower variance) receive larger weights, while those deemed less trustworthy are down-weighted. The fused delta pose is obtained as a weighted combination of the visual and inertial increments, and integrating these fused increments over time yields the final trajectory. To avoid unstable behavior, the raw weights are smoothed over time using an exponential moving average and constrained within a reasonable range, preventing abrupt switches except in the special case where one of the sensors completely stops providing data. Working consistently in the delta pose domain is essential for both learning and fusion. Error patterns in absolute pose are influenced by global offsets, map alignment, and long-term drift, which can obscure the relationship between instantaneous motion and sensor confidence. In contrast, incremental motion over short time windows tends to have more stable statistical properties and is directly linked to the physical maneuvers the vehicle performs: straight segments, gentle turns, sharp rotations, or complex 3D movements. By learning from this local structure, the predictor effectively answers the question“under this type of motion, which sensor tends to behave more reliably?”in a data-driven manner. Moreover, fusing at the delta level allows the system to switch emphasis between sensors without introducing large discontinuities in the trajectory, since each fused increment is anchored to the most recent pose estimate. The proposed framework has been evaluated on publicly available real-world odometry sequences that exhibit a variety of motion patterns, including predominantly straight segments, mixed turning maneuvers, and more complex trajectories with sharp changes in direction. For each sequence, four configurations have been compared: camera-only visual odometry, IMU-only kinematic integration, a standard extended Kalman filter-based visual-inertial fusion with fixed noise parameters, and the proposed dynamic, confidence-aware fusion. Performance has been assessed using standard metrics such as segment-based relative translation and rotation errors. The results show that the camera and IMU each dominate in different aspects and regimes: the IMU typically yields more accurate translation over moderate distances but can accumulate substantial rotational drift, whereas the monocular visual odometry often provides better orientation but is vulnerable to scale errors and local distortions. The dynamic fusion scheme tends to track whichever modality is more reliable for the current maneuver, leading to fused trajectories that avoid the worst-case behavior of either individual sensor and often improve over a baseline Kalman filter that assumes static noise levels. In addition to these quantitative results, the thesis examines qualitative behaviors in scenarios that mimic sudden sensor outages, such as the abrupt loss of camera frames or IMU data mid-trajectory. The learned weighting mechanism responds by progressively transferring trust towards the remaining modality, and because fusion is performed on delta poses, the trajectory continues smoothly from the last fused estimate rather than exhibiting abrupt jumps. This behavior illustrates that the framework does not“magically”correct sensor failures, but instead makes explicit, data-driven decisions about which sensor will constrain the system once GPS is gone, and by how much. Overall, the contribution of this work is a modular, confidence-aware sensor fusion architecture that treats camera and IMU as independent pose providers, models their error statistics in an incremental space, and uses a learned heteroscedastic uncertainty predictor to drive dynamic fusion in GPS-denied conditions. By shifting the focus from purely minimizing pose error to explicitly learning how sensor confidence evolves over time, the thesis offers a conceptually transparent and practically useful perspective for designing robust autonomous navigation systems in challenging, GPS-denied environments.
Benzer Tezler
- Virtual GPS for uav navigation in GPS-denied environments: sensor fusion of ınertial navigation system and google maps-based virtual gps using kalman filtering
Gps erişimi kısıtlı bölgelerde iha navigasyonu için sanal gps: kalman filtrelemesi kullanılarak ataletsel navigasyon sistemi ve google haritalar tabanlı sanal GPS'in sensör füzyonu
EMRE KESKİ
Yüksek Lisans
İngilizce
2025
Makine MühendisliğiHacettepe ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. CAN ULAŞ DOĞRUER
- An integrated system design for building inspection by autonomous UAVs
Otonom İHA'larla yapı denetimi için bütünleşik bir sistem tasarımı
FATİH KÜÇÜKSUBAŞI
Yüksek Lisans
İngilizce
2017
Mekatronik MühendisliğiOrta Doğu Teknik ÜniversitesiMimarlık Ana Bilim Dalı
PROF. DR. ARZU SORGUÇ
- Optimized visual odometry and satellite image matching-based localization for UAVS in GPS-denied environments
GPS olmayan ortamlarda İHA'lar için optimizasyonlu görsel odometri ve uydu görüntüsü eşleştirme tabanlı konumandırma
ÖMER SEFA ÖZTÜRK
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiSavunma Teknolojileri Ana Bilim Dalı
DOÇ. DR. ALPTEKİN YILDIZ
- EDGE-ıntelligent decentralized UAV swarms for tactical operations ın adversarial urban environments
Düşmanca kentsel ortamlarda taktik görevler için uçbirim zekâlı merkeziyetsiz iha sürüleri
QUSAY AWWAD
Yüksek Lisans
İngilizce
2025
Mekatronik MühendisliğiTokat Gaziosmanpaşa ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. LEVENT GÖKREM
- UAV quadcopter guidance: GPS-denied 3D mapping and collision avoidance
Dört rotorlu İHA güdümü: GPS erişimi olmayan ortamlarda 3B haritalama ve çarpışmadan kaçınma
MEHMET KADRİ AYDIN
Yüksek Lisans
İngilizce
2026
Havacılık ve Uzay Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
PROF. DR. ELBRUS M. JAFAROV