Transformer based sensor fusion and pose estimation in end-to-end supervised learning of visual inertial odometry
Denetemeli uçtan uca öğrenme ile görsel ataletsel odometride dönüştürücü temelli algılayıcı füzyonu ve poz tahmini
- Tez No: 899649
- Danışmanlar: PROF. DR. ABDULLAH AYDIN ALATAN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, görsel-ataletsel odometri ağlarında zamansal modelleme için Dönüştürücü mimarisinin uygulanmasını araştırmaktadır. Amaç, geçmiş yöntemlerde görülen Uzun Kısa Süreli Bellek ağlarına kıyasla geçmiş verileri daha iyi kullanan Dönüştürücülerdeki dikkat mekanizmalarından yararlanarak poz tahmini doğruluğunu iyileştirmektir. Önerilen yöntem uçtan uca eğitilebilirdir ve çıkarım sırasında yalnızca mono kamera ve ataletsel ölçüm birimi ölçümleri gerektirir. Gizli görsel-ataletsel özelliklerin poz tahmini için temel bilgiler içerdiğini ve Dönüştürücülerin yerel bir pencere içinde geçmiş ölçümlerden etkili zamansal güncellemeler yapmasını sağladığını gözlemlenmektedir. Gerçek zamanlı çalışmayı kolaylaştırmak için tüm dikkat mekanizmaları nedensel maskelerle çalışacak şekilde tasarlanmıştır. Bu tez ayrıca zaman serisi tahmin problemlerindeki sürekli veriler için tokenize etme mekanizmalarının dometride kullanımını incelemektedir ve sınıflandırma ile regresyonu değerlendirilmektedir. Çalışma, denetlenen uçtan uca odometri öğrenmesinde veri belirsizliğinin etkisini incelemektedir ve poz uzayı için özel kayıp fonksiyonlarını dikkate almaktadır. Deneysel sonuçlar, Dönüştürücü tabanlı mimarilerin, standart odometri veri kümeleri üzerinde son teknoloji yöntemlerle karşılaştırıldığında daha iyi veya karşılaştırılabilir sonuçlar elde ederek, monoküler mono görsel ataletsel odometri ağlarının doğruluğunu artırdığını göstermektedir.
Özet (Çeviri)
This thesis investigates the application of Transformer architecture for temporal modeling in visual-inertial odometry (VIO) networks. The objective is to improve pose estimation accuracy by leveraging the attention mechanisms in Transformers, which better utilize historical data compared to Long Short Term Memory (LSTM) networks seen in recent methods. The proposed method is end-to-end trainable and requires only monocular camera and IMU measurements during inference. We observe that latent visual-inertial features contain essential information for pose estimation, enabling Transformers to perform effective temporal updates from past measurements within a local window. To facilitate real-time deployment, all attention mechanisms are designed to work with causal masks. This thesis also explores the use of tokenization mechanisms for continuous data in time series prediction problems, and evaluates regression by classification in odometry task. The study examines the impact of data uncertainty in supervised end-to-end odometry learning and considers specialized loss functions for the pose space. Experimental results demonstrate that Transformer-based architectures enhance the accuracy of monocular VIO networks, achieving better or comparable results compared to state-of-the-art methods on standard odometry datasets.
Benzer Tezler
- UAV operations in GPS-denied environments
GPS'in kullanılamadığı ortamlarda İHA operasyonları
HATİCE DİDEM ÜZGÜN
Doktora
İngilizce
2026
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. EMRE KOYUNCU
- Multimodal sensor fusion for detecting and classifying robot manipulation failures
Robot manipülasyon hatalarını tespit ve sınıflandırma için çoklu sensör füzyonu
ARDA İNCEOĞLU
Doktora
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SANEM SARIEL UZER
DOÇ. DR. EREN ERDAL AKSOY
- Derin öğrenme ile giyilebilir sensör tabanlı insan aktivitesi ve demografik grup tanıma
Wearable sensor-based human activity and demographic group recognition with deep learning
MEHMET ÇAĞDAŞ SAYGILI
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBaşkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUSTAFA SERT
- Güç transformatörlerinde makine öğrenmesi ve sensör füzyonu yöntemleri ile arıza analizi
Power transformers fault analysis with machine learning and sensor fusion methods
MERVE DEMİRCİ
Doktora
Türkçe
2023
Elektrik ve Elektronik MühendisliğiGazi ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. MÜSLÜM CENGİZ TAPLAMACIOĞLU
DOÇ. DR. HALUK GÖZDE
- Akıllı şehir uygulamalarında çoklu sensör veri füzyonu için yeni yaklaşımlar
New approaches for multi-sensor data fusion in smart city applications
BERNA ÇENGİZ
Doktora
Türkçe
2026
Mühendislik BilimleriFırat ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
PROF. DR. RESUL DAŞ