Enhancing remote sensing capabilitiesthrough multi-modal language modelintegration
Çok kipli büyük dil modelleri ile uzaktan algılama yeteneklerinin geliştirilmesi
- Tez No: 986186
- Danışmanlar: PROF. DR. MEHMET ERKUT ERDEM
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Hacettepe Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Multispektral uzaktan algılama görüntüleri, görünür spektrumun ötesine geçen zengin spektral bilgiler sunarak arazi örtüsü, bitki örtüsü, su kütleleri ve atmosferik koşulların daha doğru analizini mümkün kılar. Çok kipli büyük dil modelleri (MLLM'ler) görsel-dil görevlerinde güçlü performans sergilemiş olsa da, bu modellerin multispektral veriye uygulanması, özellikle kip hizalaması ve yönergeyle ayarlama (instruction tuning) gibi zorluklar nedeniyle hâlâ sınırlı kalmaktadır. Bu tezde, multispektral uydu görüntüleri üzerinde sınıflandırma, betimleme ve sahne anlama görevlerini destekleyen Spectral-LLaVA adlı yeni bir görsel-dil modeli sunulmaktadır. Önerilen, multispektral verilerle doğrudan etkileşim kurmak üzere SpectralGPT'yi görsel kodlayıcı olarak kullanmakta; ayrıca RGB verilerle de çalışabilmesini sağlamak ve esnekliğini artırmak amacıyla bir RGB'den Multispektrale (RGB2MS) hizalama modülü içermektedir. Yönergeyle ayarlama sürecini desteklemek için, multispektral görsel-dil görevlerine özel, büyük ölçekli bir veri kümesi olan Spectral-Inst oluşturulmuştur. Bu veri kümesi üzerinde, sahneye duyarlı tahminler ve ayrıntılı betimlemeler üretebilen bir LLaMA3 tabanlı dil çözücü ince ayar ile eğitilmiştir. Deneysel sonuçlar, spektral bilginin dile dayalı zeminle birleştirilmesinin sınıflandırma doğruluğunu önemli ölçüde artırdığını ve RGB tabanlı ya da yalnızca görsel modellerle karşılaştırıldığında daha açıklayıcı betimlemeler ürettiğini göstermektedir. Spectral-LLaVA, multispektral uzaktan algılama uygulamalarında dile dayalı analiz için esnek ve güçlü bir temel sunmaktadır.
Özet (Çeviri)
Multispectral remote sensing imagery offers rich spectral information beyond the visible range, enabling more accurate analysis of land cover, vegetation, water bodies, and atmospheric conditions. Although multimodal large language models (MLLMs) have demonstrated strong performance in vision-language tasks, their extension to multispectral domains remains limited due to challenges in modality alignment and instruction tuning. In this thesis, we present Spectral-LLaVA, a vision-language framework tailored for multispectral satellite imagery, supporting classification, captioning, and scene understanding tasks. The framework employs SpectralGPT as its vision encoder to directly process multispectral inputs, while an RGB-to-Multispectral (RGB2MS) alignment module is introduced to ensure versatility and compatibility with standard RGB data. To enable effective instruction tuning, we construct Spectral-Inst, a domain-specific, large-scale dataset designed for multispectral vision-language tasks. A LLaMA3-based language decoder is fine-tuned on this dataset to generate context-aware predictions and rich scene descriptions. Experimental results demonstrate that integrating spectral information with language grounding significantly improves classification accuracy and leads to more detailed and informative descriptions compared to RGB-only or purely visual models. Spectral-LLaVA offers a flexible and robust foundation for language-guided analysis in multispectral remote sensing applications.
Benzer Tezler
- Makine öğrenmesi yöntemleri ile yangın verilerinin analizi ve sınıflandırılması
Analysis and classification of fire data using machine learning methods
ZEYNEP NAZLI ASLAN
Yüksek Lisans
Türkçe
2025
İlk ve Acil YardımSakarya ÜniversitesiAfet Yönetimi Ana Bilim Dalı
DOÇ. DR. BEYTULLAH EREN
- A data-driven approach to identifying and selecting temporary disaster debris management sites: The case of Istanbul
Geçici afet moloz yönetim alanlarının belirlenmesi ve seçimi için veri odaklı bir yaklaşım: İstanbul örneği
BURAK KABAKLI
Yüksek Lisans
İngilizce
2025
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. ŞEYDA SERDAR ASAN
- Genişbandlı şebekelerde hizmet adaptasyon protokolleri
Başlık çevirisi yok
RECEP EVREN PALANDUZ
Yüksek Lisans
Türkçe
1999
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. GÜNSEL DURUSOY
- Advanced waveform designs for 5G and 6G
5G ve 6G için gelişmiş dalga formu tasarımları
EBUBEKİR MEMİŞOĞLU
Doktora
İngilizce
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Medipol ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. HÜSEYİN ARSLAN
- Uzaktan algılama ve derin öğrenme yöntemleri ile İstanbul'un yerel iklim alanları ve yer yüzeyi sıcaklığı değişimleri arasındaki ilişkinin incelenmesi
Investigation of the relationship between local climate zones and land surface temperature changes in İstanbul using remote sensing and deep learning methods
MELİKE NİCANCI SİNANOĞLU
Yüksek Lisans
Türkçe
2024
Mühendislik Bilimleriİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ŞİNASİ KAYA