Unified local-global prompt learning for few-shot vision-language adaptation via optimal transport
Optimal taşıma aracılığıyla az örnekli görme-dil uyarlaması için birleşik yerel-global istem öğrenme
- Tez No: 992230
- Danışmanlar: PROF. DR. ALPTEKİN TEMİZEL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Veri Bilimi Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Büyük ölçekli görme-dil modellerinin az sayıda örnekle uyarlanması (few-shot adaptation), temel olarak bütüncül görüntü gömüleriyle eşleştirilen yumuşak istemlerin (soft prompts) öğrenilmesine dayanır. Bu global yaklaşım genel tanıma görevlerinde etkili olsa da, özelleşmiş görevler için gerekli olan ince ayrıntılı ve parça düzeyindeki öznitelikleri yakalamada yetersiz kalır. Bu tezde, global anlamsal tutarlılığı yerel ayırt edici uyumla uzlaştıran birleşik bir çerçeve öneriyoruz. Mimarimiz, standart CLIP tarzı bir global dalı, Değer Değer (V-V) dikkat ve Optimal Taşıma (Optimal Transport - OT) ile yönlendirilen yenilikçi bir yerel yol ile birleştirir. V-V akışı tutarlı görsel yapıları çıkarırken, OT mekanizması belirgin görüntü yamaları ile sınıfa özgü yerel istemler arasında dengeli bir atama sağlayarak standart dikkat mekanizmalarında yaygın olan“istem çökmesini”(prompt collapse) önler. 11 veri setini kapsayan standart az örnekli kıyaslama kümesi (16-atışlı ViT-B/16) üzerindeki kapsamlı değerlendirmeler, yöntemimizin GalLoP ve PromptSRC gibi güçlü referans modelleri geride bırakarak %85.1 ortalama doğruluk ile literatürdeki en iyi performansa ulaştığını göstermektedir. Kazanımların doku ağırlıklı ve ince ayrıntılı veri setlerinde belirgin olması önerilen yerel modellemenin etkililiğini doğrulamaktadır. Ayrıca, özelleşme ve gürbüzlük (robustness) arasında kritik bir denge gözlemlenmiştir. Öğrenilebilir bir yerel izdüşüm dağılım içi (in-distribution) doğruluğu en üst düzeye çıkarırken, bunun kaldırılması Dağılım Dışı (OOD) tespit ölçütlerinde en iyi performansı gösteren yüksek kalibrasyonlu bir varyant ortaya çıkarmaktadır.
Özet (Çeviri)
Few-shot adaptation of large-scale vision-language models typically relies on learning soft prompts matched to holistic image embeddings. While effective for general recognition, this global approach often fails to capture the fine-grained, part-level attributes necessary for specialized tasks. In this thesis, we propose a unified framework that reconciles global semantic consistency with local discriminative alignment. Our architecture couples a standard CLIP-style global branch with a novel local pathway driven by Value–Value (V–V) attention and Optimal Transport (OT). The V–V stream extracts coherent visual structures, while the OT mechanism enforces a balanced assignment between salient image patches and class-specific local prompts, preventing the“prompt collapse”common in standard attention. Extensive evaluation on the 11-dataset few-shot benchmark (ViT-B/16) demonstrates that our method achieves a new state-of-the-art average accuracy of 85.1% (16-shot), outperforming strong baselines like GalLoP and PromptSRC. The gains are most pronounced on texture-heavy and fine-grained datasets, validating the efficacy of explicit local modeling. Furthermore, we identify a critical trade-off between specialization and robustness: while a learnable local projection maximizes in-distribution accuracy, removing it yields a highly calibrated variant that achieves state-of-the-art performance on Out-of-Distribution (OOD) detection benchmarks.
Benzer Tezler
- İslam ve Türk kültürünün Uzak Doğu'ya yayılması -Kore'de İslamiyet'in yayılması ve kültürel tesirleri
The Spread and influence of İslamic and Turkic culture in the east Asia-with special reference to the Korean-İslamic cultural contacts
HEE-SOO CEMİL LEE
- An Expert system for view definition and integration
Başlık çevirisi yok
FERDA NUR CİVELEK
Yüksek Lisans
İngilizce
1988
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiDOÇ. DR. ASUMAN DOĞAÇ
- Text, image, graphics editor
Başlık çevirisi yok
AHMET COŞAR
Yüksek Lisans
İngilizce
1988
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiDOÇ. DR. BÜLENT ÖZGÜÇ
