RbA: Segmenting unknown regions rejected by all using mask classifiers
RbA: Maske sınıflandırıcıları kullanarak hepsi tarafından reddedilen bilinmeyen bölgeleri segmentlere ayırmak
- Tez No: 836734
- Danışmanlar: YRD. DOÇ. DR. FATMA GÜNEY
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Yapay Zeka Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
İnce taneli görsel anlamsal anlayış, otonom sürüş ve diğer birçok bilgisayarla görme görevi için gereklidir. Bu amaçla, segmentasyon görevlerinde, önerilen kıyaslamaların sayısının artmasının bir sonucu olarak hızlı gelişmelere tanık olunmaktadır. Bununla birlikte, mevcut segmentasyon kriterleri genellikle sabit bir anlamsal kategori kümesini varsaymaktadır. Sonuç olarak, segmentasyon yöntemlerinin geliştirilmesi bu varsayım etrafında yoğunlaşırken, gerçek hayat senaryolarında karşılaşılabilecek yeni veya dağıtım dışı (OoD) örneklerin ele alınmasına çok az önem verilmiştir. Arıza durumunda feci sonuçlardan kaçınmak için bir güvenlik uyarısının verilebilmesi amacıyla bilinmeyen nesnelerin tanımlanması çok önemli olduğundan, bu durum otonom bir araç için sorun teşkil etmektedir. Sonuç olarak OoD segmentasyon görevinin ayrı ayrı ele alınması, mevcut segmentasyon yöntemlerine uyum sağlayan ve ana segmentasyon görevlerinin performansını göz ardı eden yöntemlerin ortaya çıkmasına yol açmıştır. Ek olarak, bu yöntemler piksel başına sınıflandırma paradigmasını takip eden modellere dayanmalarından dolayı tahmin edilen anormallik haritalarında genel olarak düzgünlük ve nesnellik eksikliğinden de muzdariptir. Bu tezde, doğası gereği belirsizliği ifade etme yeteneğine sahip birleşik bir mimari olarak bilinmeyen bölümleme için bölge düzeyinde sınıflandırma modellerinin potansiyelini araştırıyoruz. Maske sınıflandırma modellerindeki nesne sorgularının, tüm sınıflandırıcılara göre tek bir sınıflandırıcı gibi davranma eğiliminde olduğunu gösterdik. Bu bulguya dayanarak, aykırı değer olma olayını bilinen tüm sınıflar tarafından reddedilmek olarak tanımlayarak hepsi Tarafından Reddedilen (RbA) adı verilen yeni bir aykırı değer puanlama fonksiyonu öneriyoruz. Ayrıca, kapalı küme performansına zarar vermeden sözde aykırı veriler kullanarak bilinmeyen bölümleme performansını artırmak için önerilen bu puanı optimize eden bir hedef de öneriyoruz. RbA, yüksek etki alanı değişimleri altında iyi performans gösterir ve bilinen sınıf belirsizliği nedeniyle sınırlar gibi belirsizlik kaynaklarını ayırma yeteneğine sahiptir. RbA'yı çeşitli bilinmeyen segmentasyon kriterlerine göre değerlendiriyoruz ve önceki piksel düzeyinde bilinmeyen segmentasyon yöntemleriyle karşılaştırıldığında önemli marjlarla en son teknolojiye sahip performansa ulaştığını gösteriyoruz. RbA'nın etkinliğini doğrulayan kapsamlı ablasyon deneylerini rapor ediyoruz.
Özet (Çeviri)
Fine-grained visual semantic understanding is essential for autonomous driving and many other computer vision tasks. To this end, segmentation tasks have been witnessing rapid advancements as a result of the growing number of benchmarks proposed. However, existing segmentation benchmarks generally assume a fixed set of semantic categories. Consequently, the development of segmentation methods has been centered around this assumption, while little attention has been poured into handling novel or out-of-distribution (OoD) samples that can potentially be encountered in real-life scenarios. This poses an issue for an autonomous vehicle, as it is crucial to identify unknown objects so that a safety warning can be issued to avoid disastrous consequences in case of failure. As a result, the task of OoD segmentation has been addressed separately, leading to the emergence of methods that adapt to the existing segmentation methods and disregard the performance of the main segmentation tasks. Additionally, these methods also generally suffer from a lack of smoothness and objectness in their predicted anomaly maps due to the reliance on models that follow the per-pixel classification paradigm. In this thesis, we explore the potential of region-level classification models for unknown segmentation as a unified architecture with an inherent ability to express uncertainty. We show that the object queries in mask classification models tend to behave like one \vs all classifiers. Based on this finding, we propose a novel outlier scoring function called Rejected by All (RbA) by defining the event of being an outlier as being rejected by all known classes. We also propose an objective that optimizes this proposed score for boosting the unknown segmentation performance using pseudo-outlier data without hurting the closed-set performance. RbA performs well under high domain shifts and is capable of separating sources of uncertainty, such as at the boundaries, due to known class ambiguity. We evaluate RbA on several unknown segmentation benchmarks and show that it achieves state-of-the-art performance with significant margins compared to previous pixel-level unknown segmentation methods. We report extensive ablation experiments that validate the effectiveness of RbA.
Benzer Tezler
- Resource allocation mechanisms for end-to-end delay optimization of 5G URLLC services
5G URLLC hizmetlerinin uçtan uca gecikme optimizasyonu için kaynak aktarım mekanizmaları
HASAN ANIL AKYILDIZ
Doktora
İngilizce
2024
Mühendislik Bilimleriİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. HAKAN ALİ ÇIRPAN
DR. İBRAHİM HÖKELEK
- Characterization and evaluation of alteration minerals in the northwest of Gonen (Balikesir, Turkiye)
Gönen (Balıkesir, Türkiye) kuzeybatısında bulunan alterasyon minerallerinin karakterizasyonu ve değerlendirilmesi
İLKAY ŞAH
Yüksek Lisans
İngilizce
2025
Jeoloji MühendisliğiMuğla Sıtkı Koçman ÜniversitesiJeoloji Mühendisliği Ana Bilim Dalı
DOÇ. DR. CEREN KÜÇÜKUYSAL
DR. ÖĞR. ÜYESİ HATİCE ÜNAL ERCAN
- Treatment of reactive dyeing wastewater and recovery of brackish water by applying ultrafiltration
Reaktif boyama atıksularının ultrafiltrasyon yöntemiyle arıtımı ve arıtılmış tuzlu suyun yeniden kullanımı
MERT ERKANLI
Yüksek Lisans
İngilizce
2016
Çevre MühendisliğiOrta Doğu Teknik ÜniversitesiÇevre Mühendisliği Ana Bilim Dalı
PROF. DR. ÜLKÜ YETİŞ
YRD. DOÇ. DR. PINAR ZEYNEP ÇULFAZ EMECEN
- Mechanical properties and fracture parameters of sustainable concrete produced with recycled aggregates
Geri kazanılmış agregalardan üretilen sürdürülebilir betonların mekanik özellikleri ve kırılma parametreleri
HASAN YILDIRIM
Doktora
İngilizce
2023
İnşaat MühendisliğiBoğaziçi Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
PROF. DR. NİLÜFER ÖZYURT ZİHNİOĞLU
PROF. DR. TURAN ÖZTURAN
- Bose-Einstein yoğuşması: Bir yoğunluk fonksiyoneli yaklaşımı
Bose-Einstein condensation: A density functional approach
HATİCE ZEHRA AKBAŞ
Doktora
Türkçe
2007
Fizik ve Fizik MühendisliğiSelçuk ÜniversitesiFizik Ana Bilim Dalı
PROF. DR. ÜLFET ATAV