Active learning for semantic image segmentation through conformal risk control
Konformal risk kontrolü ile semantik görüntü bölütleme için etkin öğrenme
- Tez No: 1010321
- Danışmanlar: DOÇ. DR. NAZIM KEMAL ÜRE
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Aktif öğrenme, Bilgisayarla görme, Derin öğrenme, Active learning, Computer vision, Deep learning
- Yıl: 2026
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Derin öğrenme temelli yöntemler, her piksele anlamsal etiket atayan anlamsal görüntü bölütleme alanında son yıllarda önemli başarılar elde etmiştir. Otonom sürüş, tıbbi görüntüleme, robotik ve uzaktan algılama gibi alanlarda, sahnenin piksel seviyesinde doğru ve ayrıntılı olarak anlaşılması kritik önem taşımaktadır. Ancak bu başarı, her bir pikselin elle işaretlendiği büyük ve yüksek kaliteli etiketlemeye dayanır. Örneğin, tek bir yüksek çözünürlüklü görüntünün piksel seviyesinde etiketlenmesi saatler sürebilmekte, büyük veri kümeleri için aylar süren yoğun uzman emeği gerekmektedir. Bu yüksek etiketleme maliyeti, tam denetimli derin öğrenme yaklaşımlarının ölçeklenebilirliğini sınırlamakta ve sınırlı etiket bütçesi altında yüksek performans hedefleyen yöntemlere olan ihtiyacı artırmaktadır. Bu tez, bu ihtiyaca cevap olarak, anlamsal görüntü bölütleme için gerekli etiketleme miktarını önemli ölçüde azaltırken model performansını büyük ölçüde korumayı amaçlayan özgün bir aktif öğrenme yöntemi önermektedir. Aktif öğrenme, etiketlenmemiş veri havuzu içinden en çok bilgi sağlayacak örneklerin seçilip etiketlenmesi fikrine dayanır. Temel amaç, sınırlı etiketleme bütçesiyle mümkün olan en yüksek model performansına ulaşmaktır. Bunun için, her iterasyonda hangi görüntülerin“bilgi verici”ya da“zor”olduğunun güvenilir bir şekilde tahmin edilmesi gerekir. Literatürdeki birçok yaklaşım, model çıktılarından elde edilen softmax olasılıklarına veya gradyan büyüklüklerine dayalı sezgisel belirsizlik ölçüleri kullanmaktadır. Modern derin ağların kalibrasyon hatası literatürde popüler olan bir sorundur. Modeller, yanlış tahminlerde bulunsalar bile sıklıkla yüksek olasılık değerleri üretmekte, yani aşırı kendine güvenen bir şekilde davranmaktadır. Görüntü bölütleme problemi gibi her bir görüntü için çoklu tahmin yapılması gerektiğinde, her görüntü binlerce piksel içerdiğinden, bu kalibrasyon hatası daha da belirgin hale gelir. Ayrıca birçok değişik doku içeren arka plan sınıflarının baskın olduğu ve nadir sınıfların çok az piksel kapladığı durumlarda sınıf dengesizliği, belirsizlik ölçülerini sistematik olarak saptırabilir. Sonuç olarak, sezgisel belirsizlik ölçülerine dayanan aktif öğrenme stratejileri, pratikte her zaman beklenen etiket tasarrufunu sağlayamamaktadır. Bu tezde, bu temel sınırlamaları aşmak için Conformal Risk Controlled Active Learning (CRC-AL) (Konformal Risk Kontrollü Etkin Öğrenme) adı verilen özgün bir aktif öğrenme yöntemi önerilmektedir. CRC-AL, konformal tahmin teorisinin üzerine geliştirilmiş risk kontrollü genellemesine dayanmaktadır. Geleneksel konformal tahmin, belirli bir güven düzeyinde doğru etiketi içeren tahmin kümeleri üretirken, konformal risk kontrolü doğrudan beklenen bir kayıp fonksiyonunu (örneğin yanlış negatif oranını) önceden seçilen bir risk seviyesinin altında sınırlamayı hedefler. Bu tez kapsamında, anlamsal bölütleme problemi sınıf bazlı bir bakış açısıyla ele alınmakta ve her semantik sınıf için piksel seviyesinde yanlış negatif oranını kontrol eden eşik değerleri kalibre edilmektedir. Böylece, her sınıfın“kaçırılma”riski istatistiksel olarak üstten sınırlandırılmaktadır. Bu yaklaşım daha dengeli ve güvenilir belirsizlik tahminleri elde edilmesini sağlamaktadır. Önerilen yaklaşımda, bölütleme modeli her piksel için her sınıfa ait softmax olasılıkları üretir. Konformal risk kontrolü, kalibrasyon veri kümesi üzerinde her sınıf için bu olasılıklar üzerinden tek boyutlu bir eşik optimizasyonu gerçekleştirir ve her sınıf için, seçilen risk seviyesini aşmayacak bir eşik değeri belirler. Bu eşiklerin uygulanmasıyla, her sınıf için ikili tahmin maskeleri elde edilir. Bir pikselin belirli bir sınıfa ait olması için, ilgili sınıfın softmax çıkışının kendi eşiğinin üzerinde olması yeterlidir. Ardından bu sınıf bazlı ikili maskeler bir araya getirilerek piksel başına çoklu sınıf içerebilen tahmin kümeleri oluşturulur. Böylece, modelin çok emin olduğu piksellerde tahmin kümeleri tek elemanlı ve dar, kararsız ve zor piksellerde ise çok elemanlı ve geniş hale gelir. Bu yapı, piksel bazında tahmine özgü belirsizliği istatistiksel olarak temellendirilmiş bir biçimde göstermektedir. CRC-AL, bu kalibre edilmiş tahmin kümelerini aktif öğrenme için kullanılabilir hale getirmek üzere iki aşamalı bir belirsizlik temsili önermektedir. İlk aşamada, her görüntü için sınıf çiftlerinin birlikte kaç kez tahmin edildiğini sayan bir birlikte bulunma matrisi (co-occurrence matrix) oluşturulur. Bu matrisin her satırı, ilgili sınıfın diğer sınıflarla hangi oranlarda birlikte tahmin edildiğini gösteren bir dağılıma dönüştürülür. Böylece her satır, sınıfa özgü karışıklık profilini yansıtır. Satırlar olasılık dağılımına dönüştürüldükten sonra, her sınıf için normalleştirilmiş Shannon entropisi hesaplanır ve bu entropi değeri o sınıfın“karıştırılma ağırlığı”olarak kullanılır. Entropisi yüksek sınıflar, pek çok farklı sınıfla birlikte tahmin edilen ve modelin ayrıştırmakta zorlandığı sınıfları temsil eder. Bu karıştırılma ağırlıkları, kalibre edilmiş ikili tahmin maskeleriyle birleştirilerek piksel bazlı bir risk haritası elde edilir. Böylece hem çoklu sınıf içeren belirsiz pikseller hem de ayrıştırılması zor sınıflara ait bölgeler yüksek risk değerleriyle temsil edilmiş olur. İkinci aşamada, birlikte bulunma yoğunluk matrisinin satırları yan yana getirilerek tek bir yüksek boyutlu temsil (embedding) vektörüne dönüştürülür. Bu vektör, görüntüyü sınıflar arası karışıklık yapısı bakımından temsil eder. Aynı zamanda risk haritası pikselleri üzerinde ortalama alınarak, her görüntü için tek bir skaler belirsizlik skoru elde edilir. Böylece her görüntü hem tek bir sayıyla özetlenen genel bir belirsizlik düzeyine hem de bölgesel anlamda sınıflar arası karışıklığı yansıtan temsil vektörüne sahip olur. Bu iki temsil üzerine kurulan CRC-AL yöntemi, iki farklı etiketlenecek veri seçme stratejisi sunmaktadır. Birinci strateji olan belirsizlik tabanlı Top-K yaklaşımı, etiketlenmemiş görüntüleri belirsizlik skorlarına göre sıralar ve her iterasyonda en belirsiz K görüntüyü anotasyon için seçer. Bu yöntem basit ve etkin olmakla birlikte, özellikle benzer sahnelerin bulunduğu veri kümelerinde birbirine çok benzeyen görüntülerin tekrar tekrar seçilmesine yol açarak etiketleme bütçesini verimsiz kullanabilir. Bu sorunu gidermek için tezde, belirsizlik ve çeşitliliği bir arada dikkate alan fiziksel yöntemlerden esinlenilmiş Top-Diverse-K algoritması önerilmektedir. Bu algoritmada her bir görüntü bir parçacık olarak modellenir ve görüntülerin temsil vektörleri, parçacıkların uzaydaki konumlarını belirler. Bu görüntülerin belirsizlik skorları ise parçacıkların kütleleri olarak yorumlanır. Parçacıklar arasındaki mesafe, iki parçacığın kütle merkezine (barycenter) olan uzaklığını hesaba katan asimetrik bir metrikle tanımlanır. Örnek veri seçimi sırasında, her yeni görüntü hem hâlihazırda etiketlenmiş ve seçilmiş örneklere olan ortalama mesafesini, hem de bu örnekler içindeki en yakın komşusuna olan minimum mesafesini artıracak şekilde seçilir. Böylece yüksek belirsizlik taşıyan fakat temsil uzayında geniş bir alana yayılan, birbirini tekrar etmeyen görüntüler tercih edilir. Önerilen CRC-AL yöntemi, uzamsal yapısı düzenli şehir sahneleri ile arka plan sınıfının baskın olduğu doğal sahneleri temsil eden iki yaygın anlamsal bölütleme veri kümesinde kapsamlı deneylerle değerlendirilmiştir. Deneylerde, hem evrişimsel sinir ağlarına (convolutional neural networks) dayalı hem de dönüştürücü (transformer) tabanlı olmak üzere iki farklı bölütleme mimarisi kullanılmıştır. Tüm yöntemler aynı eğitim zaman çizelgesi, aynı hiperparametreler ve aynı veri ön işleme adımları ile eğitilmiştir. Kullanılan aktif öğrenme protokolü, havuz tabanlı bir senaryoya dayanmaktatır. Tüm yöntemler aynı başlangıç etiketli veri kümesiyle başlamakta, ve her iterasyonda eşit büyüklükte görüntü grupları etiketlenmektedir. Performans ölçümü için doğrulama kümesi üzerinde ortalama kesişim-birleşim (mean intersection-over-union) metriği kullanılmaktadır. Bu sayede, yöntemler arasındaki performans farklarının yalnızca örnek seçme stratejisinden kaynaklandığı garanti altına alınmıştır. Deneysel sonuçlar, CRC-AL yönteminin, eşit etiketleme bütçesi altında literatürde yaygın olarak kullanılan belirsizlik tabanlı, çeşitlilik tabanlı ve hibrit aktif öğrenme yöntemlerinin tamamına karşı tutarlı biçimde üstünlük sağladığını göstermektedir. Önerilen yöntem, her iki veri kümesinde de eğitim verisinin yalnızca yaklaşık üçte biri etiketlendiğinde, tam denetimli bir modelin tüm eğitim versiyle elde ettiği performansın yaklaşık yüzde doksan beşine ulaşabilmektedir. Öğrenme eğrileri, CRC-AL yönteminin aktif öğrenme iterasyonları boyunca rakip yöntemlere göre daha hızlı ve daha kararlı bir şekilde performans artışı sağladığını, özellikle erken iterasyonlarda etiketleme kararlarının en kritik olduğu bölgede belirgin avantajlar elde ettiğini ortaya koymaktadır. Yapılan istatistiksel anlamlılık analizleri, seçilen yüzde doksan beş güven düzeyi altında, hiçbir kıyaslanan yöntemin CRC-AL yöntemini anlamlı bir şekilde geride bırakmadığını ve önerilen yaklaşımın genel olarak en güçlü yöntem konumunda olduğunu doğrulamaktadır. Tez kapsamında ayrıca, CRC-AL yönteminin temel tasarım bileşenlerinin etkisini inceleyen ayrıntılı bileşen çıkarım analizi (ablation study) gerçekleştirilmiştir. Belirsizlik-çeşitlilik dengesini ayarlayan parametrenin farklı değerleri test edilmiştir. Çok küçük değerlerde yöntemin neredeyse saf belirsizlik örneklemesine indirgendiği ve çok büyük değerlerde ise çeşitliliğin aşırı baskın hale geldiği gösterilmiştir. Orta düzey parametre seçiminin, hem yüksek belirsizlik taşıyan hem de veri dağılımını iyi örnekleyen görüntüleri seçerek en yüksek performansı sağladığı gözlemlenmiştir. Ayrıca farklı risk seviyeleri ve farklı kalibrasyon veri kümeleri denenmiştir. Mevcut etiketli verinin hem eğitim hem kalibrasyon için yeniden kullanılması mutlak risk değerlerini bir miktar kaydırsa bile, örnekler arasındaki göreli belirsizlik sıralamasını koruduğu ve aktif öğrenme başarısını önemli ölçüde etkilemediği ortaya konmuştur. Bu bulgu, aktif öğrenme açısından kritik olan şeyin mutlak risk tahmini değil, örneklerin belirsizlik açısından doğru sıralanması olduğunu vurgulamaktadır. Sonuç olarak, bu tez, konformal risk kontrolü çatısı altında sınıf bazlı kalibrasyon ve anlamsal sınıfların karıştırılmasına dayanan belirsizlik temsillerini birleştirerek anlamsal görüntü bölütleme için güçlü ve kuramsal olarak temellendirilmiş bir aktif öğrenme yöntemi sunmaktadır. Önerilen CRC-AL yöntemi, risk haritaları ve belirsizlik temsilleri aracılığıyla etkin öğrenme için örnek veri seçimini hem istatistiksel garantilerle desteklenen bir biçimde gerçekleştirmektedir. Elde edilen sonuçlar, etiketleme maliyetinin yaklaşık üçte iki oranında azaltılabileceğini, buna rağmen tam denetimli modellere çok yakın hatta bazı durumlarda daha yüksek performans elde edilebileceğini göstermektedir. Gelecek çalışmalar için, sınıflar arasındaki bağımlılıkları daha doğrudan modelleyen ortak kalibrasyon stratejilerinin geliştirilmesi, çok sayıda sınıf içeren görevlerde temsil vektörünün boyutunu azaltmak için hiyerarşik ya da boyut indirgeme temelli yöntemlerin araştırılması ve belirsizlik-çeşitlilik dengesini öğrenme sürecine adaptif biçimde entegre eden yeni veri seçim politikalarının tasarlanması önerilmektedir. Bu bağlamda, tezde sunulan katkılar yalnızca anlamsal bölütleme değil, diğer tahmin problemleri için de etiketleme maliyetini azaltmayı hedefleyen gelecekteki çalışmalar için yol gösterici niteliktedir.
Özet (Çeviri)
Deep neural networks have achieved remarkable performance in semantic image segmentation, enabling dense pixel-wise understanding for applications such as autonomous driving, medical imaging, and robotics. However, these gains rely on large collections of finely annotated images in which each pixel is manually labeled, making dataset creation extremely time-consuming and costly. This annotation bottleneck limits the scalability of supervised learning and motivates methods that achieve high segmentation performance with substantially fewer labeled images. Active learning addresses this challenge by iteratively selecting the most informative samples for annotation from a large pool of unlabeled data, but its effectiveness depends critically on how sample informativeness and uncertainty are quantified. Existing active learning methods for semantic segmentation predominantly rely on heuristic uncertainty measures derived from softmax scores or gradient magnitudes. These methods suffer from the well-known calibration problem of modern neural networks: models tend to produce overconfident probability estimates even when predictions are incorrect. In dense prediction settings, this miscalibration is amplified by thousands of per-pixel decisions and strong class imbalance between frequent background categories and rare but safety-critical classes. As a result, heuristic uncertainty scores often fail to identify truly informative samples, especially under realistic annotation budgets. This thesis proposes Conformal Risk Controlled Active Learning (CRC-AL), a new framework for semantic image segmentation that provides statistically grounded uncertainty quantification. CRC-AL relies on conformal risk control, an extension of conformal prediction that guarantees upper bounds on expected loss. Instead of outputting a single argmax label per pixel, the segmentation model produces class-wise softmax probabilities that are calibrated using a dedicated calibration set. For each semantic class, CRC-AL learns a threshold that transforms the softmax scores into binary prediction masks. Stacking these masks produces pixel-wise multi-class prediction sets that encode which classes remain plausible at each pixel under the chosen risk constraint. To transform these calibrated prediction sets into actionable uncertainty information for active learning, CRC-AL introduces a two-stage representation. First, it constructs co-occurrence matrices that record how often pairs of semantic classes are simultaneously included in the prediction sets across an image and normalizes them into co-occurrence density matrices that summarize the structure of class confusions. Second, the co-occurrence density matrices are flattened into high-dimensional embeddings that represent each image as a point in a semantic confusion space, capturing global patterns of uncertainty beyond pixel-wise scores. Based on these risk maps and embeddings, CRC-AL defines two selection strategies. A baseline Top-K rule ranks unlabeled images according to their image-level risk scores. However, this approach can lead to redundant sampling when many high-uncertainty images are similar. To overcome this limitation, the thesis introduces the Top-Diverse-K algorithm, a physics-inspired selection strategy that balances uncertainty and diversity in the embedding space. Each image embedding is treated as a particle whose mass is proportional to its uncertainty score, and a barycenter-based distance metric measures the distance between particles while weighting contributions by their uncertainty. Top-Diverse-K iteratively selects images that maximize a combination of average and minimum distance to the set of already labeled and selected samples. A trade-off parameter is used to control the balance between pure uncertainty sampling and diversity-driven selection. The proposed CRC-AL framework is evaluated on two complementary benchmark datasets for semantic image segmentation that differ in spatial structure, class imbalance, and appearance variability. Experiments are conducted using two representative segmentation architectures for architectural diversity. A pool-based active learning protocol is adopted in which all methods start from the same small labeled subset and query equal-sized batches of images at each iteration. Across all configurations, CRC-AL consistently outperforms various kinds of baselines under identical training schedules and annotation budgets. It achieves approximately 95\% of the performance of a fully supervised model while using only about 30\% of the labeled training data. Learning curves demonstrate that CRC-AL maintains a clear and persistent advantage across active learning iterations. Furthermore, statistical analysis at the 95\% confidence level confirms that no competing method significantly outperforms CRC-AL in the considered settings. The thesis further investigates the impact of key design choices through ablation studies. Varying the uncertainty-diversity trade-off parameter reveals that moderate values yield the best balance: very low values reduce Top-Diverse-K to pure uncertainty sampling, while very high values overemphasize diversity and select visually distinct but less informative samples. Analyses of different risk levels and calibration set choices show that using the current labeled set for calibration, although slightly biasing absolute risk values, still produces stable uncertainty rankings and strong active learning performance. These findings underscore that relative uncertainty ordering, rather than exact risk values, is the critical factor for effective sample selection. In conclusion, this thesis demonstrates that conformal risk control provides a powerful foundation for active learning in semantic image segmentation. By calibrating class-wise prediction thresholds with explicit risk guarantees and exploiting co-occurrence-based risk maps and embeddings, CRC-AL delivers reliable, interpretable uncertainty estimates and a principled diversity-aware selection mechanism. The framework substantially reduces annotation requirements while preserving segmentation accuracy on challenging benchmarks, offering practical benefits for domains where dense annotation is costly.
Benzer Tezler
- İsmayıl Hakkı Baltacıoğlu'nun kültür ve eğitim kavramı üzerine bir inceleme
An Examination of the concepts of culture and education of Ismayıl Hakkı Baltacıoğlu
ABDULLAH DİKİCİ
Doktora
Türkçe
1986
Eğitim ve ÖğretimUludağ ÜniversitesiEğitim Bilimleri Ana Bilim Dalı
DOÇ. DR. SUAT ANAR
- Cumhuriyet sonrası Türk toplumsal yapı değişimlerinin Ankara Atatürk Bulvarı mekansal yapısında örneklenmesi
Der Ataturk boulevard von Ankara, alsbeispielzu den einflussen der gesellchaftlichen entwicklung der republikanschen Turkeiauf die raumlichen struktur
SARE SAHİL