A transfer learning and ensemble learning approach for anomaly detection in multiscenario event images
Çok senaryolu olay görüntülerinde anomali tespiti için transfer öğrenme ve topluluk öğrenmesi yaklaşımı
- Tez No: 990187
- Danışmanlar: DR. ÖĞR. ÜYESİ ALİ SARIKAŞ, DOÇ. DR. KAZIM YILDIZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Marmara Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Donanımı Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışmada hem kamuya açık veri kümelerinden hem de özel olarak toplanan görüntülerden oluşan hibrit bir veri kümesi kullanılarak kapsamlı bir anomali tespit çerçevesi geliştirilmiştir. Özel veri kümesinin eklenmesi, mevcut kamuya açık veri kümelerindeki eksiklikleri gidermeyi ve gerçek dünya anomali senaryolarını daha doğru bir şekilde temsil etmeyi hedeflemiştir. İki ayrı veri kümesi üzerinden giden bu çalışmada, her veri kümesinden ayrı ayrı sonuçlar alınıp, adım adım gidilmiştir. İki veri kümesi de COCO formatında titizlikle etiketlenmiş ve çok sayıda anomali sınıfını kapsayan çok sınıflı bölütleme yaklaşımına uygun olacak şekilde, her bir görüntü için format dönüşümü ile bölütleme tabanlı eğitim amacıyla maske görüntüleri üretilmiştir. Çalışmada, 17,000 görselli ve 6 anomali sınıflı olan ilk veri kümesi, beş farklı derin öğrenme mimarisi – YOLOv8, DeepLabV3+, U-Net, Feature Pyramid Network (FPN) ve PSPNet – çok sınıflı anomali tespiti ve bölütleme problemi kapsamında anomali tespiti için kullanılmıştır. Buradan gelen sonuçlara göre, iki farklı mimarinin diğerlerine göre daha etkili olduğu gözlemlenmiştir. Bu tez çalışmasının temel katkısı ise, daha etkili olduğu tespit edilen FPN ve DeepLabV3+ mimarileri üzerinde daha kompleks ve detaylı olan son veri kümesiyle gerçekleştirilen kapsamlı bir ablasyon çalışmasına odaklanmış olmasıdır. Bu ablasyon çalışmasında, her iki mimari için üç farklı omurga (İng. backbone) ağı – ResNet18, EfficientNet-b0 ve MobileNetV2 – ayrı ayrı değerlendirilmiş ve toplamda altı farklı model yapılandırması üzerinde sistematik deneyler gerçekleştirilmiştir. Genel olarak tüm metrikler birlikte değerlendirildiğinde, DeepLabV3+–ResNet18 mimari– omurga kombinasyonunun (Model 4), çok sınıflı ve hibrit anomali veri kümesi üzerinde en dengeli, istikrarlı ve genellenebilir performansı sunduğu sonucuna ulaşılmıştır. FPN tabanlı modeller ise bazı lokal ve daha az karmaşık anomali türlerinde güçlü sonuçlar üretmiş olsa da genel bölütleme başarımı ve metrikler arası denge açısından DeepLabV3+ mimarisinin gerisinde kalmıştır. Bu bulgular, mimari ve omurga seçiminin anomali türüne duyarlı şekilde yapılmasının önemini vurgulamakta ve geliştirilecek gerçek zamanlı anomali tespit sistemleri için DeepLabV3+–ResNet18 kombinasyonunu güçlü bir referans yapı olarak önermektedir.Son olarak, tekil model yapılandırmalarının ötesine geçilerek, model çıktılarının birleştirilmesine dayalı Topluluk öğrenmesi yaklaşımları da değerlendirilmiştir. Bu kapsamda, en iyi performans gösteren modellerin farklı ağırlık başlangıçları ve bağımsız eğitim süreçleriyle elde edilen çıktıları kullanılarak, 15 ve 30 bağımsız modelden oluşan iki ayrı Topluluk öğrenmesi konfigürasyonu oluşturulmuştur. Elde edilen sonuçlar, Topluluk öğrenmesi yaklaşımının özellikle geri çağırma metriğinde belirgin iyileşmeler sağladığını ve kritik anomalilerin kaçırılma oranını azaltmada etkili olduğunu göstermiştir. Buna karşılık, doğruluk ve kesinlik metriklerinde Topluluk öğrenmesi boyutunun artmasıyla birlikte performans kazanımlarının sınırlı kaldığı ve belirli bir noktadan sonra doygunluğa ulaştığı gözlemlenmiştir. Bu bulgular, Topluluk öğrenmesi yöntemlerinin özellikle olay kaçırmanın yüksek maliyetli olduğu senaryolarda güçlü bir alternatif sunduğunu, ancak hesaplama maliyeti–performans dengesi gözetilerek optimal yapılandırmanın seçilmesi gerektiğini ortaya koymaktadır. Son aşamada, tekil model yapılandırmalarının ötesine geçilerek topluluk öğrenmesi yaklaşımlarının çok sınıflı anomali tespiti üzerindeki etkisi ayrıntılı biçimde incelenmiştir. Bu kapsamda, en iyi performans gösteren model yapılandırmalarının farklı ağırlık başlangıçları ve bağımsız eğitim süreçleriyle elde edilen çıktıları birleştirilerek, 15 ve 30 ağırlıklandırılmış model konfigürasyonundan oluşan iki ayrı topluluk öğrenmesi tipi değerlendirilmiştir. Deneysel sonuçlar, topluluk öğrenmesi modellerinin doğruluk ve kesinlik metriklerinde tekil modellere kıyasla sınırlı veya daha düşük değerler üretmesine karşın, özellikle geri çağırma metriğinde tüm anomali türleri genelinde belirgin ve tutarlı iyileşmeler sağladığını ortaya koymuştur. Özellikle“Çığ”,“Silahlı Saldırılar”,“Toprak Kayması”,“Market Soygunları”ve“Orman Yangınları”gibi kritik ve kaçırılmasının yüksek maliyetli olduğu anomalilerde topluluk öğrenmesi yapılarının en yüksek geri çağırma değerlerine ulaştığı gözlemlenmiştir. Dice ve IoU metrikleri incelendiğinde ise topluluk öğrenmesi yaklaşımlarının, sınırları belirsiz ve zamansal değişkenlik içeren olaylarda göreli kazanımlar sağladığı, ancak genel bölütleme hassasiyeti açısından tekil, yüksek doğruluklu mimarilerin gerisinde kaldığı görülmüştür. Ayrıca 15 ve 30 konfigürasyondan oluşan topluluk öğrenmeleri arasında metrikler açısından belirgin bir fark oluşmaması, boyutun belirli bir noktadan sonra doygunluğa ulaştığını ve sınırlı performans artışı olduğunu göstermektedir. Bu bulgular, topluluk öğrenmesi yaklaşımlarının özellikle olay kaçırmama odaklı uygulamalarda güçlü bir alternatif sunduğunu, ancak gerçek zamanlı ve kaynak kısıtlı sistemlerde dikkatli yapılandırılması gerektiğini ortaya koymaktadır.
Özet (Çeviri)
In this study, a comprehensive anomaly detection framework is developed using a hybrid dataset composed of both publicly available datasets and privately collected images. The inclusion of the custom dataset aims to address the limitations of existing public datasets and to represent real-world anomaly scenarios more accurately. The study follows a two-dataset experimental design, where results are obtained independently from each dataset and analyzed in a step-by-step manner. Both datasets are meticulously annotated in COCO format, and segmentation masks are generated for each image through format conversion to enable segmentation-based training suitable for a multi-class anomaly segmentation approach covering a wide range of anomaly categories. The first dataset, consisting of 17,000 images and six anomaly classes, is utilized for multiclass anomaly detection and segmentation using five different deep learning architectures— YOLOv8, DeepLabV3+, U-Net, Feature Pyramid Network (FPN), and PSPNet. Based on the results obtained from this stage, two architectures are observed to be more effective than the others. The primary contribution of this thesis is its focus on a comprehensive ablation study conducted on the more effective FPN and DeepLabV3+ architectures using a more complex and detailed final dataset. In this ablation study, three different backbone networks—ResNet18, EfficientNet-b0, and MobileNetV2—are independently evaluated for each architecture, resulting in systematic experiments across a total of six different model configurations. When all evaluation metrics are considered jointly, the DeepLabV3+–ResNet18 architecture– backbone combination (Model 4) is found to provide the most balanced, stable, and generalizable performance on the multi-class hybrid anomaly dataset. Although FPN-based models produce strong results for certain localized and less complex anomaly types, they fall behind the DeepLabV3+ architecture in terms of overall segmentation performance and intermetric balance. These findings emphasize the importance of selecting architecture and backbone combinations in an anomaly-sensitive manner and suggest the DeepLabV3+–ResNet18 configuration as a strong reference model for real-time anomaly detection systems. Finally, beyond single-model configurations, ensemble learning approaches based on the aggregation of model outputs are also evaluated. In this context, two different ensemble learning configurations composed of 15 and 30 independent models are constructed using outputs obtained from the best-performing models with different weight initializations and independent training processes. The results indicate that ensemble learning provides significant improvements particularly in recall, effectively reducing the rate of missed detections for critical anomalies. In contrast, performance gains in accuracy and precision remain limited as the ensemble size increases, eventually reaching a saturation point. These findings suggest that ensemble learning methods offer a strong alternative for scenarios where missing critical events is highly costly, while highlighting the necessity of selecting an optimal configuration by carefully balancing computational cost and performance. In the final stage, the impact of ensemble learning approaches on multi-class anomaly detection is examined in greater detail. Two different ensemble types, composed of 15 and 30 weighted model configurations, are evaluated by aggregating outputs obtained from independent training processes with different weight initializations. Experimental results demonstrate that, although ensemble models yield limited or lower accuracy and precision compared to single models, they achieve consistent and significant improvements in recall across all anomaly types. Notably, ensemble configurations attain the highest recall values for critical anomalies such as avalanches, armed attacks, landslides, market robberies, and wildfires. Analysis of Dice and IoU metrics reveals that ensemble approaches provide relative gains in events characterized by ambiguous boundaries and temporal variability, while remaining less precise than highaccuracy single architectures in terms of overall segmentation quality. Furthermore, the absence of a significant performance difference between the 15- and 30-model ensemble configurations indicates a saturation effect, suggesting diminishing returns despite increased computational cost. These results demonstrate that ensemble learning approaches constitute a powerful alternative for recall-oriented anomaly detection applications, provided that careful configuration is applied in real-time and resource-constrained systems.
Benzer Tezler
- X-ray görüntülerinden alt solunum yolu enfeksiyonlarının teşhisinde transfer öğrenme yöntemleri ve topluluk öğrenmeye dayalı yeni bir yaklaşım
A new approach based on transfer learning methods and ensemble learning in the diagnosis of lower respiratory tract infections from X-ray images
BERİVAN ÖZAYDIN
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBatman ÜniversitesiElektrik-Elektronik Ana Bilim Dalı
DOÇ. DR. RAMAZAN TEKİN
- Mamografik meme görüntülerinde lezyonların sınıflandırılması için derin öğrenme ve topluluk öğrenmesi tabanlı bir yaklaşım
A deep learning and ensemble learning based approach for classification of lesions in mammographic breast images
AYŞEGÜL TÜRE ÇAYMAZ
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBaşkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ DİDEM ÖLÇER
- Deep ensemble learning and federated knowledge distillation methods for waste classification
Atık sınıflandırma için derin topluluk öğrenme ve federe bilgi damıtma yöntemleri̇
AHMET ALKILINÇ
Doktora
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SUAT ÖZDEMİR
- Arazi örtüsü ve kullanımı için SAR görüntülerinin sınıflandırılmasında topluluk öğrenme tabanlı yaklaşım
Ensemble learning-based approach to classification of SAR images for land cover and use
ELİF MEŞECİ
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. CANER ÖZCAN
- Diyabetik retinopati sınıfladırmasında derin öğrenme, transfer öğrenme ve model birleştirme yaklaşımları
Deep learning, transfer learning and model ensemble approaches in diabetic retinopathy classification
KÜRŞAD KOCAİSPİR
Yüksek Lisans
Türkçe
2026
Mühendislik BilimleriOsmaniye Korkut Ata ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. KEMAL BALIKÇI
PROF. DR. UFUK BAL