Medikal görüntülerin analizinde dönüşüm tabanlı modellere açıklanabilir yapay zeka yaklaşımlarının uygulanması
Utilizing explainable artificial intelligence approaches to transformer based models in medical image analysis
- Tez No: 985868
- Danışmanlar: DOÇ. DR. ABDULNASIR YILDIZ
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: Türkçe
- Üniversite: Dicle Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Son yıllarda medikal görüntü analizi alanında derin öğrenme tabanlı yöntemler, hastalık tanısında ve klinik tanı destek sistemlerinde önemli bir yer edinmiştir. Özellikle yüksek çözünürlüklü medikal görüntülerde karmaşık doku yapılarının incelenmesi geleneksel yöntemlerin ötesinde açıklanabilir ve güvenilir makine öğrenmesi yaklaşımlarına olan ihtiyacı artırmaktadır. Bu tez çalışmasının genel amacı, farklı medikal görüntüleme alanlarında (histopatoloji, dermatoloji ve otoskopi) dönüşüm ve evrişim tabanlı mimariler ile Açıklanabilir Yapay Zeka (AYZ) yöntemlerini bütünleştirerek yorumlanabilir ve genellenebilir sınıflandırma modelleri geliştirmektir. Bu kapsamda ilk aşamada, akciğer kanseri histopatolojik görüntülerinin otomatik sınıflandırılması için Evrişimsel Sinir Ağı, Vision Transformer (ViT) ve EfficientNet-B1 mimarileri karşılaştırılmış; açıklanabilirlik kapsamında Local Interpretable Model-agnostic Explainable (LIME) yöntemi uygulanmıştır. Ayrıca FourierNet (FNet) mimarisi ile LIME algoritmasının birlikte kullanıldığı ikinci bir çalışma (akciğer, kolon, meme kanseri) ile model çıktılarının medikal anlamlılığı değerlendirilmiş ve sonuçlar patolog görüşüyle doğrulanmıştır. Tezin ikinci aşamasında, farklı klinik alanlarda dönüşüm tabanlı modellerin genellenebilirliğini incelemek amacıyla deri lezyonu ve kulak zarı veri setleri üzerinde ViT ve Data-efficient Image Transformer (DeiT) modelleri eğitilmiştir. Deri lezyonları sınıflandırmasında en başarılı iki yöntem olarak tespit edilen Gradient Weighted Class Activation Map (Grad-CAM) ve Layer-wise Relevance Propagation (LRP) yöntemleri birleştirilerek Temel Bileşenler Analizi tabanlı yeni bir hibrit açıklanabilir yaklaşım önerilmiştir. Otoskopik görüntülerde ise yine en başarılı iki metot olarak bulunan Attention Rollout (AR) ve LRP yöntemlerinin Kanonik Korelasyon Analizi ile bütünleştirildiği hibrit bir açıklama stratejisi sunulmuştur. Açıklanabilirlik performansı, silme ve ekleme nedensel metrikleriyle nicel olarak değerlendirilmiştir. Elde edilen sonuçlar, ViT modelinin tüm veri kümelerinde en yüksek doğruluk, hassasiyet ve eğrinin altında kalan alan (AUC) değerlerini sağladığını göstermiştir. Deri lezyonları veri setinde ikili sınıflandırmada AUC=0.9192, çok sınıflı analizde AUC=0.9784 değerine ulaşılmış; kulak zarı görüntülerinde ise ViT modeli 0.9976 AUC değeriyle en yüksek başarımı göstermiştir. Hibrit açıklanabilir yaklaşımlar, tekil AYZ yöntemlerine göre daha düşük silme ve daha yüksek ekleme skorlarıyla model kararlarının güvenilirliğini artırmıştır. Sonuç olarak, mevcut tez kapsamında geliştirilen modeller, farklı medikal görüntüleme alanlarında hem yüksek sınıflandırma başarımı hem de güvenilir açıklanabilirlik sunarak klinisyenlerin güvenini ve karar destek sistemlerinin şeffaflığını artırmaktadır. Gelecekteki çalışmalar, çok merkezli veri kümeleri kullanarak farklı modalitelerin entegrasyonu ve gelişmiş nedensel analizlerle modelin klinik uygulanabilirliğini artırmayı hedeflemektedir.
Özet (Çeviri)
In recent years, deep learning–based methods have gained significant prominence in the field of medical image analysis, particularly in disease diagnosis and clinical decision-support systems. The examination of complex tissue structures in high-resolution medical images has increased the need for explainable and reliable machine learning approaches beyond traditional methods. The overall objective of this thesis is to develop explainable and generalizable classification models by integrating convolution and transformer-based architectures with Explainable Artificial Intelligence (XAI) techniques across different medical imaging domains (histopathology, dermatology, and otoscopy). In the first phase, Convolutional Neural Network, Vision Transformer (ViT), and EfficientNet-B1 architectures were compared for the automatic classification of lung cancer histopathology images, and Local Interpretable Model-agnostic Explainable (LIME) method was applied for explainability. Additionally, a second study involving FourierNet (FNet) combined with LIME was conducted on lung, colon, and breast cancer datasets to evaluate the medical relevance of model outputs, which was confirmed through pathologist feedback. In the second phase, ViT and Data-efficient Image Transformer (DeiT) models were trained on skin lesion and tympanic membrane (TM) image datasets to investigate the generalizability of transformer-based models across different clinical domains. For skin lesion classification, the two best-performing XAI methods—Gradient-weighted Class Activation Map (Grad-CAM) and Layer-wise Relevance Propagation (LRP)—were fused to propose a novel hybrid explainability approach based on Principal Component Analysis. For otoscopic images, another hybrid strategy was introduced by integrating Attention Rollout (AR) and LRP using Canonical Correlation Analysis. Explainability performance was quantitatively evaluated using deletion and insertion causal metrics. The results demonstrate that the ViT model achieved the highest accuracy, precision, and area under the curve (AUC) across all datasets. On the skin lesion dataset, ViT achieved AUC values of 0.9192 (binary classification) and 0.9784 (multi-class classification), while on the TM dataset the model reached the highest AUC of 0.9976. The proposed hybrid explainability approaches improved the reliability of model decisions by yielding lower deletion and higher insertion scores compared to individual XAI methods. In conclusion, the models developed within current thesis provide both high classification performance and reliable explainability across different medical imaging domains, thereby enhancing clinician confidence and increasing the transparency of clinical decision-support systems. Future studies will focus on improving clinical applicability through the integration of multi-center datasets, multimodal data fusion, and advanced causal analysis strategies.
Benzer Tezler
- Mekansal-zamansal hasta hareketlilik verileriyle mekansal etkileşim örüntülerinin analizi ve akış haritaları aracı tasarımı ve geliştirilmesi
Analysis of spatial interaction patterns using spatio temporal patient mobility data, and designing and developing a flow mapping tool
SELMAN DELİL
Doktora
Türkçe
2019
Coğrafyaİstanbul Teknik ÜniversitesiBilişim Uygulamaları Ana Bilim Dalı
PROF. DR. RAHMİ NURHAN ÇELİK
- Analog dijital çeviricilerin analiz ve sentezi
Başlık çevirisi yok
ALİ ÇAPRAZ
Yüksek Lisans
Türkçe
1985
Elektrik ve Elektronik MühendisliğiUludağ ÜniversitesiElektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ERGÜR TÜTÜNCÜOĞLU
- Sivas yöresinde akraba evliliği yapan ve yapmayan çiftlerde dermatoglifik benzerlikler
Similarities of dermataoglyphies among individval of married relatives and married couples not related to each other in Sivas region
Y. SELMA SÜNGÜ
Yüksek Lisans
Türkçe
1984
Tıbbi BiyolojiCumhuriyet ÜniversitesiTıbbi Biyoloji ve Genetik Ana Bilim Dalı
YRD. DOÇ. DR. İLHAN SEZGİN
- İdrar kültürlerinden izole edilen coag (-) staphylococcus (s. epidrmidis ve s. saprophyticus)'ların idrar yolu enfeksiyonlarındaki yeri
The Place of coag (-) staphylococcus to the urinary tract infectron which are isolated from the urine cultures
SUMRU ÇITAK(KORMAN)
- Ferrokrom fabrikasında çalışan işçilerde stogenetik çalışmalar
Başlık çevirisi yok
AYNUR ACAR
Doktora
Türkçe
1985
Tıbbi BiyolojiAkdeniz ÜniversitesiTıbbi Biyoloji ve Genetik Ana Bilim Dalı
DOÇ. DR. GÜVEN LÜLECİ