Geri Dön

Advancing conformal prediction with fuzzy logic and ıts extensions to system ıdentification

Konformal tahminin bulanik mantik ile geliştirilmesi ve sistem tanimlamadaki kullanimi

PDF İndir

  1. Tez No: 980448
  2. Yazar: SALEH MSADDI
  3. Danışmanlar: PROF. DR. TUFAN KUMBASAR
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Kontrol ve Otomasyon Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Makine Öğrenmesi (MÖ) ve Derin Öğrenme (DÖ) alanlarındaki araştırmalar son yıllarda giderek artmış, otonom sürüşten sağlık sektörüne kadar birbirinden farklı birçok alana katkı sağlamış ve bu sayede yüksek doğrulukta tahmin performansına sahip güçlü modeller geliştirilmesi mümkün olmuştur. Ancak, bu alanlardaki araştırmalarda ağırlıklı olarak, verilen bir girdiye karşılık, çıktının nokta tahmini üzerine odaklanılmıştır. Nokta tahminler ise, düşük riskli uygulamalarda çoğu zaman yeterli olsa da belirsizlik altında karar verilmesi gereken ve hatalı tahminlerin ciddi sonuçlar doğurabileceği yüksek riskli uygulamalarda yetersiz kalabilmektedir. Bu tür durumlarda, sadece doğru bir tahminde bulunmak değil, aynı zamanda bu tahmine ilişkin belirsizliği de nicel olarak ifade etmek gerekmektedir. Belirsizlik Ölçümü (BÖ), bu belirsizliklerin tahmin edilmesi ve karakterize edilmesine olanak tanımaktadır. Bu süreç, güven ölçütlerinin sağlanmasını ve modelin sınırlarının ortaya konmasını mümkün kılmaktadır. Sonuç olarak, daha güvenilir ve gelişmiş karar verme yeteneğine sahip akıllı sistemlerin tasarımında temel bir rol oynamaktadır. Konformal Tahmin (KT), nokta tahminlerin yetersiz kaldığı durumlar için güçlü bir BÖ yapısı olarak geliştirilmiştir. KT, nokta tahminleri, geçerli Tahmin Aralıklarına (TA'lar) dönüştürür. Bu TA'lar kullanıcıya kapsama oranı hakkında istatistiksel garanti sağlar ve belirsizliği değerlendirmek için bir yol sunar. KT'nin önemi iki temel özelliğinde yatmaktadır: Birincisi, modelden bağımsızdır; yani herhangi bir MÖ/DÖ, modelin yapısında herhangi bir değişiklik gerektirmeksizin uygulanabilir olmasıdır. İkincisi ise, veride yalnızca değiştirilebilirlik varsayımı gerektirir; bu varsayım, diğer istatistiksel yapıların genellikle gerektirdiği bağımsız ve özdeş dağılımlı varsayıma kıyasla daha az kısıtlayıcıdır. TA oluşturmak için KT, yeni bir örneğin daha önce gözlemlenen örneklerden ne ölçüde saptığını nicel olarak ifade eden bir uyumsuzluk ölçütü kullanır. Uyumsuzluk ölçütünün seçimi oluşturulan TA'ların kapsamını ve geçerliliklerini etkilemese de TA'ların kalitesini doğrudan etkilediği için kritik bir öneme sahiptir. Tüm konformal tahminciler geçerli olmakla birlikte, bunların verimliliği (TA'ların ne kadar dar ve bilgilendirici olduğu) büyük oranda uyumsuzluk ölçütünün nasıl tanımlandığına bağlıdır. KT transdüktif bir yapı olarak doğmuştur. Her yeni test örneği için temel modelin yeniden eğitilmesini gerektirdiğinden büyük ölçekli veya yüksek boyutlu problemlerin hesaplamasında başarılı değildir. Bu hesaplama yükünün üstesinden gelebilmek için, indüktif veya Bölünmüş KT (BKT) geliştirilmiştir. BKT üç ana fazdan oluşur; modelin öğrenildiği eğitim fazı, uyumsuzluk ölçütü kullanılarak uyumsuzluk puanlarının hesaplandığı kalibrasyon fazı ve modelin nokta tahminleri etrafında TA'ların oluşturulduğu test fazı. Bu iyileştirme sayesinde KT'yi, çeşitli uygulamaları kapsayacak şekilde farklı MÖ/DÖ modellerine entegre etmek mümkün olmuştur. KT araştırmaları farklı alanlarda evrilmeye devam etmektedir. Bu tez çalışmasında, üç temel araştırma konusu belirlenmiş ve KT literatürünü geliştirmek için yeni önerilerde bulunulmuştur. Aşağıda bu üç temel araştırma konusunun ayrıntılarından bahsedilmiştir. İlk olarak, KT için iki uyumsuzluk ölçütü tanıtılmaktadır. Devam etmekte olan araştırmalar daha verimli TA'lar üreten uyumsuzluk ölçütleri geliştirerek konformal tahmincileri iyileştirmeye odaklanmaktadır. Regresyon tabanlı KT'de standart uyumsuzluk ölçütü, tahmin edilen ve gerçek çıktılar arasındaki mutlak artığa (hataya) dayanır. Ancak bu ölçüt, tüm test noktaları için sabit genişlikte TA'lar üretir ve bu da TA'ların bilgilendiriciliğini sınırlar. Bunu aşmak için, son çalışmalar Yüksek Kaliteli (YK)-TA'lar elde etmeye yönelik uyarlanabilir ve daha verimli alternatifleri incelemiştir. Bu tez çalışmasında, BKT için Bulanık c-Ortalama Kümeleme (BCO) ve $k$-en yakın komşuların ($k$-NN) artık bilgisine dayalı iki yeni uyumsuzluk ölçütü önerilmiştir. BCO, kalibrasyon verilerinin özniteliklerini kümelemek ve temsil edici Bulanık Kümeleri (BK'leri) çıkarmak için kullanılır. İlk uyumsuzluk ölçütü, $k$-NN'lerin her bir küme merkezine olan benzerliğini karşılaştırır. BCO mesafeye dayalı bir kümeleme algoritması olduğundan, küme merkezine yakın olan $k$-NN'lere daha fazla, uzak olanlara ise daha az önem atfeder. İkinci uyumsuzluk ölçütü ise, $k$-NN'lerin hem küme merkezlerine hem de test noktasına olan benzerliğini dikkate alır; böylece, test noktasının özelliklerini paylaşan $k$-NN'lere daha yüksek ağırlık verir. Önerdiğimiz yaklaşımın verimliliğini göstermek için kamuya açık veri kümeleri üzerinde ampirik bir inceleme gerçekleştirerek, BKT'de kullanılan standart uyumsuzluk ölçütüyle kıyasladık. Sonuçlar, her iki BCO tabanlı uyumsuzluk ölçütünün de kapsama ve sıkılık garantisi sağlayan YK-TA'ları ürettiğini göstermektedir. İkinci olarak, KT'yi Aralık Değerli Tip-2 (ADT2) Bulanık Mantık Sistemleri (BMS'ler) ile bütünleştiren bir yapı önerilmektedir. KT'nin çeşitli MÖ/DÖ modelleriyle entegrasyonuna olan ilginin artmasına ve çeşitli regresyon modellerine başarılı bir şekilde uygulanmasına rağmen, BMS'ler ile kullanılması henüz araştırılmamıştır. Tip-2 BMS'ler, hem Genel hem de ADT2 olmak üzere, belirsizliklerin modellenmesi ve yayılımı konusunda Tip-1 sistemlere kıyasla daha etkili oldukları için BÖ uygulamalarında sıklıkla tercih edilmektedir. Bu avantaj, Tip-2 BMS'lerin belirsizlik izdüşümünün sağladığı ek serbestlik derecesinden kaynaklanmaktadır. Ancak bu modeller, ürettiği TA'larının istenen kapsama oranına ulaşacağına dair herhangi bir istatistiksel garanti vermemektedir. Bu eksikliği gidermek için, bu tez çalışmasında, ADT2-BMS ve KT'nin birlikte kullanıldığı, her ikisinin de BÖ'deki güçlü yönlerinden faydalanılan bir“İttifak”yapısı sunduk. Bu İttifak, eğitilmiş herhangi bir ADT2-BMS modelini, ayrık bir kalibrasyon kümesiyle birlikte kullanarak uyumsuzluk puanlarını hesaplar. Belirli bir test noktası için İttifak, ADT2-BMS'nin TA'larını kalibre ederek istenen kapsama oranını sağlayan geçerli TA'lar üretir. Bu amaçla, İttifak kapsamında uyumsuzluk puanlarının hesaplanması ve TA'ların kalibrasyonu için kullanılan üç KT yöntemi ele alınmaktadır. ADT2-BMS ve KT yöntemleri arasındaki etkileşimi inceleyerek, bu etkileşimin İttifak'ın performansını nasıl şekillendirdiğini analiz ettik. Ortaya koyduğumuz matematiksel analizler, hem ADT2-BMS'de kullanılan küme merkezlerinin hesaplama yönteminin, hem de seçilen KT yönteminin, önerilen BÖ İttifakı'nın etkinliğini birlikte etkilediğini göstermektedir. Etkinliğini doğrulamak amacıyla, İttifak, çeşitli veri kümeleri üzerinde kantil regresyon tabanlı ADT2-BMS ve BMS tabanlı BKT modelleriyle karşılaştırdık. Elde ettiğimiz kapsamlı ve karşılaştırmalı sonuçlar sayesinde İttifak'ın hem kapsama oranını karşılayan hem de diğer modellere göre daha dar YK-TA'lar ürettiğini ortaya koyduk. Üçüncü olarak, KT'yi Sistem Tanımlama (ST) problemine uygulamaktır. ST, kontrol mühendisliğinin temel taşlarından biridir ve gözlemlenen giriş-çıkış zaman serisi verilerini kullanarak dinamik sistem modelleri oluşturmayı hedefler; bu modeller sistem analizi, simülasyon ve kontrol için bir temel sağlamaktadır. Geleneksel ST yaklaşımları nokta tahminlerin doğruluğu, kararlılığı ve dayanıklılığına odaklanmış olsa da, bu modellerin güvenlik açısından kritik uygulamalarda giderek daha fazla kullanılması, güvenilir BÖ ihtiyacını ortaya çıkarmaktadır. Bu bağlamda, KT bu ihtiyacı karşılamak için etkili bir yapı sunmaktadır. Yakın dönemdeki araştırmalar sayesinde KT, değiştirilebilir veriler için tek çıkışlı regresyonun ötesine geçmiştir. Elde edilen önemli gelişmelerden biri, KT'nın çok çıkışlı regresyona uyarlanmasıdır. Bu sayede KT, çıkış değişkenleri arasındaki korelasyonları yakalayıp geçerli Tahmin Bölgeleri (TB'ler) oluşturmaktadır. Bir diğer gelişme ise, zaman serisi gibi değiştirilemez veriler için de kullanılabilmesidir. Bu gelişmeler temel alınarak, bu tez çalışmasında tek çıkışlı ve çok çıkışlı ST uygulamaları için modelden bağımsız yeni bir BÖ yapısı olan Konformal ST (K-ST) önerilmektedir. K-ST, herhangi bir ST modelinin nokta tahminlerini, tek çıkışlı sistemler için geçerli TA'lar ve çok çıkışlı sistemler için geçerli TB'lere dönüştürerek, kapsama garantisi sağlar. Tek çıkışlı sistemler için, ST uygulamalarında değiştirelemez BTK'ye dayalı TA'lar oluşturmak üzere Güncellenmiş Artıklar (GA) ve Ağırlıklı Güncellenmiş Artıklar (AGA) gibi mevcut yöntemler uyarlanmıştır. Bu yöntemler, ST verilerinde bulunan zamana bağlı dinamikleri barındırarak YK-TA'lar üretilmesini garanti etmektedir. Çok çıkışlı sistemler için ise mevcut kopula tabanlı yöntemi uyarlayarak zaman serisi verilerini işlemek üzere özel tasarlanmış Güncellenmiş Kopula (GK) yöntemi önerilmiştir. Önerilen K-ST yapısının etkinliğini değerlendirmek amacıyla, hem tek çıkışlı hem de çok çıkışlı sistemleri temsil eden gerçek dünya referans veri kümelerine dayalı sonuçlar sunulmuştur. Tek çıkışlı sistemler için alınan sonuçlar, GA ve AGA yöntemlerinin istenen kapsama oranına ulaştığı, AGA'nın daha dar TA'lar üreterek YK-TA'lar sağladığı gözlemlenmiştir. Çok çıkışlı sistemler için ise, GK yöntemi çıkışlar arasındaki ilişkileri etkili biçimde yakalayarak kompakt TB'ler üretmiş ve istenen kapsama oranını başarıyla sağlamıştır. Özetle, bu tez çalışması, KT üzerine yapılan araştırmalardaki üç kritik boşluğu ele alarak literatüre katkı sunmayı hedeflemektedir. BKT'nin verimliliğini artıran yeni uyumsuzluk ölçütleri sunmakta, ADT2-BMS ve KT'yi birleştirerek kalibre edilmiş TA'lar için bir İttifak yapısı geliştirmekte ve dinamik sistemler için istatistiksel güvenilir tahminler ortaya koymak amacıyla KT'yi ST alanına genişletmektedir. Bu katkılar, KT araştırmalarının teorik ve uygulamalı boyutlarını ileri taşımakta; aynı zamanda geçerli ve verimli yapılar ortaya koymaktadır. Tez kapsamında ayrıca, sunulan çalışma üzerine inşa edilebilecek gelecekteki araştırma konuları da ortaya konulmuştur. Bunlar arasında, daha verimli ve yorumlanabilir uyumsuzluk ölçütleri geliştirmek amacıyla BK'lerin daha derinlemesine incelenmesi de yer almaktadır. BMK'ların çıkarım aşamasındaki belirsizliğinin analiz edilmesi ve bulanık kural tabanının yapısı ile aktivasyonunun incelenmesi İttifak'ın yorumlanabilirliğini artırmak için umut vadeden bir araştırma yönüdür. K-ST yapısı ise, daha verimli uyumsuzluk ölçütleri geliştirilerek ve hesaplama yükü azaltılarak yüksek boyutlu sistemlerde gerçek zamanlı uygulamalarda kullanlımak üzere geliştirilebilir.

Özet (Çeviri)

Research in Machine Learning (ML) and Deep Learning (DL) has progressed rapidly in recent decades, yielding powerful models capable of achieving remarkable predictive performance in diverse applications ranging from autonomous driving to healthcare. However, much of this progress has centered on point predictions, where a model provides a point-wise estimate for an output given an input. While point predictions are often sufficient in low-stakes applications, they are insufficient in high-risk domains where decisions must be made under uncertainty and where incorrect predictions may have serious consequences. In such contexts, it is essential not only to provide an accurate estimate but also to quantify the uncertainty associated with that estimate. Thus, Uncertainty Quantification (UQ) is crucial for estimating and characterizing uncertainties, providing confidence measures, revealing model limitations, and enabling trustworthy intelligent systems for better decision-making. Conformal Prediction (CP) has emerged as a powerful UQ framework to address this challenge. CP transforms point predictions into valid Prediction Intervals (PIs) that provide statistical guarantees about coverage, offering the user a principled way to assess uncertainty. The appeal of CP lies in two main properties: First, it is model-agnostic, meaning it can be applied to any ML/DL model without requiring modification of the model's structure. Second, it requires only the mild assumption of exchangeability in the data, which is less restrictive than the independent and identically distributed assumption typically demanded by other statistical frameworks. To generate PIs, CP uses a nonconformity measure, which quantifies the degree to which a new sample deviates from previously seen samples. The choice of nonconformity measure is crucial, as it directly influences the quality of the generated PIs. However, it does not affect their validity in terms of achieving the desired coverage. While all conformal predictors are valid, their efficiency (how narrow and informative the PIs are) depends heavily on how nonconformity is defined. CP was first introduced as a transductive framework that requires retraining the underlying model for every incoming test sample, rendering it impractical for large-scale or high-dimensional problems. To overcome this computational burden, inductive or Split CP (SCP) was developed. SCP consists of three main phases: a training phase, where the model is learned; a calibration phase, where nonconformity scores are computed using the nonconformity measure; and a testing phase, where PIs are generated around the model's point predictions. This enhancement paved the way for integrating CP on top of various ML/DL models to span multiple applications. Research in CP continues to evolve in diverse directions. In this thesis, three open research challenges are identified, and novel contributions are proposed to advance the CP literature. The details of these three main research topics are discussed below. First, we introduce two nonconformity measures for SCP. A key area of ongoing research involves improving conformal predictors by developing nonconformity measures that produce more efficient PIs. In regression-based CP, the standard nonconformity measure is the absolute residual (error) between the predicted and true outputs. However, this measure produces PIs with fixed width across all test points, which limits their informativeness. To overcome this, recent studies have examined adaptive and more efficient alternatives that yield High-Quality (HQ) PIs. In this thesis, we introduce two novel nonconformity measures for SCP based on Fuzzy c-Means Clustering (FCM) and the residual information of the $k-$Nearest Neighbors ($k-$NNs). We use FCM to cluster the attributes of the calibration set and extract representative Fuzzy Sets (FSs). The first nonconformity measure compares the similarity of the $k-$NNs to each cluster center. Since FCM is a distance-based clustering algorithm, this provides more importance to the $k-$NNs near the cluster center and less importance to those farther. The second nonconformity measure takes into account the similarity of the $k-$NNs to the cluster centers and the test point. Thus, giving more attention to the $k-$NNs that share the same properties of the test point. We perform an empirical investigation on publicly available datasets to illustrate the efficiency of the proposed approach compared to the standard nonconformity measure used in SCP. The results indicate that both FCM-based nonconformity measures result in HQ-PIs, guaranteeing coverage and tightness. Second, we propose a framework that integrates CP with Interval-Type 2 (IT2) Fuzzy Logic Systems (FLSs). Despite the growing interest in integrating CP with various ML/DL models and its successful application to several regression models, its integration with FLSs has yet to be explored. Type-2 FLSs, both General and IT2, have gained significant attention in UQ applications due to their inherent capability to model and propagate uncertainties more effectively than their Type-1 counterparts, owing to the extra degree of freedom provided by the footprint of uncertainty. However, these models lack statistical guarantees that the generated PIs achieve the desired marginal coverage. This motivates us to propose an Alliance for UQ, uniting IT2-FLS and CP to leverage their complementary strengths in UQ. The Alliance utilizes any trained IT2-FLS alongside a disjoint calibration set to compute nonconformity scores. For a given test point, the Alliance calibrates the PIs of the IT2-FLS to produce valid PIs that envelop the output and achieve the desired coverage. To accomplish this, we discuss three CP methods used within the Alliance for calculating nonconformity scores and calibrating PIs. We examine the synergy between IT2-FLS and CP methods, analyzing how their interaction shapes the performance of the Alliance. Our mathematical analysis demonstrates that both the choice of the center of sets calculation method in IT2-FLS and the selected CP method jointly impact the effectiveness of the proposed Alliance for UQ. To validate its effectiveness, we present comprehensive and comparative results by evaluating the Alliance against IT2-FLS based on QR and FLS-based SCP models on various datasets. The findings reveal that the Alliance consistently generates HQ-PIs that not only meet the required coverage but also yield tighter PIs. Third, we extend CP to System Identification (SysID). SysID is a cornerstone of control engineering, aiming to construct models of dynamical systems from observed input-output time-series data, providing the basis for system analysis, simulation, and control. While traditional SysID has emphasized accuracy, stability, and robustness of point predictions, the growing use of these models in safety-critical applications underscores the need for reliable UQ. In this regard, CP serves as an effective framework to meet this need. Recent research has extended CP beyond single-target regression for exchangeable data. One important advance is its adaptation to multi-target regression, which captures correlations among outputs and constructs valid Prediction Regions (PRs). Another is its extension to nonexchangeable settings, such as time-series data. Building on these advances, this thesis introduces Conformal SysID (C-SysID), a novel model-agnostic framework for UQ for single-output and multiple-output SysID tasks. C-SysID effectively transforms the point predictions of any SysID model into valid PIs for single-output systems and valid PRs for multiple-output systems, with guaranteed coverage. For single-output systems, we adapt existing methods such as the Updated Residuals (UR) and the Weighted Updated Residuals (WUR) to generate PIs in SysID tasks based on nonexchangeable SCP. These methods accommodate the time-dependent dynamics inherent in SysID data, ensuring HQ-PIs. For multiple-output systems, we adapt the existing copula-based method to generate PRs. Building on this, we introduce the Updated Copula (UC) method, specifically designed to handle time-series data in multiple-output SysID tasks. To evaluate the effectiveness of the proposed C-SysID framework, we present comprehensive results based on real-world benchmark datasets that represent both single-output and multiple-output systems. The results for single-output systems show that the UR and WUR methods achieve the desired confidence level, with WUR yielding narrower PIs and thus HQ-PIs. For multiple-output systems, the UC method demonstrates superior performance by effectively capturing output dependencies, yielding compact PRs, and achieving the desired coverage. In summary, this thesis contributes to the growing research on CP by addressing three critical gaps. It introduces novel nonconformity measures that improve the efficiency of SCP, develops an Alliance framework that unites IT2-FLSs with CP for calibrated PIs, and extends CP to SysID to provide statistically reliable predictions for dynamical systems. Together, these contributions advance both the theory and practice of CP research, offering frameworks that are valid and efficient. We also outline future research directions building on this thesis. These include further exploring FSs to create more informative nonconformity measures that may enhance both efficiency and interpretability. Investigating uncertainty at the inference stage of FLSs by analyzing the structure and activation of the fuzzy rule base is a promising direction for strengthening the interpretability of the Alliance. The C-SysID framework can be further enhanced by developing more efficient nonconformity measures and reducing computational cost, making it suitable for real-time deployment in high-dimensional systems.

Benzer Tezler

  1. Tez No

    885563

    From data to action: Transforming pressure testing in manufacturing with machine learning for enhancing energy efficiency

    Veriden aksiyona: Üretimdeki basınç testini makine öğrenimiyle dönüştürmek ve enerji verimliliğini artırmak

    ERHAN YILDIZ

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Enerjiİstanbul Teknik Üniversitesi

    Enerji Bilimi ve Teknolojileri Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MUSTAFA BERKER YURTSEVEN

  2. Tez No

    726992

    Development and comparison of a vmat classsolution versus 3d conformal radiotherapy fortangential breast cancer treatments

    Başlık çevirisi yok

    GÖNLÜM ERDAŞ

    Yüksek Lisans

    İngilizce

    İngilizce

    2015

    Radyasyon OnkolojisiSwansea Unıversıty

    Yurtdışı Enstitü

  3. Tez No

    965483

    Lokal ileri evre ( TNM IIIA-B ve C küçük hücre dışı akciğer kanseri olgularında kronik obstrüktif akciğer hastalığı varlığının sağkalım ve tedavi başarısı üzerine etkisinin incelenmesi

    The impact of chronic obstructive pulmonary disease on survival and treatment outcomes in patients with locally advanced (TNM stage IIIA–B and C) non-small cell lung cancer

    İREM TURAN

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2025

    Göğüs HastalıklarıSağlık Bilimleri Üniversitesi

    Göğüs Hastalıkları Ana Bilim Dalı

    PROF. DR. ÜLKÜ YILMAZ

  4. Tez No

    997716

    Lityum iyon sonrası batarya sistemleri için katı elektrolitlerin geliştirilmesi

    Development of solid electrolytes for post-lithium-ion battery systems

    MUSTAFA ÇELİK

    Doktora

    Türkçe

    Türkçe

    2026

    EnerjiSakarya Üniversitesi

    Metalurji ve Malzeme Mühendisliği Ana Bilim Dalı

    PROF. DR. TUĞRUL ÇETİNKAYA

  5. Tez No

    331135

    Belediyelerin yaygın eğitim çalışmalarına bir örnek olarak Şişli Belediyesi

    A case study of nonformal education activities of municipalities: Municipality of Şişli

    KÖKSAL AYÇİÇEK

    Yüksek Lisans

    Türkçe

    Türkçe

    2012

    Eğitim ve Öğretimİstanbul Aydın Üniversitesi

    İşletme Ana Bilim Dalı

    PROF. DR. UĞUR TEKİN

Geri Dön