Maximum likelihood estimation of robust constrained gaussian mixture models
Gürbüz kısıtlı gauss karışım modellerinin enbüyük olabilirlik kestirimi
- Tez No: 336864
- Danışmanlar: PROF. DR. ORHAN ARIKAN
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Gaussian mixture models, expectation maximization, convex optimization, duality, particle swarm optimization
- Yıl: 2013
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Gauss kar s m modelleri ile da g l m kestirimi yaparken modelin esnekli gi ile veri k umesindeki istenmeyen/modellenmeyen veri noktalar na olan hassasl g aras nda temel bir ikilem durumu ortaya c kmaktad r. Uygun olmayan parametre se cimive problemin i cb ukey olmamas ndan dolay Gauss kar s m modellerinin parametrelerinin kestirimi i cin kullan lan beklenti enb uy ukleme (EM) y ontemi en iyi parametreleri bulamayabilmektedir. Bu tezde, beklenti enb uy ukleme y ontemi,i cb ukey e sleklik (duality) teorisi ve rasgele arama y ontemlerini temel alan k s tl Gauss kar s m modelleri i cin yeni bir modelleme sistemi, u c farkl parametrizasyon ve ozg un y ontemler onerilmektedir. K s tl Gauss kar s m modelleri (CGMM) olarak adland rd g m z modelleme sisteminde da g l m kestirimi problemi hakk nda sahip olunan bilgiler model parametreleri uzerine i cb ukey k s tlar koyularak kullan labilmetedir. Bu durum i cin bilgi parametreleri ve kaynak parametreleri olarak ifade etti gimiz iki parametrizasyon d u s un ulmektedir. Parametrelerin kestirimi i cin kulland g m z EM y onteminin E-ad m ve M-ad m nda s ra ile iki eniyileme problemi c oz ulmektedir. M-ad m ndaki problemin bilgi parametreleri cinsinden i cb ukey eniyileme problemi oldu gu g osterilmektedir. M-ad m i cin e slek (dual) problem olu sturulup bu problemin ise kaynak parametreleri cinsinden i cb ukey eniyileme problemi oldu gu g osterilmektedir. CGMM modelleme sistemi g urb uz da g l m kestirimi ve bile sik nesne bulma problemlerine uygulanmaktad r. G urb uz da g l m kestirimi probleminde, az say da veri noktas i cin var olan istenilen/ayk r nokta bilgileri bilgi parametreleri uzerine i cb ukey k s tlar koyarak modellenmektedir. Bile sik nesne bulma probleminde ise basit nesneler hakk nda sahip oldu gumuz g oreceli boyut, spektral da g l m yap s ve g oreceli yer bilgileri kaynak parametreleri uzerine i cb ukey k s tlar koyarak modellenmektedir. Uygun parametre se cimi yap lsa dahi Gauss kar s m modelleri ile da g l m kestirimi problemi i cb ukey eniyileme problemine denk gelmemektedir. Genelde rasgele arama, ozelde par ca c k s ur us u eniyileme (PSO) y ontemlerinin etkili kullan lmas na olanak sa glamak i cin kovaryans matrislerinin ozde ger ayr st rmas na dayal u c unc u bir parametrizasyon onerilmektedir. Evrensel parametre kestirimi yapabilmek i cin PSO y onteminin evrensel arama becerilerini EM y ontemine ekledi gimiz yeni bir y ontem sunulmaktad r. Matematiksel analiz ve g osterimlere ek olarak sentetik ve ger cek hayat veri k umeleri kullan larak onerilen y ontemlerinba sar l oldu gu g osterilmektedir.Anahtar s ozc ukler: Gauss kar s m modelleri, beklenti enb uy ukleme, i cb ukey eniyileme, e sleklik, par cac k s ur us u eniyileme.
Özet (Çeviri)
Density estimation using Gaussian mixture models presents a fundamental trade o between the exibility of the model and its sensitivity to the unwanted/unmodeled data points in the data set. The expectation maximization (EM) algorithm used to estimate the parameters of Gaussian mixture models is prone to local optima due to nonconvexity of the problem and the improper selection of parameterization. We propose a novel modeling framework, three dierent parameterizations and novel algorithms for the constrained Gaussian mixture density estimation problem based on the expectation maximization algorithm, convex duality theory and the stochastic search algorithms. We propose a new modeling framework called Constrained Gaussian Mixture Models (CGMM) that incorporates prior information into the density estimation problem in the form of convex constraints on the model parameters. In this context, we consider two dierent parameterizations where the rst set of parameters are referred to as the information parameters and the second set of parameters are referred to as the source parameters. To estimate the parameters, we use the EM algorithm where we solve two optimization problems alternatingly in the E-step and the M-step. We show that the M-step corresponds to a convex optimization problem in theinformation parameters. We form a dual problem for the M-step and show that the dual problem corresponds to a convex optimization problem in the source parameters. We apply the CGMM framework to two dierent problems: Robust density estimation and compound object detection problems. In the robust density estimation problem, we incorporate the inlier/outlier information available for small number of data points as convex constraints on the parameters usingthe information parameters. In the compound object detection problem, we incorporate the relative size, spectral distribution structure and relative location relations of primitive objects as convex constraints on the parameters using the source parameters. Even with the propoper selection of the parameterization,density estimation problem for Gaussian mixture models is not jointly convex in both the E-step variables and the M-step variables. We propose a third parameterization based on eigenvalue decomposition of covariance matrices which is suitable for stochastic search algorithms in general and particle swarm optimization (PSO) algorithm in particular. We develop a new algorithm where global search skills of the PSO algorithm is incorporated into the EM algorithm to doglobal parameter estimation. In addition to the mathematical derivations, experimental results on synthetic and real-life data sets verifying the performance ofthe proposed algorithms are provided.
Benzer Tezler
- İki boyutlu sistemlerin yüksek mertebeden istatistik ile modellenmesi
Modelling of two-dimensional systems using higher order statistics
A. MAHİR ÖZDOĞAN
Yüksek Lisans
Türkçe
1993
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiPROF.DR. AHMET H. KAYRAN
- Optimal stochastic approaches for signal detection and estimation under inequality constraints
Eşitsizlik kısıtları altında işaret sezimi ve kestirimi için optimal stokastik yaklaşımlar
BERKAN DÜLEK
Doktora
İngilizce
2012
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET ENİS ÇETİN
YRD. DOÇ. DR. SİNAN GEZİCİ
- Ampirik olabilirlik yöntemi ile robust regresyon analizi
Robust regression analysis with empirical likelihood
ŞENAY ÖZDEMİR
- Demiryolu ağında trafik sayımlarından O-D matrisi tahmini
Başlık çevirisi yok
ZEYNEP AĞCI
Yüksek Lisans
Türkçe
1998
İnşaat Mühendisliğiİstanbul Teknik ÜniversitesiUlaştırma Ana Bilim Dalı
PROF. DR. HALUK GERÇEK
- Visible light positioning systems: Fundamental limits, algorithms and resource allocation approaches
Görünür ışık konumlandırma sistemleri: Temel sınırlar, algoritmalar ve kaynak tahsisi yaklaşımları
MUSA FURKAN KESKİN
Doktora
İngilizce
2018
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. SİNAN GEZİCİ