Tuning model complexity using cross-validation for supervised learning
Gözetimli öğrenmede çapraz geçerleme ile model karmaşıklığının ayarlanması
- Tez No: 170851
- Danışmanlar: PROF.DR. ETHEM ALPAYDIN
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2005
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
ÖZET gözetimli öğrenmede çapraz geçerleme ile model karmaşıklığının ayarlanması Bu tezde, model seçiminde çapraz geçerleme kullanımını gözden geçirerek gözetimli modellerden en iyisini bulan MultiTest metodunu önerdik. MultiTest algoritması, gözetimli öğrenme algoritmalarını beklenen hata üzerindeki ikili istatistiksel testlerin sonuçlarına ve algoritmanın karmaşıklığı gibi önceliklere göre sıralar. MultiTest meto dunu geçerlemek için ANOVA ve Newman-Keuls algoritmalarıyla karşılaştırdık. Bu algoritmalar metodların hata oranlarının aynı olup olmadığını kontrol eder. En iyi al goritmayı bulmak için kullanılabilseler bile, bu her zaman çalışmayabilir. Oysa, bizim önerdiğimiz metod her zaman en iyiyi bulabilir. MultiTest metodunu model karmaşıklığını eniyilemede kullanmaya çalıştık. Bunun için ya tüm olası modelleri MultiTest'le karşılaştırdık ve en iyi modeli seçtik ya da (model uzayı genişse) MultiTest'i kullanarak model uzayında etkili bir arama yaptık. Tüm modeller aranabildiğinde, MultiTest diğerlerinden anlamlı bir şekilde kötü ol mayan en basit modeli seçer. Tezde, ayrıca karar ağacı ve kural çıkarımı için karma, tüm değişkenli bir yapı önerdik. Bu yapı, modelin karmaşıklığını oraya ulaşan verinin karmaşıklığına uyduran, farklı yerlerde farklı modellerin olabildiği karma bir yapıdır. Önerdiğimiz Multi- Test'e dayalı, çok değişkenli yapıyı çok bilinen model seçme teknikleriyle standart veri kümeleri üzerinde karşılaştırdık.
Özet (Çeviri)
IV ABSTRACT TUNING MODEL COMPLEXITY USING CROSS-VALIDATION FOR SUPERVISED LEARNING In this thesis, we review the use of cross-validation for model selection and pro pose the MultiTest method which solves the problem of choosing the best of multiple candidate supervised models. The MultiTest algorithm orders supervised learning algo rithms (for classification and regression) taking into account both the result of pairwise statistical tests on expected error, and our prior preferences such as complexity of the algorithm. In order to validate the MultiTest method, we compared it with Anova, Newman-Keuls algorithms which check whether multiple methods have the same ex pected error. Though Anova and Newman-Keuls results can be extended to find a“best”algorithm, this does not always work. On the other hand, our proposed method is always able to find an algorithm as the“best”one. By using MultiTest method, we try to solve the problem of optimizing model complexity. For doing this, either we compare all possible models using MultiTest and select the best model or if the model space is very large, we make an effective search on the model space via MultiTest. If all possible models can be searched, MultiTest-based model selection always selects the simplest model with expected error not significantly worse than any other model. We also propose a hybrid, omnivariate architecture, for decision tree induction and rule induction. This is a hybrid architecture that contains different models at different places matching the complexity of the model to the complexity of the data reaching that model. We compare our proposed MultiTest-based omnivariate architec ture with the well-known techniques for model selection on standard datasets.
Benzer Tezler
- CAM sistemlerinin, CNC takım tezgahlarına uygulanması ve postprocessor hazırlanması
Applications of CAM (Computer aided manufacturing) systems for CNC machining tools and developing of postprocessor
ERDAL GAMSIZ
- Identification and control of nonlinear dynamical systems using neural networks
Doğrusal olmayan dinamik sistemlerin yapay sinir ağları ile tanınması ve denetimi
MEHMET ÖNDER EFE
Yüksek Lisans
İngilizce
1996
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiPROF.DR. OKYAY KAYNAK
- Ota-C osilatörlerinde ideal olmama problemi
Başlık çevirisi yok
UĞUR ÇAM
Yüksek Lisans
Türkçe
1996
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiPROF.DR. H. HAKAN KUNTMAN
- Dört tekerden tahrikli ve dört tekerden yönelimli mobil manipülatör sisteminin elektriksel tasarımı
Electrical design of four-wheel-steer and four-wheel-drive mobile manipulator system
BİLGE GÜROL
Yüksek Lisans
Türkçe
2007
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiAna Bilim Dalı (disiplinlerarası)
PROF.DR. HAKAN TEMELTAŞ
- Adaptif kontrol sistemleri ve bir mikrokontrolör ile simülasyonu
Adaptive control systems and simulation by a microcontroller
CANAN MÖRÜ
Yüksek Lisans
Türkçe
1991
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiDOÇ.DR. LEYLA GÖREN