Automatic performance evaluation of information retrieval systems using data fusion
Veri birleştirme yöntemleri kullanarak bilgi erişim sistemlerinin performansının otomatik olarak değerlendirilmesi
- Tez No: 139319
- Danışmanlar: PROF. DR. ALTAY GÜVENİR
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: otomatik performans değerlendirme, veri birleştirme, bilgi erişim sistemleri, sosyal refahlık fonksiyonları, sistem performans tahmini, TREC. iv, automatic performance evaluation, data fusion, information retrieval system, social welfare functions, system performance prediction, TREC. in
- Yıl: 2003
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
ÖZET VERİ BİRLEŞTİRME YÖNTEMLERİ KULLANARAK BİLGİ ERİŞİM SİSTEMLERİNİN PERFORMANSININ OTOMATİK OLARAK DEĞERLENDİRİLMESİ Rabia Nuray Bilgisayar Mühendisliği, Yüksek Lisans Tez Yöneticisi: Prof. Dr. H. Al tay Güvenir Ağustos, 2003 Deneysel olarak bir bilgi erişim sisteminin (arama motorunun) etkinliğinin ölçümü belgeler, bir sorgu kümesi ve her sorguya ilişkin bir küme belgeden oluşan bir test koleksiyonu gerektirir. İnsanlar tarafından yapılan değerlendirmeleri pahalı ve özneldir. Buna ek olarak veri tabanları ve kullanıcıların ilgi alanları çok çabuk değişmektedir. Bu nedenle arama motorlarının performansını otomatik olarak değerlendirecek bir yönteme büyük gereksinim duyulmaktadır. Ayrıca son çalışmalar insan değerlendirmelerindeki faklılığın sistemlerin bağıl performansını etkilemediğini göstermiştir. Bu gözlemlere dayanarak, bu tezde veri birleştirme yöntemlerini kullanarak insan değerlendirmelerini otomatik değerlendirmeler ile değiştirmeyi öneriyor, kullanıyor, ve yeni bir yöntem sunuyoruz ve bu yöntemin birçok Text Retrieval Conference (TREC)' de uygulamasının sonuçlarını gerçek insan değerlendirmeleri ile anlamlı ve pozitif uyuşumunu ayrıntılı gösteren istatistiksel değerlendirmelerini gösteriyoruz. Bu tezin önemli katkıları şunlardır: (1) veri birleştirme algoritmalarını literatürde ilk defa kullana bir otomatik değerlendirme yöntemi (2) özdevinimli yöntem ile insan değerlendirmeleri arasında yüksek uyuşum amaçlayan sistem seçme yöntemleri (3) önerilen bu yöntemin bulduğu duyarlık değerlerinin gerçek duyarlık değerlerine güçlü uyuşumunun olduğu gerçeğinden kaynaklanan birkaç farklı pratik faydalar ve yeniliklerdir.
Özet (Çeviri)
ABSTRACT AUTOMATIC PERFORMANCE EVALUATION OF INFORMATION RETRIEVAL SYSTEMS USING DATA FUSION Rabia Nuray M.S. in Computer Engineering Supervisor: Prof. Dr. jh. Altay Güvenir August, 200b The empirical investigation of the effectiveness of information retrieval systems (search engines) requires a test collection composed of a set of documents, a set of query topics and a set of relevance judgments indicating which documents are relevant to which topics. The human relevance judgments are expensive and subjective. In addition to this databases and user interests change quickly. Hence there is a great need of automatic way of evaluating the performance of search engines. Furthermore, recent studies show that differences in human relevance assessments do not affect the relative performance of information retrieval systems. Based on these observations, in this thesis, we propose and use data fusion to replace human relevance judgments and introduce an automatic evaluation method and provide its comprehensive statistical assessment with several Text Retrieval Conference (TREC) systems which shows that the method results correlates positively and significantly with the actual human based evaluations. The major contributions of this thesis are: (1) an automatic information retrieval performance evaluation method that uses data fusion algorithms for the first time in the literature, (2) system selection methods for data fusion aiming even higher correlation among automatic and human-based results, (3) several practical implications stemming from the fact that the automatic precision values are strongly correlated with those of actual information retrieval systems.
Benzer Tezler
- Hava kirliliği konusunda çevre bilgi sistemi tasarımı ve gerçekleştirilmesi pilot projesi
Design of an information system about air pollution
HARUN İYİDİKER
- İmalat stratejileri ve imalat teknolojisi seçiminde uzman sistem yaklaşımı
Manufacturing strategies and an expert system approach to selecting manufacturing technology
İBRAHİM ÇİL
Doktora
Türkçe
1997
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. RAMAZAN EVREN
- İleri imalat teknolojisi yatırımlarının ekonomik analizi
The Economic justification of investments in advanced manufacturing technologies
TAMER ERTAN
Yüksek Lisans
Türkçe
1995
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiPROF.DR. ETHEM TOLGA
- Menzil profili modunda çalışan radarla otomatik hedef sınıflama
automatic target classification with radars operating in range profilling
CENK GÖKBERK
Yüksek Lisans
Türkçe
1997
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ERCAN TOPUZ