Combined speech recognition from audio and video information
Görsel ve işitsel bilgi kullanılarak birleşik söz tanıma
- Tez No: 82976
- Danışmanlar: DOÇ. DR. LALE AKARUN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Dudak okuma, Konuşma tanıma, Lip reading, Speech recognition
- Yıl: 1999
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
ÖZET Konuşma tanımada görsel bilgi kullanılması insan konuşmasının tanınmasında önemli ipuçları verir. Görsel-işitsel konuşma tanıma sistemleri akustik ses bilgisinin yanısıra konuşma esnasında dudakların hareketine bağlı öznitelikleri de kullanırlar. Bu tezde değişik insanlardan örneklenmiş olan 'sıfır' dan 'dokuz' a kadar Türkçe rakamları yüksek başarıyla tanıyabilecek görsel ve işitsel bilgi kullanani, kısıtlı kelime hazneli bir konuşma tanıma sistemi geliştirilmesi hedeflenmiştir. Kullanılan tekniklerin bir kısmı literatürde varolan güncel tekniklerdir, diğer kısmıysa güncel tekniklerin geliştirilmesiyle elde edilmiştir. Çalışma üç ana başlıkta toplanabilir: öznitelik çıkarımı, konuşma tanıma, ve tanıma motorlarından elde edilen sonuçların birleştirilmesi. Öznitelik çıkarımı konuşmanın görsel ve işitsel karakteristiklerini çıkarsama amaçlıdır. İşitsel öznitelik olarak kepstral katsayılar seçilmiştir. Görsel öznitelik çıkarımı kısmında ise değişik teknikler denenmiştir: resmin yoğunluğu ve geometrisi dikkate alınmıştır; dudak modelinin katsayılarına bakılmıştır; dudakların biçim ve konumunda değişikliğe yol açan dinamik öznitelikler gözlemlenmiştir. Tanıma amacıyla iki sınıflandıncı yaratılmıştır. Bunlardan birincisi Saklı Markov Modeü, ikincisi Bulanık K- Yakın Komşu sınıflandırıcısıdır. Son olarak sonuçların birleştirilmesi amacıyla iki değişik teknik geliştirilmiştir.
Özet (Çeviri)
IV ABSTRACT Visual information in speech recognition provides important clues for the understanding of human speech. Audio-Visual Speech Recognition systems use features that are related to Up movements in addition to acoustic information. In this thesis an attempt is made for building a limited-vocabulary speech recognition system that gives good results in the recognition of isolated Turkish digits from zero to nine, uttered by different speakers, using both audio and visual information. Some of the techniques used here are similar to contemporary approaches and some are modifications of the existing ones. The work consists of three main parts: feature extraction, speech recognition, and integration of the results achieved by the recognition engines. Cepstral coefficients, have been selected as audio features. In visual feature extraction, different approaches have been taken: intensity and geometry of the image are considered; parameters of the Up-model are used; and dynamics features, which account for the changing of lip shapes and positions, are considered. For the recognition purposes, two different classifiers are created. The first one is an HMM and the second one is a Fuzzy K-Nearest Neighbor classifier. Furthermore, two different kinds of techniques for integration of the results are developed.
Benzer Tezler
- A Unifying theory for rank-based multiple classifier systems, with applications in speaker identification and speech recognition
Sıralama temelli çoğul sınıflayıcılı sistemler için bütünleştirici bir kuram ve otomatik konuşmacı ve konuşma tanıma uygulamaları
AFŞAR SARANLI
Doktora
İngilizce
2000
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. MÜBECCEL DEMİREKLER
- Improving the performance of speaker identification systems by classifier combination techniques
Konuşmacı tanıma sistemlerinin başarımının sınıflandırıcı birleştirme yöntemleri ile iyileştirilmesi
HAKAN ALTINÇAY
Doktora
İngilizce
2000
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Uzman sistemler ve deterministik yöneylem araştırması tekniklerinde bir uygulama
Expert systems and an application to tederministic operational research techniques
MEHMET BARUT
Yüksek Lisans
Türkçe
1991
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiY.DOÇ.DR. ORHAN KURUÜZÜM
- Homomorfik filtreleme ile EKG analizi
Başlık çevirisi yok
HÜSEYİN HIZ
Yüksek Lisans
Türkçe
1995
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiDOÇ.DR. MEHMET KORÜREK
- Dempster-Shafer teorisinin değerlendirme problemine uygulanması
Application of Dempster-Shafer theory to an evaluation problem
NECİBE DENİZ