Audio-visual correlation modeling for speaker identification and synthesis
Konuşmacı tanıma ve sentezi için görsel işitsel ilinti modellenmesi
- Tez No: 182064
- Danışmanlar: PROF.DR. MURAT TEKALP
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2006
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Özet yok.
Özet (Çeviri)
This thesis addresses two major problems of multimodal signal processing using audio-visual correlation modeling: speaker recognition and speaker synthesis. We address the ï¬rstproblem, i.e., the audiovisual speaker recognition problem within an open-set identiï¬cationframework, where audio (speech) and lip texture (intensity) modalities are fused employinga combination of early and late integration techniques. We ï¬rst perform a canonical corre-lation analysis (CCA) on the audio and lip modalities so as to extract the correlated partof the information, and then employ an optimal combination of early and late integrationtechniques to fuse the extracted features. The results of the experiments indicate that theproposed multimodal fusion scheme improves the identiï¬cation performance over the earlyand late integration of original modalities. We also demonstrate the importance of modalitysynchronization for the performance of early integration techniques and propose a CCA-based method to synchronize audio and lip modalities. We address the second problem,i.e., the speaker synthesis problem within the context of a speech-driven speaker animationapplication. More speciï¬cally, we present a Hidden Markov Model (HMM) based two-stagemethod for joint analysis of head gesture and speech prosody patterns of a speaker towardsautomatic realistic synthesis of head gestures from speech prosody. The analysis method isused to learn correlations between head gestures and prosody for a particular speaker froma training video sequence. The resulting audio-visual mapping model is then employed tosynthesize natural head gestures on a given 3D head model for the speaker from arbitraryinput test speech. Objective and subjective evaluations indicate that the proposed synthesisby analysis scheme provides natural looking head gestures for the speaker with any inputtest speech.iv
Benzer Tezler
- The significance and the contribution of 6+1 traits of writing to the success of the students in writing courses in English language teaching
Yazmanın 6+1 özelliğinin İngilizce öğretiminde yazılı anlatım derslerindeki öğrenci başarısına katkısı ve önemi
ÖZLEM YAZAR
Yüksek Lisans
İngilizce
2004
Eğitim ve ÖğretimGazi Üniversitesiİngiliz Dili Eğitimi Ana Bilim Dalı
YRD. DOÇ. DR. PAŞA TEVFİK CEPHE
- Çevrel damar tanı ve izleniminde sürekli dalgalı ultrasesin doppler özelliğiyle klinik uygulanılmasından alınan sonuçlar
Başlık çevirisi yok
İSMAİL HALUK GÖKÇORA
- MPEG hareketli görüntü sıkıştırma standardı
Başlık çevirisi yok
ERHAN TELLİOĞLU
Yüksek Lisans
Türkçe
1995
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiDOÇ.DR. MELİH PAZARCI
- İnmeli hasta ve yakınlarının yaşam doyumlarının incelenmesi
İnvestigation of life satisfaction of patients who have paralysis and their family members
HÜLYA GÜLYÜZ
Yüksek Lisans
Türkçe
2004
HemşirelikEge Üniversitesiİç Hastalıkları Hemşireliği Ana Bilim Dalı
PROF.DR. AYFER KARADAKOVAN
- Tekerlekli sandalye basketbol sporunun üst ekstremite fonksiyonları üzerine etkisi
The affects of wheelchair basketball sport on upper extremity functionality
ESRA BEZCİLER
Yüksek Lisans
Türkçe
2007
Fiziksel Tıp ve RehabilitasyonAbant İzzet Baysal ÜniversitesiFizik Tedavi ve Rehabilitasyon Ana Bilim Dalı
YRD. DOÇ. DR. NECMİYE ÜN YILDIRIM