Automated speech driven lipsynch facial animation for Turkish
Türkçe ses eşzamanlı yapay yüz canlandırma
- Tez No: 90620
- Danışmanlar: DOÇ. DR. LALE AKARUN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Bilgisayarlar, Ses analizi, İnsan yüzü, Computers, Voice analysis, Human face
- Yıl: 1999
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
IV ÖZET Üç boyutlu insan modellerinin konuşması canlandırmada olduğu kadar insan- bilgisayar iletişiminde de giderek daha sık kullanılmaktadır. Konuşmanın üç boyutlu yüz modeli ile ağız eşzamanlaması genelde grafik animatörlerce yapılan uzun ve mekanik bir işlemdir. Otomatik ağız eşzamanlı yüz animasyonu için çeşitli çalışmalar yapılmıştır. Bu tip çalışmalar genelde yazı tabanlı olmaktadır. Biz bu çalışmamızda sesi girdi olarak kullandık. Seslendirenin kaydedilen sesi verilen üç boyutlu yüz modelinde dudak hareketlerine çevrilmektedir. Bunu için kaydedilen ses analiz edilip eğitim kümesi ile karşılaştırılarak dudak hareketine sınıflandırılmaktadır. Yüz modelimizde dudak hareketleri yüz kasları ve çene kullanılarak yapılır. Üç boyutlu yüz modelimiz üzerine insan yüzünün fiziksel kas yapısı dikkate alınarak yüz kasları modellendi. Gerçekçi yüz animasyonu için insan yüzünü oluşturan deri, yağ, kas ve kemik katmanları da modellenerek aralarındaki etkileşimler hesaplandı. Oldukça hızlı bir şekilde doğal görünüşlü canlandırma yapılabilmektedir. Gerçek zamanlı çalışan kırpılmış bir canlandırma motoru da hazırlanmıştır.
Özet (Çeviri)
in ABSTRACT Talking three-dimensional (3D) synthetic faces are now used in many applications involving human-computer interaction. The lip-synchronization of the faces is mostly done mechanically by computer animators. Although there is some work done on automated lip- synchronized facial animation, these studies are mostly based on text input. In our work we used speech in Turkish as an input to generate lip-synchronized facial animation. Speakers' recorded voice is converted into lip-shape classes and applied to the 3D model. Voice is analyzed and classified using a training set. Lip animation is facilitated by activating facial muscles and the jaw. Facial muscles are modeled onto our facial model. For more realistic facial animation, facial tissue is modeled as well, and the interactions between epidermis, subcutenous layer and bone are taken into account. High-speed natural-looking lip- synchronized facial animation is achieved. A real-time version of the engine is also implemented.
Benzer Tezler
- Homomorfik filtreleme ile EKG analizi
Başlık çevirisi yok
HÜSEYİN HIZ
Yüksek Lisans
Türkçe
1995
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiDOÇ.DR. MEHMET KORÜREK
- Motorlu taşıtlarda elektronik kontrollü üniteler ve seyir (cruise) kontrol sistemleri
Electronic control units and cruise control systems on vehicles
MUSTAFA ASIM KÜLAH
Yüksek Lisans
Türkçe
1999
Eğitim ve ÖğretimMarmara ÜniversitesiMakine Eğitimi Ana Bilim Dalı
DOÇ. DR. MEHMET TEKİN
- Endüstriyel bir tartı sisteminin tasarımı
Design of an industrial weighing system
B.BERK ÜSTÜNDAĞ
Yüksek Lisans
Türkçe
1994
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiPROF.DR. ATİLLA BİR
- Uzman sistem teknolojisi ve çizelgeleme uygulaması
The technology of expert system and applications of scheduling
TARIK ÇAKAR
Yüksek Lisans
Türkçe
1991
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiY.DOÇ.DR. ORHAN KURUÜZÜM
- Automatic speech segmentation based on subband decomposition
Alt bant ayrışıma dayalı otomatik konuşma bölütleme
ARÇIN BOZKURT
Yüksek Lisans
İngilizce
1999
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. A. ENİS ÇETİN