Affect burst detection and recognition
Duygusal patlama sezimi ve tanıması
- Tez No: 397262
- Danışmanlar: DOÇ. DR. YÜCEL YEMEZ
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Olay belirleme, Örüntü tanıma, Event detection, Pattern recognition
- Yıl: 2015
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Duygusal patlamaların, altında barınan duygulanımların anlaşılmasında önemli bir rol oynaması sebebiyle, bu barınan duyguların tanınması araştırmacıların önemli bir konusu olmuştur. Kaynaklarda, özellikle kahkalardan beslenen ve sadece sese dayanan girdileri kullanarak, duygusal patlamaların tanınmasında bir çok yaklaşım geliştirilmesine rağmen, çok kipli yaklaşımların duygusal patlamaları elde etmede kulanılması daha etkili sistemleri kullanılmasını gerektirdiği için çok yaygın değildir. Bu tezde, güncel olarak kullanılan ve bizim sunduğumuz yaklaşımları çeşitleri ile sunmaktadır. Bu yaklaşım, önce duygusal patlamaları açığa çıkaran ve sonra bu patlamaları gruplandıran iki katmanlı bir sıra düzeni kapsamaktadır. Bu aşamalı sınıflandırmada, işitsel ve yüzdeki belirli noktalarından elde edilen ipuçları birleştirilmiştir. Deneysel değerlendirmeler için, yüksek kaliteli ses ve yüzdeki belirlenen noktaların haraketlerinin düzgünleştirilmiş yakalanımını içeren, doğal ve gerçekçi konuşmaları içeren Interactive emotional dyadic motion capture database (IEMOCAP) kullanılmıştır. İlk önce duygusal patlamaların IEMOCAP veri tabanındaki etkileri belirtilip, önerdiğimiz yaklaşımı bu data üzerinde test edildi. Deneyler sonucunda yaklaşımımızın duygusal patlanımları elde etme ve sınıflandırmada sadece görsel veya işitsel tek kipli projelerden gözle görülebilir bir biçimde daha iyi çalıştığını görüldü. Ayrıca, yaklaşımımızın verimini kaynaklarda referans olarak alınan çeşitli sınıflandırma algoritmaları ile olan karşılaştırılması sunulmuştur.
Özet (Çeviri)
Affect bursts play a critical role in recognizing underlying emotions and hence their detection is of particular interest to researchers. In the literature, there are a number of approaches for detecting affect bursts, particularly laughters, from audio-only inputs, but multimodal approaches are limited while they can provide more effective systems for the affect burst detection. This thesis presents the current state of the art as well as our approaches to detect affect bursts along with their type. This includes a two layer hierarchical classifier, first to detect affect burst events and then to classify these events into affect burst types. In the hierarchical classifier we combine cues from audio and facial landmark points. In experimental evaluations we use the Interactive emotional dyadic motion capture database(IEMOCAP), which contains realistic and natural dyadic conversations with high quality audio and normalized motion capture of facial landmark points. We firstly annotate affect bursts events in the IEMOCAP database and test our proposed approach over it. We observe significant performance improvements with the multimodal approach over audio-only and visual-only unimodal schemes in detecting affect bursts along with their types. We also show comparison among different types of classifiers which serve as baseline.
Benzer Tezler
- Geliştirilmiş bir ultrasonik darbeli doppler kan akış ölçme düzeninde hata kaynaklarının analizi
The Analysis of error sources at a developed pulsed doppler blood flowmeter
İNAN GÜLER
Doktora
Türkçe
1990
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiPROF.DR. ERTUĞRUL YAZGAN
- Bursa'da kullanılan yapı malzemelerinde doğal radyonüklid analizi
Natural radionuclide analysis in building materials used in Bursa
MAĞRUR BAŞ
Yüksek Lisans
Türkçe
2025
Fizik ve Fizik MühendisliğiVan Yüzüncü Yıl ÜniversitesiFizik Ana Bilim Dalı
DOÇ. DR. NERGİZ YILDIZ YORGUN
- Akut invaziv fungal sinüzitlerde radyolojik görüntüleme bulgularının retrospektif değerlendirilmesi
Retrospective evaluation of radiological imaging findings in acute invasive fungal sinusitis
BARIŞ KORKMAZ
Tıpta Uzmanlık
Türkçe
2020
Radyoloji ve Nükleer TıpBursa Uludağ ÜniversitesiRadyoloji Ana Bilim Dalı
PROF. DR. MÜFİT PARLAK
- Çocukluk çaği beta talasemi major tanili hastalarda gelişen glukoz metabolizma bozukluklarinin retrospektif değerlendirilmesi
Retrospective evaluation of glucose metabolism disorders developed in pediatric patients diagnosed with beta thalassemia major
İREM İNCEFİDAN
Tıpta Uzmanlık
Türkçe
2023
Çocuk Sağlığı ve HastalıklarıSağlık Bilimleri ÜniversitesiÇocuk Sağlığı ve Hastalıkları Ana Bilim Dalı
DOÇ. DR. ELİF GÜLER KAZANCI
- Video analysis based fish detecton and tail beat frequency estimation in fishways
Video analizi ile balık geçitlerinde balık tanıma ve kuyruk sallama frekansı tahmini
YASİN YILDIRIM
Yüksek Lisans
İngilizce
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Bilimleri Ana Bilim Dalı
DOÇ. DR. BEHÇET UĞUR TÖREYİN
PROF. DR. SERHAT KÜÇÜKALİ