Video based automatic affect analysis of a child and a therapist during play therapy
Bir çocuk ve bir terapistin oyun terapisi sırasındaki duygu durumunun videodan otomatik analizi
- Tez No: 603322
- Danışmanlar: PROF. DR. LALE AKARUN ERSOY, DOÇ. DR. ALBERT ALİ SALAH
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Makine ve derin öğrenme konusundaki gelişmeler ve büyük verideki ilerleyiş ile birlikte birlikte bilgisayarlı görme, sosyal bilimler de dahil olmak üzere birçok alanı desteklemeye başlamıştır. Her ne kadar psikoloji ve alt dallarında sosyal sinyal işleme için bilgisayarlı görme kullanılsa da, oyun terapisi alanında bilgisayarlı görme kullanımında çalışma eksikliği vardır. Psikoterapik yaklaşımın bir çeşidi olan oyun terapisi bu tür öğrenme tekniklerinin uygulanması açısından uygun fakat çeşitli vücut pozlarının varlığı, farklı oyun aktiviteleri olması ve insanlar ve objelerin üstüste gelmesi gibi nedenlerden dolayı zorlu bir alandır. Bu çalışmada, iki köşegen kamera kullanarak çocuğun oyun terapisi sırasındaki duygulanım analizini izlemek için bir yaklaşım araştırılmaktadır. Ayrıca, terapi odasındaki çocuğu ve terapisti ayırt edebilmek için geliştirdiğimiz insan takip modülü sunulmaktadır. Son olarak, alan uzmanları için zamansal veriler üzerindeki etkiyi etkileşimli olarak görselleştiren, web tabanlı duygulanım analizi aracı tanıtılmaktadır. Bu çalışmada, terapi seansı sırasındaki metinlerin, yüzlerin ve vücut hareketlerininin analizi olmak üzere çeşitli yöntemler ve bu yöntemlerin birleştirilmesi üzerinde deneyler yapılmaktadır. Bu çalışmada, iki milyon yüz ifadesi içeren yaklaşık 350 saatlik terapi videosu kullandık. Sonuçlarımız önerilen sistemin umut verici ve yine de farklı aşamalarda gelişime açık olduğunu göstermektedir.
Özet (Çeviri)
With recent developments in machine and deep learning techniques and the advent of big data, computer vision supports many disciplines, including social sciences. Although computer vision is used in social signal processing in psychology and its sub-branches, there is a lack of studies in the field of play therapy. Play therapy is a psychotherapeutic method, and it is a convenient yet challenging field to apply automatic computer analysis techniques due to the extensive range of body poses, the existence of various play activities, and occlusions with people and objects. In this thesis, we investigate an approach to track the affective state of a child during a play therapy session with two diagonal cameras. Moreover, to differentiate the therapist and the child in the therapy room, we introduce a human tracking module. Finally, we provide a web-based affect analysis tool for the field experts to interactively visualize affect over longitudinal data. We conduct experiments on various modalities and their fusions, including text analysis, face analysis and body motion analysis during the therapy session. In this study, we used about 350 hours of therapy videos, containing two million facial expressions. Our results show that the proposed system is promising and yet still open to improvement at different stages.
Benzer Tezler
- Enabling dynamics in face analysis
Başlık çevirisi yok
HAMDİ DİBEKLİOĞLU
Doktora
İngilizce
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolUnıversıteıt Van AmsterdamPROF. DR. THEO GEVERS
PROF. DR. A. W. M. SMEULDERS
- Audio-visual affect recognition
Yüz ifadeleri ve sesten çok-kipli duygu tanıma
SARA ZHALEHPOUR
Yüksek Lisans
İngilizce
2014
Elektrik ve Elektronik MühendisliğiBahçeşehir ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
Assoc. Prof. Dr. ÇİĞDEM EROĞLU ERDEM
- Koloni morfoloji tahmininde yeni yapay öğrenme modelleri geliştirilmesi
Development of new artificial learning models for colony morphology prediction
VOLKAN ALTUNTAŞ
Yüksek Lisans
Türkçe
2016
MikrobiyolojiYalova ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MURAT GÖK
- Değişim mühendisliği
Başlık çevirisi yok
ESRA SEZGİN
Yüksek Lisans
Türkçe
1996
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiDOÇ.DR. MEHMET TANYAŞ
- Prediction of personality traits from videos by using machine learning algorithms
Makine öğrenmesi algoritmalarını kullanarak videolardan kişisel özelliklerin tahmin edilmesi
ERTAN TAŞ
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ERSEL KAMAŞAK