Video duygu analizi
Video emotion analysis
- Tez No: 649673
- Danışmanlar: DR. ÖĞR. ÜYESİ METİN TURAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Görüntü analizi, Görüntü işleme, Görüntü işleme yöntemleri, Yapay sinir ağları, İstatistiksel grafikler, Image analysis, Image processing, Image processing methods, Artificial neural networks, Statistical graphics
- Yıl: 2020
- Dil: Türkçe
- Üniversite: İstanbul Ticaret Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışmada, videodaki görüntülerden tespit edilen insan yüzleri üzerinde CNN derin öğrenme modeli ile duygu analizi yapılmıştır. Bu analize ait sonuçlar saniye saniye kayıt edilerek bir duygu analizi grafiği çıkarılmıştır. Çalışma 3 ana safhadan oluşmaktadır. İlki CNN modeli için gerekli duygu yüklü görsellerin bulunup etiketlenmesi, ikincisi duygu analizi yapabilecek bir CNN derin öğrenme modelinin oluşturulması ve üçüncüsü de videolardan yüz görüntülerinin tespit edilmesidir. Eğitim veri seti oluşturmak amacıyla, seçilen 61 adet filmden binlerce yüz fotoğrafı analiz edilmiştir. Bunların arasında Bay Evet, Karabasan, Yaralı Yüz, Yedi Yaşam gibi farklı duyguların ağırlıklı olduğu filmler bulunmaktadır. İlk olarak 7 duygu türü için yüzler toplanmıştır. Bu duygular bıkkınlık, korku, mutluluk, sakinlik, şaşkınlık, sinirlilik ve üzgünlüktür. Yüz tespiti kısmında Haarcascade tekniği kullanılmıştır. Tespit edilen yüzlerin duygulara göre etiketlenmesinde, Amazon webservisi olan Face Recognition'dan yardım alınmıştır. Çalışmada, 50 bin civarı yüz örneklemi elde edilmiştir. Ancak daha sonra yapılan kontrollerde Haarcascade ile bulunmuş görüntüler arasında yüz olmayan birçok görsel tespit edilerek çıkarılmıştır. Ayrıca, Amazon web servisinden dönen duygu analizlerinde %40 civarında yanlış duygu tespiti olduğu belirlenerek, eğitim veri setinden çıkarılmıştır. Tüm veri seti temizleme çalışmaları sonucunda 7 duygu için etiketlenmiş 20 bin fotoğraf elde edilmiştir. Derin öğrenme sonucu, yapılan sınamalarda en çok karıştırılan 4 duygudan 2'sinin bıkkınlık ve şaşkınlık olduğu gözlemlenmiştir. Bıkkınlık sakinlikle, şaşkınlık ise korku yüz ifadeleri ile karışmaktadır. Elimizde kalan 5 duygu ile yapılan analizde, önerilen model ile %60'lık doğruluk değerine ulaşılmıştır. Videodan yüzleri çıkarıp modele gönderen ve bu sonuçlar ile bir duygu analizi grafiği çıkaran yazılımda, yüz tespitinin daha doğru olması için gerçek zamanlı analizde Haarcascade yöntemi yerine bir DNN modeli kullanılmıştır.
Özet (Çeviri)
In this study, emotional analysis was carried out with the CNN deep learning model on the human faces detected from the images in the video. The results of this analysis were recorded in seconds and an emotion analysis graph was created. The study consists of 3 main stages. The first is to find and label the emotional images required for the CNN model, the second is to create a CNN deep learning model that can conduct emotion analysis, and the third is to identify the facial images from the videos. In order to create a training data set, thousands of photographs from 61 selected films were analyzed. These include films with different feelings such as Yes Man, The Babadook, Scarface, Seven Pounds. First, faces were collected for 7 types of emotions. These feelings are boredom, fear, happiness, calmness, confusion, irritability and sadness. Haarcascade technique is used in the face detection section. Assistance was received from the Amazon Face Recognition web service for tagging detected faces according to emotions. In the study, about 50 thousand face samples were obtained. However, in the subsequent controls, many non-facial images were detected and removed from the images found with Haarcascade. In addition, approximately 40% false emotion detection was determined in the emotional analysis returned from the Amazon web service and removed from the training data set. As a result of the clearing of the whole data set, 20 thousand photos were tagged for 7 emotions. As a result of the deep learning, it was observed that 2 of the 4 emotions most confused during the tests were boredom and confusion. Boredom is confused with calmness, and confusion with fear facial expressions. In the 5 emotion analysis that we have, 60% accuracy value has been reached with the proposed model. In the software that extracts faces from the video and sends them to the model and displays an emotional analysis graph with these results, a DNN model is used instead of Haarcascade method in real-time analysis to make the face detection more accurate.
Benzer Tezler
- Bipolar bozukluk manik atak tanılı hastaların atak şiddetinin video tabanlı duygu analizi ile değerlendirilmesi
Evaluation of the severity of the manic episode with video based emotion recognition in bipolar disorder
SELDA ÖZTÜRK
- Investigating the effect of unboxing videos of consumer electronics on consumer emotions through sentiment analysis of online customer comments
Duygu analizi yöntemi ile elektronik ürünlerin kutu açma videolarının tüketici duyguları üzerine etkisinin araştırılması
ANIL ÖZGEN
Yüksek Lisans
İngilizce
2019
İşletmeBahçeşehir Üniversitesiİşletme Ana Bilim Dalı
DR. AYŞEGÜL SAĞKAYA GÜNGÖR
- Jest ve mimiklerden yapay sinir ağları ile duygu sınıflandırma
Emotion classification with artificial neural networks from facial expressions and gestures
BÜŞRA KARATAY
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolTobb Ekonomi ve Teknoloji ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. FATMA BETÜL ATALAY SATOĞLU
PROF. DR. TANSEL ÖZYER
- Metin türünün duygu analizi sınıflandırmasına etkisi
Abstract effect of text type sentiment analysis classification
EZGİ KARA
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolDüzce ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. RESUL KARA
- Büyük veri araçlarını kullanarak duygu analizi gerçekleştirimi
Sentiment analysis using big data tools
MERVE ÖZDEŞ
Yüksek Lisans
Türkçe
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolPamukkale ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SEZAİ TOKAT