Speaker and posture classification using instantaneous acoustic features of breath signals
Nefes sinyallerinin anlık akustik özelliklerini kullanarak konuşmacı ve duruş sınıflandırması
- Tez No: 607259
- Danışmanlar: DOÇ. HÜSEYİN HACIHABİBOĞLU, PROF. ALPTEKİN TEMİZEL
- Tez Türü: Yüksek Lisans
- Konular: Mühendislik Bilimleri, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Engineering Sciences, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Derin öğrenme, Konuşma tanıma, Konuşma tanıma sistemleri, Makine öğrenmesi, Makine öğrenmesi yöntemleri, Ses tanıma, Ses tanıma sistemleri, Sesli ifade tanıma, Zaman-frekans, Deep learning, Speech recognition, Speech recognition systems, Machine learning, Machine learning methods, Voice recognition, Voice recognition systems, Time-frequency
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Enformatik Enstitüsü
- Ana Bilim Dalı: Modelleme ve Simülasyon Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Konuşmadan çıkarılan akustik özellikler, biyometrik konuşmacı tanımlama veya birinci şahıs eylemlerinin kestirimi gibi problemlerde yaygın olarak kullanılır. Ancak, konuşma verilerinin kullanımı, konuşma içeriğinin açık bir şekilde kullanılabilir olması nedeniyle gizlilik konusundaki endişeleri artırmaktadır. Bu tezde konuşma aralarındaki nefes verilerini kullanarak konuşma ve vücut pozisyonu sınıflandırması için bir yöntem öneriyoruz. Bu yöntemde akustik anlık yan bilgi, Hilbert-Huang dönüşümü kullanılarak nefes örneklerinden çıkarılır. Anlık frekans, büyüklük ve faz özellikleri, içsel kip işlevleri kullanılarak çıkarılır ve bunların farklı kombinasyonları, sınıflandırma için CNN-RNN ağına beslenir. Ayrıca, hem bu tezdeki deneylerimiz hem de gelecekteki çalışmalarımız için genel erişime açık bir nefes veri seti, BreathBase'i oluşturduk. BreathBase, önceden hazırlanmış rastgele sözler içeren metinleri 4 farklı mikrofonla 5 farklı vücut pozisyonunda okuyan 20 katılımcının kayıtlarında tespit edilen 5000'den fazla nefes örneği içermektedir. Konuşmanın nefes bölümlerinden elde edilen yan bilgileri kullanarak, bu yöntemle 20 konuşmacı arasında \% 87 konuşmacı sınıflandırma ve \% 98 duruş sınıflandırma doğruluğu elde edilmiştir. Önerilen ağ ayrıca SVM, LSTM ve kNN-DTW tekniklerinin birleştirilmesi gibi diğer yöntemlerden daha iyi performans göstermiştir.
Özet (Çeviri)
Acoustic features extracted from speech are widely used for problems such as biometric speaker identification or first-person activity detection. However, use of speech data raises concerns about privacy due to the explicit availability of the speech content. In this thesis, we propose a method for speech and posture classification using intra-speech breathing sounds. The acoustical instantaneous side information was extracted from breath instances using the Hilbert-Huang transform. Instantaneous frequency, magnitude, and phase features were extracted using intrinsic mode functions, and different combinations of these were fed into a CNN-RNN network for classification. We also created a publicly available breath dataset, BreathBase, for both our experiments in the thesis and future work. BreathBase contains more than 5000 breath instances detected on the recordings of 20 participants reading pre-prepared random pseudo texts in 5 different postures with 4 different microphones. Using side information acquired from breath sections of speech, 87\% speaker classification and 98\% posture classification accuracy is obtained among 20 speakers with this method. The proposed method outperformed various other methods such as support vector machines, long-short term memory and combination of k-nearest neighbor and dynamic time warping techniques.
Benzer Tezler
- Türkçe araştırma makalelerinde vurgulama ve önlem alma yapıları
Boosting and hedges in Turkish research articles
ÇİĞDEM YALAVAÇ
Yüksek Lisans
İngilizce
2021
DilbilimHacettepe Üniversitesiİngiliz Dilbilimi Ana Bilim Dalı
DOÇ. DR. EMİNE YARAR
- Koklear implant aktivasyonunun postüral stabilite üzerine etkisi
Effect of Cochlear İmplant Activation on Postural Stability
VOLKAN TUTAR
Yüksek Lisans
Türkçe
2020
Kulak Burun ve BoğazHacettepe ÜniversitesiOdyoloji Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MERVE BATUK
- Hollanda ve flaman resim sanatında Osmanlı halılarının betimlemeleri (17. yüzyıl örneğinde)
Depictions of Ottoman carpets in dutch and flemish painting (17. century example)
GAMZE AYDIN ÇIRAGÖZ
Yüksek Lisans
Türkçe
2019
Güzel SanatlarAkdeniz ÜniversitesiHalı, Kilim ve Eski Kumaş Desenleri Ana Sanat Dalı
DR. ÖĞR. ÜYESİ ÖZNUR AYDIN
- Rolling the ball back: Topic maintenance in computer mediated English as a lingua franca interactions
Topu geri atma: Bilgisayar aracılı ortak dil olarak İngilizce kullanılan etkileşimlerde konu devamlılığı
BETÜL ÇİMENLİ
Yüksek Lisans
İngilizce
2017
Eğitim ve ÖğretimHacettepe ÜniversitesiYabancı Dil Olarak İngilizce Öğretimi Ana Bilim Dalı
YRD. DOÇ. DR. OLCAY SERT