Sign language recognition with zero-shot learning
Sıfır-atış öğrenmesi ile işaret dili tanıma
- Tez No: 898101
- Danışmanlar: DOÇ. DR. EMRE SÜMER, DR. YUNUS CAN BİLGE
- Tez Türü: Doktora
- Konular: Mühendislik Bilimleri, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Engineering Sciences, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Başkent Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
İşaret dili, toplumun belirli bir kesimi için büyük önem taşımaktadır. İşaret Dili Tanımanın (SLR) makine öğrenmesi kullanılarak otomatikleştirilmesi, toplum kesimlerinin iletişimini kolaylaştırmak için çok önemlidir. Ancak, bu görev için gerekli olan etiketlenmiş verilerin oluşturulması oldukça zordur. Dahası, zaman içinde işaret dili kelimelerinin evrim geçirip anlamlarının değişmesi bu alanı daha da zor hale getirmektedir. Bu çalışma, Sıfır-Shot İşaret Dili Tanıma (ZSSLR) için yenilikçi bir yaklaşım sunmaktadır. İşaretçinin vücut verilerinden çıkarılan el ve landmark verileri kullanılarak, işaretçinin el ve vücudu modellenmiştir. Çıkarılan ve modellenen özniteliklerin bu amaç için hangisinin daha önemli olduğunu belirlemek amacıyla bir veri derecelendirme yöntemi uygulanmıştır. Sıfır-Shot Öğrenmede (ZSL), işaret dili videolarında yapılan hareketlerin tanımlarını içeren veri kümeleri kullanılmıştır. Sonuçlar, iki karşılaştırılabilir ZSL veri kümesinde test edilmiş ve ZSL ve Genel Sıfır-Shot Öğrenme (GZSL) ayarlarında gösterilmiştir.
Özet (Çeviri)
Sign language holds great importance for a specific segment of society. Automating Sign Language Recognition (SLR) using machine learning is crucial for facilitating communication between different segments of society. However, creating the necessary labeled data for this task is very challenging. Furthermore, the evolution and changing meanings of sign language words over time make this field even more difficult. This work presents a novel approach to Zero-Shot Sign Language Recognition (ZSSLR). Using hand and landmark data extracted from the signer's body data, the signer's hand and body have been modeled. To determine which of the extracted and modeled features are more important for this purpose, a data grading method was applied. In Zero-Shot Learning (ZSL), datasets containing descriptions of the movements in sign language videos were used. The results were tested on two benchmarkable ZSL datasets and demonstrated in ZSL and Generalized Zero-Shot Learning (GZSL) settings.
Benzer Tezler
- Sınırlı denetim ve anlamsal temsiller ile işaret dili öğrenimi
Learning sign languages with limited supervision and semantic representations
YUNUS CAN BİLGE
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. NAZLI İKİZLER CİNBİŞ
- Hand gesture recognition for Turkish sign language using electromyography for human-robot interaction
İnsan-robot etkileşimi için elektromyografi kullanarak Türk işaret dili için el hareketi tanıma
MUSTAFA SEDDIQI
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE
- Acil yardım çağrısı jestlerinin bilgisayarla görü ve derin öğrenme yöntemleriyle gerçek zamanlı tespiti
Real-time detection of emergency call gestures using computer vision and deep learning methods
FERHAT ERDOĞAN
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilişim Sistemleri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MUHAMMED KOTAN
- Gesture recognition for Turkish Sign Language with CNN and RNN
Türkçe işaret dili için evrişimli sinir ağları ve tekrarlayan sinir ağları ile mimik tanıma
NESLİHAN HANECİOĞLU
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAnkara Yıldırım Beyazıt ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖZKAN KILIÇ
- Attention modeling with temporal shift in sign language recognition
İşaret dili tanımada zamansal kayma ile dikkat modellemesi
AHMET FARUK ÇELİMLİ
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. LALE AKARUN ERSOY