Hand gesture recognition from sEMG signals based on similarity learning
Benzerlik öğrenmesine dayalı sEMG sinyallerinden el hareketlerinin tanınması
- Tez No: 1012087
- Danışmanlar: PROF. DR. ULUĞ BAYAZIT
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Elektronöromiyografi, Makine öğrenmesi, Öğrenme transferi, Electroneuromyography, Machine learning, Transfer of learning
- Yıl: 2026
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Elektromiyografi (EMG) sinyalleri uzun zamandır, nöromüsküler aktiviteye ilişkin kritik bilgiler sunmakta olup protez ve sağlık alanlarında kullanılmaktadır. Giyilebilir teknolojilerin yaygınlaşmasıyla birlikte EMG; insan-bilgisayar etkileşimi, robotik rehabilitasyon, insansız hava aracı navigasyonu ve oyun gibi gelişmekte olan uzaktan kontrol uygulamalarında geniş bir kullanım alanı bulmuştur. Bu çalışmanın temel amacı, kullanıcıya özgü sınırlı EMG verisi kullanarak el hareketlerinin yüksek doğrulukla sınıflandırılması; böylece EMG tabanlı arayüzlerin gerçek dünya senaryolarındaki uygulanabilirliğini ve ölçeklenebilirliğini artırmaktır. Ayrıca, önerilen derin öğrenme tabanlı yaklaşımın sınırlı veri koşullarında gerçek zamanlı performansı da değerlendirilmiştir. Önerilen yöntem, konvolüsyonel sinir ağları ve transfer öğrenme tekniklerinden yararlanarak EMG örnekleri arasındaki benzerlikleri öğrenmekte ve bu benzerlikler üzerinden el hareketlerini tahmin etmektedir. Önceden eğitilmiş ağ, katmanların aşamalı olarak dondurulmasıyla çoklu geçişlerde yeniden uyarlanarak kullanıcıya özgü özellikler çıkarmaktadır. Takiben, özellik benzerliklerini çıkarmak için Destek Vektör Makineleri kullanılmış; bu benzerlik verileri ise nihai hareket sınıflandırması için k-En Yakın Komşu oylama mekanizmasını beslemiştir. Deneysel bulgular, yöntemin sınırlı kullanıcı verisiyle dahi yüksek etkinlik gösterdiğini doğrulamaktadır. 17 denek ve 7 farklı el hareketini içeren Myo Veri Seti üzerinde, önerilen yaklaşım iki ilgili çalışmadaki üç farklı yöntemi ve yinelemeli sinir ağı tabanlı bir başka modeli geride bırakmıştır. Ayrıca NinaPro DB5 (Egzersiz B) veri seti üzerindeki değerlendirmeler, geliştirilen mimarinin dört güncel yöntemin sınıflandırma doğruluğunu tutarlı bir şekilde aştığını kanıtlamıştır. Son olarak, gerçekleştirilen deneyler önerilen mimarindeki çıkarım gecikmesinin literatürde kabul edilen gecikme sınırları içerisinde gerçek zamanlı çalışabildiğini ortaya koymuştur. Gelecek araştırmalar için çeşitli umut verici yönler belirlenmiştir. Bu yönekler arasında pratik protez ve robotik uygulamalar için gerçek zamanlı uygulama ve gömülü sistem entegrasyonu, çok geçişli ince ayar çerçevesi kapsamında daha geniş bir ön eğitimli evrişimsel ve transformatör tabanlı mimari yelpazesinin sistematik olarak değerlendirilmesi ve sınıflandırma gürbüzlüğünü artırmak ile denekler arası değişkenliği azaltmak amacıyla IMU sensörleri, derinlik kameraları ve mekanomiyografi gibi tamamlayıcı sensör modalitelerinin sensör füzyonu yaklaşımları aracılığıyla sisteme entegre edilmesi yer almaktadır.
Özet (Çeviri)
EMG (Electromyography) signals provide critical information on muscle activity and have long been used in prosthetics and healthcare. With the rise of wearable technologies, EMG is now widely applied in human-computer interaction, rehabilitation, and emerging remote control applications such as drone operation and gaming. The primary objective of this study was to accurately identify hand gestures utilizing limited user electromyography (EMG) data, thereby improving the applicability and extending the potential use cases of EMG-based systems in real-world scenarios. This study also evaluates the real-time capabilities of a deep learning–based approach for hand gesture recognition using limited user-specific EMG data. The proposed method makes use of deep learning methods, namely convolutional neural networks and transfer learning to learn the similarity between samples of EMG signals to predict hand gestures. A pre-trained network is fine-tuned through a progressive layer-freezing strategy to extract robust, subject-specific features. Subsequently, Support Vector Machines (SVM) are employed to map feature similarities, which inform a k-Nearest Neighbors (kNN) voting mechanism for final gesture classification. The findings indicate viability of the proposed method even when utilizing a limited dataset collected from the user. On the Myo Dataset, involving 17 subjects and 7 distinct hand gestures, the proposed approach outperformed the three approaches proposed in two related works as well as an approach based on a recurrent neural network. Further evaluation on the NinaPro DB5 (Exercise B) dataset demonstrated that the architecture consistently exceeds the classification accuracy of four state-of-the-art methods. Experimental results demonstrate that the proposed approach outperforms all compared methods in terms of classification accuracy. Finally, computational benchmarking demonstrates that the system's inference latency remains well within the established temporal thresholds for real-time applications cited in existing literature. Several promising directions for future research have been identified. These include real-time implementation and embedded deployment for practical prosthetic and robotic applications, systematic evaluation of a broader range of pretrained convolutional and transformer-based architectures within the multi-pass fine-tuning framework, and the incorporation of complementary sensor modalities — such as IMU sensors, depth cameras, and mechanomyography — through sensor fusion approaches to enhance classification robustness and reduce inter-subject variability.
Benzer Tezler
- Hand gesture classification using features of multivariate synchrosqueezing transform based time-frequency matrix
Çok değişkenli senkron sıkıştırma dönüşümüne dayalı zaman-frekans matrisinin özelliklerini kullanarak el hareketi sınıflandırılması
LÜTFİYE SARIPINAR
Yüksek Lisans
İngilizce
2023
Bilim ve Teknolojiİzmir Katip Çelebi ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ONAN GÜREN
- Hand gesture recognition for Turkish sign language using electromyography for human-robot interaction
İnsan-robot etkileşimi için elektromyografi kullanarak Türk işaret dili için el hareketi tanıma
MUSTAFA SEDDIQI
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HATİCE KÖSE
- Benzer el hareketlerinin EMG sinyalleri kullanılarak sınıflandırılması
Classification of similar hand movements using EMG signals
AYŞE DİLAN DERDİYOK
Yüksek Lisans
Türkçe
2021
BiyomühendislikSakarya Uygulamalı Bilimler ÜniversitesiBiyomedikal Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUSTAFA ZAHİD YILDIZ
- Neural network-based adaptive myoelectric signal classification via utilization of entropy history
Entropi geçmişinden yararlanarak sinir ağı temelli uyarlanabilir miyoelektrik işaret sınıflandırması
KÜBRA NAZLIHAN IŞIK
Yüksek Lisans
İngilizce
2017
Mühendislik Bilimleriİstanbul Medipol ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. MEHMET KOCATÜRK
- Değişen kol pozisyonlarında ön koldan ölçülen SEMG sinyalleri ve ataletsel veriler kullanılarak el hareketlerinin sınıflandırılması
Classification of hand movements by using sEMG signals measured from forearm in different arm positions
EMRE PARLAK
Yüksek Lisans
Türkçe
2021
Elektrik ve Elektronik MühendisliğiMarmara ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ULVİ BAŞPINAR