Alt ekstremite biyomekanik sinyal analiziyle derin öğrenme tabanlı insan yürüyüşü tanıma
Human gait recognition based on deep learning using lower limb biomechanical signal analysis
- Tez No: 844607
- Danışmanlar: PROF. DR. FIRAT KAÇAR
- Tez Türü: Doktora
- Konular: Mühendislik Bilimleri, Elektrik ve Elektronik Mühendisliği, Biyomühendislik, Engineering Sciences, Electrical and Electronics Engineering, Bioengineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: Türkçe
- Üniversite: İstanbul Üniversitesi-Cerrahpaşa
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Biyomedikal Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Biyomedikal Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
öğrenme yaklaşımları giderek yaygınlaşmaktadır. Bu tez çalışmasında, sağlıklı katılımcılara yerleştirilmiş IMU, gonyometre ve EMG sensöründen yer seviyesi yürüyüş sırasında farklı yürüme hızlarında kaydedilen açık erişimli bir veri seti kullanılmıştır. Çalışmamız, sağlıklı bireylerin fiziksel yürüyüşündeki zamansal yürüyüş örüntülerini doğru olarak sınıflandırmak üzere çeşitli makine öğrenmesi (ML) ve derin öğrenme (DL) algoritmalarını araştırmayı amaçlamaktadır. Yürüyüş sinyali öznitelikleri çıkarmada kayan pencereler yöntemi kullanılırken farklı pencere uzunluklarının ve ML algoritmalarının sınıflandırma performansına etkileri karşılaştırılmıştır. Derin evrişimli sinir ağı (CNN) modeli girişi için IMU sensör ve bileşke lineer ivmelenme sinyalleri segmentlere ayrılmış, ardından Sürekli Dalgacık Dönüşümü (CWT) ve Kısa Süreli Fourier Dönüşümü (STFT) dönüşümleriyle zaman-frekans analizi (TFA) temsilleri oluşturulmuştur. Ayrıca ayak, bacak, uyluk ve gövdeye yerleştirilen IMU sensör ile ayak bileği, diz ve kalçaya yerleştirilen GON sensör yürüyüş spektrogramları, yürüyüş sinyallerine STFT uygulanarak elde edilmiş ve 2D-CNN sınıflandırıcısıyla eğitilmiştir. Son yıllarda insan aktivitesini tanıma amacıyla giyilebilir biyomekanik sensörler ve derin öğrenme yaklaşımları giderek yaygınlaşmaktadır. Bu tez çalışmasında, sağlıklı katılımcılara yerleştirilmiş IMU, gonyometre ve EMG sensöründen yer seviyesi yürüyüş sırasında farklı yürüme hızlarında kaydedilen açık erişimli bir veri seti kullanılmıştır. Çalışmamız, sağlıklı bireylerin fiziksel yürüyüşündeki zamansal yürüyüş örüntülerini doğru olarak sınıflandırmak üzere çeşitli makine öğrenmesi (ML) ve derin öğrenme (DL) algoritmalarını araştırmayı amaçlamaktadır. Yürüyüş sinyali öznitelikleri çıkarmada kayan pencereler yöntemi kullanılırken farklı pencere uzunluklarının ve ML algoritmalarının sınıflandırma performansına etkileri karşılaştırılmıştır. Derin evrişimli sinir ağı (CNN) modeli girişi için IMU sensör ve bileşke lineer ivmelenme sinyalleri segmentlere ayrılmış, ardından Sürekli Dalgacık Dönüşümü (CWT) ve Kısa Süreli Fourier Dönüşümü (STFT) dönüşümleriyle zaman-frekans analizi (TFA) temsilleri oluşturulmuştur. Ayrıca ayak, bacak, uyluk ve gövdeye yerleştirilen IMU sensör ile ayak bileği, diz ve kalçaya yerleştirilen GON sensör yürüyüş spektrogramları, yürüyüş sinyallerine STFT uygulanarak elde edilmiş ve 2D-CNN sınıflandırıcısıyla eğitilmiştir. IMU, GON ve EMG biyomekanik sinyallerinin, kayan pencereler yöntemi kullanılarak ML sınıflandırılmasında 1000 (5s) uzunluğundaki kayan pencere uzunluğu ve QSVM sınıflandırıcısı daha iyi performans sağlamıştır. Tekli sensör IMU, GON ve EMG modellerinin doğrulukları sırasıyla 0.95, 0.83 ve 0.74'tür. Çoklu sensör modellerinin doğrulukları ise IMU-GON (0.95), IMU-EMG (0.90), GON-EMG (0.78) ve IMU-GON-EMG (0.92)'dir. Bu sonuçlar insan yürüyüş tanımada IMU giyilebilir sensör kullanımının etkisini göstermektedir. Ayrıca ML yaklaşımıyla IMU sensör yerleşim yerinin ve farklı veri işleme yöntemlerinin insan yürüyüş tanımadaki etkisi değerlendirilmiş ve SVM tabanlı sınıflandırıcıların yüksek sınıflandırma doğruluğu sağladığına ulaşılmıştır. Tekli IMU sensör 'Ft', 'Sh', 'Th' ve 'Tr'modellerinin doğrulukları sırasıyla 0.693, 0.727, 0.748 ve 0.66'dır. Çoklu IMU sensör 'ShTh', 'ShThFt' ve 'All' modellerinin doğrulukları ise 0.75, 0.799 ve 0.839 olarak bulunmuştur. DL yaklaşımıyla IMU sinyali ve bileşke lineer ivmelenmeleri TFA görüntülerinin insan yürüyüş tanıma üzerindeki etkisi değerlendirilmiştir. Analizler 'STFT-tümü', 'CWT-tümü' ve 'CWT-BLİV' CNN modellerinin en yüksek test sınıflandırma performansına, sırasıyla 0.833, 0.809 ve 0.794 doğruluk ve 0.876, 0.857 ve 0.846 özgüllük değerleriyle ulaşılmıştır. DL analiz sonuçları, STFT ve CWT tabanlı TFA görüntüleri kullanılan CNN modelleri, tüm IMU kanalları birleştirildiğinde, en yüksek sınıflandırma doğruluğunu göstermiştir. Bu analizlerde biyomekanik sensör yerleşim yerine göre sinyal filtreleme ve segmentasyonu etkileri karşılaştırılarak tek ve iki girişli IMU ve GON sensör CNN modellerinin insan yürüyüş tanıma performansları incelenmiştir. 'IMU-5s', 'Multi-5s', ve 'Multi-tüm' modellerinin sınıflandırma performansı ortalamaları sırasıyla doğrulukları 0.910, 0.842 ve 0.828 özgüllükleri ise 0.932, 0.882 ve 0.871 olarak bulunmuştur. Uyluk ve bacak spektrogramları, yürüyüş hızı gruplarının tam olarak sınıflandırılmasına olanak sağlamıştır. Sonuç olarak, makine öğrenmesi yaklaşımı sağlıklı bireyler için giyilebilir biyomekanik sensörlerden uygun geçici yürüyüş özelliklerinin belirlemesinde önemli bir değerlendirme aracıdır. Önerilen bu yaklaşım, sağlıklı bireylerin yürüyüş hızı sınıflandırmasında TFA yaklaşımı ve 2D-CNN kullanarak giyilebilir sensör sinyallerinde gözlemlenebilir farklılıklar olmadan yürüyüşün güvenilir çoklu sınıflandırmasını sağlayan yenilikçi bir çalışmadır.
Özet (Çeviri)
Recently, weareble biomechanical sensors and deep learning applications have been prevailing for human activity recognition. In this thesis study, an open-access dataset recorded at different walking speeds in level-ground gait from IMU, goniometer and, EMG sensors placed in healthy subjects was used. Our study aimed to investigate several machine learning and deep learning algorithms to classify the temporal gait characteristics of human physical walking performed by healthy subjects. The consequences of various window lengths and machine learning methods on classification performance has been assessed while extracting gait signal characteristics using the sliding windows approach. The input of the deep convolutional neural network (CNN) model was obtained by segmenting the IMU sensor and the resultant linear acceleration signals. Afterwards, time-frequency analysis (TFA) representations were obtained using the Continuous Wavelet Transform (CWT) and Short-Term Fourier Transform (STFT) transformations. Moreover, the gait spectrograms from the GON sensor, which is found on the ankle, knee, and hip, and the IMU sensor, which is placed on the foot, shank, thigh, and trunk, were obtained by applying STFT to the gait signals and then trained using a 2D-CNN classifier. Recently, weareble biomechanical sensors and deep learning applications have been prevailing for human activity recognition. In this thesis study, an open-access dataset recorded at different walking speeds in level-ground gait from IMU, goniometer and, EMG sensors placed in healthy subjects was used. Our study aimed to investigate several machine learning and deep learning algorithms to classify the temporal gait characteristics of human physical walking performed by healthy subjects. The consequences of various window lengths and machine learning methods on classification performance has been assessed while extracting gait signal characteristics using the sliding windows approach. The input of the deep convolutional neural network (CNN) model was obtained by segmenting the IMU sensor and the resultant linear acceleration signals. Afterwards, time-frequency analysis (TFA) representations were obtained using the Continuous Wavelet Transform (CWT) and Short-Term Fourier Transform (STFT) transformations. Moreover, the gait spectrograms from the GON sensor, which is found on the ankle, knee, and hip, and the IMU sensor, which is placed on the foot, shank, thigh, and trunk, were obtained by applying STFT to the gait signals and then trained using a 2D-CNN classifier. The sliding window length of 1000 (5s) and the QSVM classifier demonstrated higher accuracy in applying the sliding window method for ML classification of IMU, GON, and EMG biomechanical signals. The accuracies of the single sensor models IMU, GON and EMG are 0.95, 0.83 and 0.74, respectively. Multi-sensor models have the following accuracies: GON-EMG (0.78), IMU-GON-EMG (0.92), IMU-GON (0.95), and IMU-EMG (0.90). These results highlight whether IMU wearable sensors may be utilized to recognize human gaits. Furthermore, the ML approach was used to assess the effect of IMU sensor location and several methods of data processing on human gait recognition. The outcomes demonstrated that SVM-based classifiers provide superior classification accuracy. The accuracies of IMU single sensor models 'Ft', 'Sh', 'Th' and 'Tr' are 0.693, 0.727, 0.748 and 0.66, respectively. The accuracies of the multi-IMU sensor models 'ShTh', 'ShThFt' and 'All' have been found to be 0.75, 0.799 and 0.839, respectively. Human gait recognition has been evaluated applying the DL approach with regard to the IMU signal and the linear accelerations of the resultant TFA images. The 'STFT-all', 'CWT-all', and 'CWT-BLIV' CNN models had the best test classification performance, based on analyses, with 0.833, 0.809, and 0.794 accuracy and 0.876, 0.857, and 0.846 specificity values, respectively. CNN models using STFT and CWT-based TFA images exhibited the highest classification accuracy when all IMU channels were used together, according to the outcomes of the DL analysis. By comparing the signal filtering and segmentation effects based on the biomechanical sensor position, the human gait recognition performances of single- and dual-input IMU and GON sensor CNN models have been assessed in the aforementioned analyses. The 'IMU-5s,' 'Multi-5s,' and 'Multi-all' models have been shown to provide accuracy in classification averages of 0.910, 0.842, and 0.828, respectively, and specificities of 0.932, 0.882, and 0.871, respectively. Each group could be accurately recognized by applying thigh and shank spectrograms. In conclusion, the machine learning method is an extremely useful tool for mapping out appropriate temporal gait characteristics for healthy individuals based on wearable biomechanical sensors. Applying the TFA method and 2D-CNN for the classification of gait speed in healthy individuals, this novel work offers reliable multiple classification of gait without discernible differences in wearable sensor outcomes.
Benzer Tezler
- Organize sanayi bölgelerinde iş güvenliği sorunlarının teknik ve bilimsel araştırılmasında bir yöntem önerisi
Başlık çevirisi yok
MEHMET ALİ YILDIRIM
Yüksek Lisans
Türkçe
1986
Çalışma Ekonomisi ve Endüstri İlişkileriGazi ÜniversitesiKazaların Çevresel ve Teknik Araştırması Ana Bilim Dalı (disiplinlerarası)
DOÇ. DR. İBRAHİM BOYNUKALIN
- Alopesia areatalı olgularda tedavi öncesi ve tedavi sonrası immünolojik özellikler
Başlık çevirisi yok
AYLA GÜLEKON
- Landsat uydusu aracılığı ile elde edilen görüntülerin sınıflandırılmaları ve bunlara ilişkin bilgisayar programlarının hazırlanması
Başlık çevirisi yok
G. FERZAN KÜÇÜKA
Yüksek Lisans
Türkçe
1985
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEge ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DOÇ. DR. HALİS PÜSKÜLCÜ
- Mimarlıkta rasyonel ve irrasyonel biçimlendirmenin ekonomik göstergelere bağlı olarak değişimi ve bu değişimin 11. yüzyıldan 19. yüzyıla kadar Türk ve Avrupa uygarlıklarında örneklenmesi
The Change of rational and irrational styles in architecture duetotho economicaldata and the illustration of this change on the Turkish and European Civilizations between 11th and 19th centuries
AYŞE ZEYNEP ONUR
- Ege bölgesi keçi liflerinin bazı önemli fiziksel, kimyasal özellikleri ve değerlendirme imkanları
Başlık çevirisi yok
NİLÜFER ERDEM
Doktora
Türkçe
1985
Tekstil ve Tekstil MühendisliğiEge ÜniversitesiTekstil Mühendisliği Ana Bilim Dalı
PROF. DR. GÜLSEREN YAZICIOĞLU