A reinforcement learning based controller to minimize forces on the crutches of a lower-limb exoskeleton
Alt ekstremite dış iskeletlerinin bastonlarındaki kuvvetleri minimize eden pekiştirmeli öğrenme tabanlı bir kontrolcü
- Tez No: 812429
- Danışmanlar: DOÇ. DR. EVREN SAMUR, DR. ÖĞR. ÜYESİ SİNAN ÖNCÜ
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Makine Mühendisliği, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Electrical and Electronics Engineering, Mechanical Engineering, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Hareketli robotlar, Mobile robots
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Sistem ve Kontrol Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bir alt ekstremite dış iskelet kullanıcısının metabolik enerji tüketiminin çoğu, alt vücut pasif olarak kabul edilebileceğinden, üst vücudun harcadığı efordan gelir. Ancak literatürde alt uzuv dış iskelet kullanıcılarının üst vücut eforu hesaba katılmamaktadır. Bu tez çalışmasında, bastonların yer tepki kuvvetlerini (YTK) optimize eden bir hareket kontrolcüsü geliştirmek için derin pekiştirmeli öğrenme kullanılmıştır. Yer reaksiyon kuvvetlerini minimize etmenin amacı kullanıcının üst vücut eforunu en aza indirmektir. Bastonlar ve insan-dış iskelet sisteminin modeli URDF ve XML formatlarında oluşturulmuştur. Düşmeden ve aşırı eklem torkları olmadan kütle merkezinin ileriye doğru yer değiştirmesini teşvik eden ödül fonksiyonları şekillendirilmiştir. Son teknoloji yöntemler olan Twin Delayed Deep Deterministic Policy Gradient (TD3) ve Proximal Policy Optimization (PPO), RaiSim ve MuJoCo simülatörleri ve çeşitli parametre setleriyle uygulanmıştır. Kullanılan sinir ağları, eklem açısı ve hızları ile ayaklar ve baston uçlarındaki zemin reaksiyon kuvvetlerine dayalı olarak eklem torklarını üretir. Oluşturulan bu eklem torkları doğrudan dış iskelet modeline gönderilir ve derin PÖ çerçevesinin sağladığı aksiyon uygulandıktan sonra yeni bir durum gözlemlenir. TD3 ve PPO yöntemleriyle RaiSim'de eğitilen politikaların, dengeli ve doğal görünümlü bir yürüyüş için uygun kontrol komutları üretemediği gözlemlenmiştir. Genel olarak RaiSim'de PPO yönteminin TD3 yöntemine göre daha yüksek ödül değerlerine ulaştığı görülmektedir. RaiSim ile istenen tarzda bir robot politikası elde edemedikten sonra MuJoCo simülatör olarak kullanılmıştır. Sonuç olarak, uygun baston hareketlerini de içeren ve istenen tarzda lokomosyonu yer tepki kuvvetlerini %35 oranında azaltarak sağlayan bir robot politikası geliştirilmiştir.
Özet (Çeviri)
The majority of the metabolic energy consumption of a lower-limb exoskeleton user comes from the upper body effort, since the lower body can be considered to be passive. However, the upper body effort of lower limb exoskeleton users is ignored during motion controller development process in the literature. In this thesis study, deep reinforcement learning is used to develop a locomotion controller that minimizes the ground reaction forces (GRF) on crutches. The rationale for minimizing the ground reaction forces is to minimize the upper body effort of the user. A model of the human-exoskeleton system with crutches is created in URDF and XML formats. Reward functions that encourage the forward displacement of the center of mass of the exoskeleton-human system without falling and extreme joint torques are shaped. The state-of-the-art methods, Twin Delayed Deep Deterministic Policy Gradient (TD3) and Proximal Policy Optimization (PPO), are employed with the RaiSim and MuJoCo physics simulators and with different algorithm specific parameters in multiple training trials. The employed networks generate the joint torques based on the joint angle and velocities along with the ground reaction forces on feet and crutch tips. These generated joint torques are directly sent to the exoskeleton model and a new state is observed after implementing the action that the deep RL framework provides. Policies trained by the TD3 and PPO methods on RaiSim are observed to fail to generate proper control commands for a stable and natural looking gait. In general, it is observed that the PPO method generated higher rewards than the TD3 method on RaiSim. After failing to develop a desired policy with RaiSim, MuJoCo is employed as the simulator. Eventually, a policy that can generate a reasonable gait with a desired crutch usage and with 35% minimization in GRFs with respect to the baseline policy is developed.
Benzer Tezler
- Tracking control methodologies for a quadrotor UAV
Dört rotorlu bir İHA için yol takibi kontrol yöntemleri
BORA BAYRAKTAROĞLU
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. MÜJDE GÜZELKAYA
- Reinforcement learning based battery thermal management controller for electric vehicle charge time optimization using horizon data
Ufuk verileri kullanılarak takviyeli öğrenme tabanlı batarya termal yönetim kontrolü ile elektrikli araçlarda şarj süresinin iyileştirilmesi
YUNUS TURHAN
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektrik Mühendisliği Ana Bilim Dalı
DOÇ. DR. MURAT YILMAZ
- A model based flight control system design approach for micro aerial vehicles using integrated flight testing and hil simulations
Küçük boyutlu insansız hava araçları üzerinde sistem tanılama, uçuş kontrol sistem tasarımı ve donanım ile benzetim uygulamaları
BURAK YÜKSEK
Doktora
İngilizce
2019
Uçak Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. GÖKHAN İNALHAN
- Openflow ağları üzerinde çalışan çıkarsamaya dayalı uçtan uca çokluortam akışlandırma uygulaması
An inference based end-to-end video streaming application running over openflow networks
TUBA UZAKGİDER
Yüksek Lisans
Türkçe
2015
Bilim ve TeknolojiEge ÜniversitesiBilgi Teknolojileri Ana Bilim Dalı
YRD. DOÇ. DR. MÜGE SAYIT
- Q öğrenme algoritması ile kontrolör tasarımı
Controller design via Q learning algorithm
ERVA HATUN TEKEOĞLU
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. MÜJDE GÜZELKAYA