Dynamic obstacle avoidance using reinforcement learning
Pekiştirmeli öğrenme kullanarak dinamik engel kaçınımı
- Tez No: 863768
- Danışmanlar: DR. ÖĞR. ÜYESİ ERKAN USLU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Yıldız Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Çalışmanın temel amacı, Robot İşletim Sistemi (ROS) ile uyumlu Otonom Mobil Robotlar için derin takviyeli öğrenme (DRL) tabanlı bir lokal planlayıcı geliştirmektir. Deep Q-Network (DQN), DDPG ve TD3 gibi DRL yöntemleri, dinamik ortamlarda (örneğin, robotik navigasyon vb.) ve karmaşık durumlarda klasik yöntemlere kıyasla daha iyi performans göstermektedir. Bu yöntemler, doğrusal ve doğrusal olmayan özellikleri içeren karmaşık durumları öğrenme ve temsil etme yeteneğine sahiptir. DQN'in öğrenme süreci model bağımsızdır ve ayrık aksiyon uzayına sahiptir. Bu çalışmada, DQN yöntemini kullanarak geliştirilen model, klasik yöntemler arasında kabul görmüş TEB ve DWA gibi yerel planlayıcılarla karşılaştırılmıştır. Ayrıca, sürekli aksiyon uzayına sahip DDPG ve TD3 modelleri de geliştirilmiş ve bu modeller, DQN modeli ile karşılaştırılmıştır. Modeller, ortamda nerede olduğunu ve kısmen veya tamamen gözlemlenen ortamın haritasını anlama yeteneğine sahiptir. Modelin davranışı yol takip edebilme ve hem statik hem de dinamik engellerden kaçınımı açısından test edilmiştir. Modeller, engellerden kaçınabilmesi ve en kısa yoldan hedefe gidebilmesi için gereken hız kontrolünü öğrenmek için Müfredat Öğrenme yaklaşımı kullanılarak eğitilmiştir. Çalışmadan elde edilen umut verici sonuçlar dinamik ortamlarda bile başarılı daha genel bir lokal planlayıcı olasılığını yansıtmaktadır.
Özet (Çeviri)
The main objective of the study is to develop a deep reinforcement learning (DRL) based local planner compatible with the Robot Operating System (ROS) for Autonomous Mobile Robots. Deep Q-Network (DQN), DDPG, and TD3, among other DRL methods, exhibit superior performance in dynamic environments (such as robotic navigation, etc.) and complex situations compared to classical methods. These methods have the capability to learn and represent complex scenarios, including both linear and nonlinear features. The learning process of DQN is model-independent and operates in a discrete action space. In this study, a model developed using the DQN method is compared with well-established classical methods such as Timed Elastic Band (TEB) and Dynamic Window Approach (DWA). Additionally, models with continuous action spaces, DDPG and TD3, are developed and compared with the DQN model. The models have the ability to understand their location in the environment and partially or fully observed maps of the environment. The behavior of the models is tested for their ability to follow paths and avoid both static and dynamic obstacles. The models are trained using a Curriculum Learning approach to learn the required speed control to avoid obstacles and reach the goal as quickly as possible. Promising results from the study reflect the possibility of a more general local planner that can succeed even in dynamic environments.
Benzer Tezler
- Swarm fighter aircraft control with deep reinforcement learning approach
Derin pekiştirmeli öğrenme ile sürü savaş uçaklarının kontrolü
METİN SARI
Yüksek Lisans
İngilizce
2025
Uçak Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
PROF. DR. FİKRET ÇALIŞKAN
- Multi-agent planning with automated curriculum learning
Otomatik müfredat öğrenmesi ile çoklu ajan planlaması
ONUR AKGÜN
Doktora
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. NAZIM KEMAL ÜRE
- Addressing parametric uncertainties in autonomous cargo ship heading control
Otonom kargo gemisi yön kontrolündeki parametrik belirsizliklerin ele alınması
AHMAD IRHAM JAMBAK
Yüksek Lisans
İngilizce
2023
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. İSMAİL BAYEZİT
- Dynamic obstacle avoidance with a prototype mobile robot using acoustic infrared and position sensing
Sesötesi, kızıklberisi ve konum algılayıcıları ile donatılmış mobil robot ile hreketli engellerden sakınılması
SANER KURBAY
Yüksek Lisans
İngilizce
1997
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. BİLLUR BARSHAN
- Obstacle avoidance with object detection using 3-D stereo cameras for indoor mobile robots
Gezgin robotlar için iç mekanlarda 3-B stereo kameraya dayalı nesne tespiti ile engellerden kaçınma
MOHAMMAD M. T. MOHAMMAD
Yüksek Lisans
İngilizce
2020
Mekatronik MühendisliğiBahçeşehir ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHMET BERKE GÜR