Implementation of continuous POMDP algorithms on autonomous robots
Otonom robotlar üzerinde sürekli KGMKS algoritmalarının uygulanması
- Tez No: 179077
- Danışmanlar: PROF. DR. H. LEVENT AKIN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2008
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Bölümü
- Bilim Dalı: Sistem ve Kontrol Mühendisliği Ana Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Belirsizlik, otonom robotlar için, duyargaların gerçek dünya gibi tüm ortam durumunu tam olarak yansıtamadığı hallerde başedilmesi gereken temel problemlerden biridir. Gerçekleştirilen eylemlerin sonuçlarının ne olacağı önceden bilinmese dahi etmenlerin mantıklı davranışlar içinde bulunmaları beklenmektedir. Bunun yanında ortamın aralıksız dağılımlı zaman yapısı problemi daha da zor hale getirmektedir.Markov Karar Yöntemleri bu tip ortamların modellenmesi için uygundur. Kısmen Gözlemlenebilir Markov Karar Süreçleri ise bütünüyle gözlemlenmesi mümkün olmayan ortamlar için tercih edilmektedir. Bu yöntemlerle ortamın modellenebilmesi için, gerçek dünyanın aralıksız dağılımlı yapısının aralıklı hale getirilmesi gerekmektedir.Bu çalışmanın amacı gerçek dünyayı modelleyerek, Kısmen Gözlemlenebilir Markov Karar Süreçlerine uygun öğrenme algoritmalarının gerçek robotlar üzerinde uygulanmasıdır.Deneyler Sony'nin dört bacaklı AIBO köpek robotları üzerinde, Webots simulasyon ortamı kullanılarak gerçekleştirilmiştir. İki farklı problem üzerinde algoritmalar uygulanmıştır: ``Topa Yaklaşma'' ve ``Gol Atma''. Robotların önceden verilen hedeflere ulaşmayı başardıkları ve gol skorlarında rastgele verilen kararlara nazaran daha başarılı oldukları gözlemlenmiştir. Sonuca ulaşırken gerçekleştirilen eylemlerin optimum olup olmadığı tartışılmış ve bunu etkileyen parametreler açıklanmıştır.
Özet (Çeviri)
Uncertainty is a fundamental problem for autonomous agents in a partially observable real world, where the sensors are not able to give the complete state of the environment. Although the outcomes of actions are not predictable, the agents must behave rationally. Furthermore, continuous nature of the environment makes the problem more difficult to model.Markov Decision Process (MDP) is a way to model this kind of problems. Partially observable Markov decision process (POMDP) is an extension of MDP which can be used in environments which are not fully observable. In order to model the real world, the continuous states must be converted to discrete states.The aim of this work is to model the real world environment and implement ARKAQ learning algorithm which is suitable for Partially observable Markov decision problems (POMDPs).The experiments are realized with Sony AIBO four-legged robotic pets under Webots simulation environment. Two problems are studied: ``Ball Approaching'' and ``Scoring Goal''. The predefined targets are achieved by the robots and the results in goal scoring show that ARKAQ is clearly much more successful compared to random actions. The optimality of the results are discussed and the parameters that affect the optimality are explained.
Benzer Tezler
- Balancing mixed adversarial perturbations: Towards robust reinforcement learning
Karma çekişmeli bozulmaları dengeleme: Gürbüz pekiştirmeli öğrenmeye doğru
MUSTAFA ERDEM
Doktora
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. NAZIM KEMAL ÜRE
- Bir dişli pompa grubunun imalatında eşzamanlı mühendislik ve grup teknolojisi
The carrying out of group technology in the concurrent engineering concept on a factory which is manufacturing gear pomp
ALPER ASLAN
Yüksek Lisans
Türkçe
1997
Makine Mühendisliğiİstanbul Teknik ÜniversitesiMakine Mühendisliği Ana Bilim Dalı
PROF. DR. TEOMAN KURTAY
- Design and implementation of coupled inductor Cuk converter operating in continuous conduction mode
Sürekli iletim kipinde çalışan bağlaşık indüktörlü Cuk çevirici tasarımı ve gerçeklenmesi
MUSTAFA TUFAN AYHAN
Yüksek Lisans
İngilizce
2011
Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik ÜniversitesiElektrik ve Elektronik Mühendisliği Bölümü
PROF. DR. AYDIN ERSAK
- Sürekli denetimin iç denetimde uygulanabilirliği ve Türkiye'de ticari bankalar için sürekli denetim yapılandırma modeli
The implementation of continuous auditing in internal auditing and the continuous auditing infrastructure model for commercial banks in Turkey
TANSEL ÇETİNOĞLU
- Üniversite kütüphanelerinde sürekli iyileştirme felsefesinin uygulanması; Sakarya Üniversitesi Kütüphanesi örneği
The implementation of philosophy continuous improvement at university libraries: The example of Sakarya University Library
ŞENAY KESİM
Yüksek Lisans
Türkçe
2011
Bilgi ve Belge YönetimiMarmara ÜniversitesiBilgi ve Belge Yönetimi Ana Bilim Dalı
DOÇ. DR. BERAT BİR BAYRAKTAR