Pekiştirmeli öğrenme ile insansız hava aracı rotalaması
Unmanned aerial vehicle routing with reinforcement learning
- Tez No: 1017145
- Danışmanlar: PROF. DR. AHMET BARAN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Erzincan Binali Yıldırım Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Yapay Zeka ve Robotik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışma, otonom insansız hava aracı (İHA) rotalaması problemini pekiştirmeli öğrenme bağlamında ele almakta ve Deep-Q-Network (DQN) ile Soft Actor-Critic (SAC) algoritmalarının karşılaştırmalı değerlendirilmesine odaklanmaktadır. Çalışmada insansız hava aracı rotalaması; başlangıç noktasından hedefe güvenli, kısa ve enerji açısından verimli biçimde ulaşmayı amaçlayan bir karar verme problemi olarak tanımlanmıştır. Kuramsal çerçeve Markov karar süreci, değer tabanlı öğrenme, aktör-eleştirmen yöntemleri ve maksimum entropi pekiştirmeli öğrenme yaklaşımı üzerine kurulmuştur. DQN, ayrık eylem uzaylarında Q değerlerini öğrenen değer tabanlı bir yöntem olarak; SAC ise stokastik politika ve entropi düzenlemesiyle sürekli kontrol problemlerine uygun bir aktör-eleştirmen yaklaşımı olarak incelenmiştir. Yöntem bölümünde grid tabanlı simülasyon ortamı, durum ve eylem uzayı, ödül fonksiyonu, eğitim süreci ve değerlendirme metrikleri açıklanmıştır. Başarı oranı, ortalama adım sayısı, toplam ödül, enerji tüketimi, dönüş sayısı ve çarpışma oranı temel performans ölçütleri olarak önerilmiştir. Literatür taraması, klasik yol planlama yöntemlerinden derin pekiştirmeli öğrenme tabanlı İHA navigasyon çalışmalarına kadar genişletilmiştir.
Özet (Çeviri)
This study addresses the problem of autonomous Unmanned Aerial Vehicle (UAV) path planning within the context of reinforcement learning and focuses on a comparative evaluation of Deep Q-Network (DQN) and Soft Actor-Critic (SAC) algorithms. UAV path planning is defined as a decision-making problem that aims to guide an unmanned aerial vehicle from a starting point to a target location in a safe, efficient, and energy-conscious manner. The theoretical framework is based on the Markov Decision Process (MDP), value-based learning, actor-critic methods, and the maximum-entropy reinforcement learning paradigm. DQN is examined as a value-based method that learns Q-values in discrete action spaces, whereas SAC is analyzed as an actor-critic algorithm designed for continuous control tasks by employing stochastic policies and entropy regularization. The methodology section describes the grid based simulation environment, state and action spaces, reward function, training procedure, and evaluation metrics. Success rate, average number of steps, cumulative reward, energy consumption, number of turns, and collision rate are proposed as the primary performance indicators. The literature review covers a broad range of studies, extending from classical path planning techniques to recent UAV navigation approaches based on deep reinforcement learning.
Benzer Tezler
- Quadcopter trajectory tracking control using reinforcement learning
Pekiştirmeli öğrenme ile quadcopter yörünge takibi kontrolü
MUSTAFA ERDEM
Yüksek Lisans
İngilizce
2019
Mekatronik Mühendisliğiİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. ERDİNÇ ALTUĞ
- Scalable planning and learning framework development for swarm-to-swarm engagement problems with reinforcement learning
Pekiştirmeli öğrenme ile sürüden sürüye angajman problemleri için ölçeklenebilir planlama ve öğrenme sistemi geliştirilmesi
UMUT DEMİR
Yüksek Lisans
İngilizce
2022
Savunma ve Savunma Teknolojileriİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DOÇ. DR. NAZIM KEMAL ÜRE
- Bir insansız hava aracının modellenmesi ve derin pekiştirmeli öğrenme tabanlı otonom kontrolü
Modeling of an unmanned aerial vehicle and autonomous control based on deep reinforcement learning
BURAK TAŞ
Yüksek Lisans
Türkçe
2023
Savunma ve Savunma TeknolojileriFırat ÜniversitesiSavunma Teknolojileri Ana Bilim Dalı
PROF. DR. AYŞEGÜL UÇAR
- Deep reinforcement learning for autonomous quadcopter guidance
Otonom dört rotorlu insansız hava aracı güdümü için derin pekiştirmeli öğrenme
ŞEVKET UTKU AYDINLI
Yüksek Lisans
İngilizce
2023
Havacılık ve Uzay MühendisliğiOrta Doğu Teknik ÜniversitesiHavacılık ve Uzay Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ALİ TÜRKER KUTAY
- Evolutionary reinforcement learning based autonomous maneuver decision in one-to-one short-range air combat
Bire bir kısa menzilli hava muharebesinde evrimsel pekiştirmeli öğrenme tabanlı otonom manevra karar sistemi
YASİN BAYKAL
Yüksek Lisans
İngilizce
2023
Savunma ve Savunma Teknolojileriİstanbul Teknik ÜniversitesiSavunma Teknolojileri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BARIŞ BAŞPINAR