Safe DRL for resource allocation with PAoI violation guarantees
Bilginin tepe yaşı (PAoI) ihlali garantili kaynak tahsisi için güvenli derin pekiştirmeli öğrenme (safe DRL)
- Tez No: 974516
- Danışmanlar: PROF. DR. SİNEM ÇÖLERİ
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Mühendislik Bilimleri Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Kablosuz Ağ Tabanlı Kontrol Sistemlerinde (WNCS), kontrol ve iletişim sistemleri arasındaki güçlü karşılıklı bağımlılık, bu iki yapının eşzamanlı olarak tasarlanmasını zorunlu kılmaktadır. Bu tez, literatürde ilk kez, performansı optimize ederken sistem kısıtlamalarını sağlamayı garantileyen ultra güvenilir WNCS'ler için yeni bir optimizasyon teorisi tabanlı güvenli Derin Pekiştirmeli Öğrenme (DRL) metodu sunmaktadır. Önerilen algoritma, sonlu blok uzunluğu (FBL) rejiminde, Bilginin Tepe Yaşı (PAoI) ihlal olasılığı, iletim gücü (transmit power) ve planlanabilirlik (schedulability) dahil olmak üzere temel kısıtlamalar altında güç tüketimini en aza indirir. PAoI ihlal olasılığı, bir çoklu sensör ağında, stokastik maksimum izin verilen aktarım aralığı (MATI) ve maksimum izin verilen paket gecikmesi (MAD) kısıtlamalarının birleştirilmesiyle benzersiz bir şekilde türetilir. Önerilen metot iki aşamadan oluşur: optimizasyon teorisi ve güvenli DRL. İlk aşama, değişkenler arasında matematiksel ilişkiler kurmak, sorunu basitleştirmek ve ayrıştırmak için optimallik koşulları (optimality conditions) türetilir. İkinci aşama, bir öğretmen-öğrenci çerçevesinin (teacher-student framework) DRL etmenini (öğrenci) yönlendirdiği güvenli bir DRL modeli kullanır. Kontrol mekanizması (öğretmen), seçilen eylemin sistem kısıtlamalarına uyumunu değerlendirir ve gerektiğinde sistem gereksinimlerini sağlayan en yakın eylemi önerir. Kapsamlı simülasyonlar, önerilen metodun kural tabanlı ve diğer optimizasyon teorisi tabanlı DRL kıyaslama ölçütlerinden daha iyi performans gösterdiğini, daha hızlı yakınsama, daha yüksek ödüller ve daha büyük istikrar elde ettiğini göstermektedir.
Özet (Çeviri)
In Wireless Networked Control Systems (WNCSs), control and communication systems must be co-designed due to their strong interdependence. This thesis presents a novel optimization theory-based safe deep reinforcement learning (DRL) framework for ultra-reliable WNCSs, ensuring constraint satisfaction while optimizing performance, for the first time in the literature. The approach minimizes power consumption under key constraints, including Peak Age of Information (PAoI) violation probability, transmit power, and schedulability in the finite blocklength (FBL) regime. PAoI violation probability is uniquely derived by combining stochastic maximum allowable transfer interval (MATI) and maximum allowable packet delay (MAD) constraints in a multi-sensor network. The framework consists of two stages: optimization theory and safe DRL. The first stage derives optimality conditions to establish mathematical relationships among variables, simplifying and decomposing the problem. The second stage employs a safe DRL model where a teacher-student framework guides the DRL agent (student). The control mechanism (teacher) evaluates compliance with system constraints and suggests the nearest feasible action when needed. Extensive simulations show that the proposed framework outperforms rule-based and other optimization theory based DRL benchmarks, achieving faster convergence, higher rewards, and greater stability.
Benzer Tezler
- Türk sigorta sektörünün piyasa yapısı ve analizi
Market structure and anaysis of Turkish insurance sector
LÜTFİ AYKAÇ
- Balancing mixed adversarial perturbations: Towards robust reinforcement learning
Karma çekişmeli bozulmaları dengeleme: Gürbüz pekiştirmeli öğrenmeye doğru
MUSTAFA ERDEM
Doktora
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. NAZIM KEMAL ÜRE
- High-speed trajectory replanning and trajectory tracking for collision avoidance
Çarpışma önlemek için yüksek hızlı rota planlama ve rota takibi
MEHMET HASANZADE
Doktora
İngilizce
2021
Uçak Mühendisliğiİstanbul Teknik ÜniversitesiUçak ve Uzay Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ EMRE KOYUNCU
- Kentsel ani sel felaketlerine karşı mücadelede yapay zeka tabanlı bir karar destek sistemi
An artificial intelligence-based decision support system for urban flash flood disaster response
İREM KARAKAYA
Doktora
Türkçe
2024
Endüstri ve Endüstri MühendisliğiYıldız Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
PROF. DR. ALEV TAŞKIN
- Otonom dronlar için bir akıllı navigasyon ve engellerden kaçınma sistemi
An intelligent navigation and obstacles avoidance system for autonomous drones
MUZZAMIL ALI HASSAN MAHMOUD
Yüksek Lisans
Türkçe
2025
Elektrik ve Elektronik MühendisliğiBursa Uludağ ÜniversitesiDevreler ve Sistemler Ana Bilim Dalı
PROF. DR. ERSEN YILMAZ