Adaptıve parameter optımızatıon for reınforcement learnıng-based spark job schedulıng
Pekiştirmeli öğrenme tabanlı spark iş zamanlaması için parametre uyarlama
- Tez No: 973167
- Danışmanlar: PROF. DR. MURAT MANGUOĞLU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Apache spark kümesi, Pekiştirmeli öğrenme, Çizelgeleme, Apache spark cluster, Reinforcement learning, Scheduling
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu çalışma, pekiştirmeli öğrenme tabanlı Apache Spark iş zamanlaması için uyarlanabilir parametre optimizasyon teknikleri üzerine bir araştırma sunmaktadır. Geleneksel pekiştirmeli öğrenme tabanlı zamanlama yaklaşımları, sabit hiper parametre konfigürasyonlarının sınırlılıklarından muzdarip olup, kapsamlı manuel ayarlama gerektirmekte ve çeşitli iş yükü özelliklerine optimal şekilde uyum sağlayamamaktadır. Araştırma, dinamik parametre ayarlaması yoluyla Proximal Policy Optimization (PPO) etkinliğini artıran uyarlanabilir mekanizmaları geliştirmekte ve değerlendirmektedir. Dört yenilikçi uyarlanabilir yaklaşım önerilmektedir: KL uzaklığı geri bildirimini temel alan dinamik politika güncelleme kısıtlarını ayarlayan uyarlanabilir kırpma, eğitim ilerlemesine göre optimizasyon adım boyutlarını modüle eden uyarlanabilir öğrenme oranı mekanizmaları, her iki tekniği eş zamanlı olarak kullanan birleşik yaklaşım, ve geliştirilmiş değer fonksiyonu yaklaşımı için Genelleştirilmiş Avantaj Tahmini. Deneysel değerlendirme, Apache Spark yürütme semantiğini doğru şekilde modelleyen kapsamlı bir olay-tabanlı simülatör içinde gerçekleştirilmektedir. Önerilen mekanizmalar, istatistiksel sağlamlık ve tekrarlanabilirlik sağlamak için çoklu rastgele tohum kullanılarak TPC-H iş yükleri ile test edilmektedir. Uyarlanabilir mekanizmalar, politika gradyan optimizasyon teorisi varsayımları altında formüle edilmekte ve geri bildirim tabanlı parametre ayarlama stratejilerini içermektedir. Örnek problemler ele alınmakta ve uyarlanabilir mekanizmalar için elde edilen çözümler temel uygulama ile karşılaştırılmaktadır. Sonuçlar, uygun uyarlanabilir parametre ayarlaması ile önerilen mekanizmaların yakınsama kararlılığı, keşif etkinliği ve optimizasyon kalitesi açısından geleneksel sabit parametre yaklaşımlarına göre avantajlı hale gelebileceğini ortaya koymaktadır.
Özet (Çeviri)
This study presents an investigation on adaptive parameter optimization techniques for Reinforcement Learning-based Apache Spark job scheduling. Traditional Reinforcement Learning-based scheduling approaches suffer from the limitations of fixed hyperparameter configurations, requiring extensive manual tuning and often failing to adapt optimally to diverse workload characteristics. The research develops and evaluates adaptive mechanisms that enhance Proximal Policy Optimization (PPO) effectiveness through dynamic parameter adjustment. Four adaptive approaches are proposed: adaptive clipping that dynamically adjusts policy update constraints based on Kullback-Leibler divergence feedback, adaptive learning rate mechanisms that modulate optimization step sizes according to training progress, a combined approach leveraging both techniques simultaneously, and enhanced Generalized Advantage Estimation for improved value function approximation. The experimental evaluation is conducted within a comprehensive discrete-event simulator that accurately models Apache Spark execution semantics. The proposed mechanisms are tested using Transaction Processing Performance Council - High Performance (TPC-H) workloads across multiple random seeds to ensure statistical rigor and reproducibility. The adaptive mechanisms are formulated under the assumptions of policy gradient optimization theory and incorporate feedback-based parameter adjustment strategies. Sample problems are considered, and the solutions obtained for adaptive mechanisms are compared with those achieved by baseline implementation. The results reveal that, with proper adaptive parameter adjustment, the proposed mechanisms may become advantageous over traditional fixed-parameter approaches in terms of convergence stability, exploration effectiveness, and optimization quality.
Benzer Tezler
- Makine öğrenmesi tabanlı iç ortam sıcaklık kontrolü için bir simülatör yazılımı tasarımı
Design of a simulator software for machine learning-based indoor temperature control
AYDIN BOSTANCI
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. DEVRİM AKGÜN
- Parameter optimization and maximum power point tracking control of photo-voltaic system based on the hybrid reinforcement learning whale optimization algorithm
Hibrit pekiştirmeli öğrenme balina optimizasyon algoritması tabanlı fotovoltaik sisteminin parametre optimizasyonu ve maksimum güç noktası izleme kontrolü
THAER MASHKOOR AL-JANABI
Yüksek Lisans
İngilizce
2023
Elektrik ve Elektronik MühendisliğiBahçeşehir ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ VAHID TAVAKOL AGHAEI
- Automated curriculum design for reinforcement learning with graph theory and evaluation heuristics
Çizge kuramı ve değerlendirme bazlı sezgisel yöntemler ile pekiştirmeli öğrenme için otomatik müfredat tasarımı
ANIL ÖZTÜRK
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. NAZIM KEMAL ÜRE
- Balancing mixed adversarial perturbations: Towards robust reinforcement learning
Karma çekişmeli bozulmaları dengeleme: Gürbüz pekiştirmeli öğrenmeye doğru
MUSTAFA ERDEM
Doktora
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. NAZIM KEMAL ÜRE
- Zaman alanı performans kriterlerine dayalı yapay zekâ destekli pıd denetleyici parametre ayarı
Ai-assisted pid controller parameter tuning based on time-domain performance criteria
MUHAMMET ENSAR AÇIKMEŞE
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
PROF. DR. İLHAN KOCAARSLAN