Experience replay strategies for improving performance of deep off-policy actor-critic reinforcement learning algorithms
Derin politika dışı aktör-kritik pekiştirmeli öğrenme algoritmalarının performansını artırmak için deneyim tekrarı stratejileri
- Tez No: 955161
- Danışmanlar: PROF. DR. SÜLEYMAN SERDAR KOZAT
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Sürekli kontrol altında derin deterministik politika gradyan algoritmalarında, kritik öğrenimini hızlandırmak amacıyla kullanılan deneyim tekrar stratejilerinin, aktör tarafında dengesizliğe yol açtığını gözlemliyoruz. Öncelikli Deneyim Tekrarı gibi geleneksel yöntemler, hem aktör hem de kritik ağlarını güncellemek için aynı geçiş verilerini kullanır. Ancak bu ortak veri yaklaşımı, yüksek zamansal fark hatasına sahip geçişlerin, kritiğin değer fonksiyonunu öğrenmesi için faydalı olsa da, aktör açısından politikadan sapmış eylemleri temsil edebileceğini ve bu durumun yanıltıcı gradyanlar ile politikanın bozulmasına neden olabileceğini göz ardı etmektedir. Bu sorunu çözmek için Ayrıştırılmış Öncelikli Deneyim Tekrarı adını verdiğimiz yeni bir metot öneriyoruz. Bu yöntem, aktör ve kritik için geçiş örneklemeyi açıkça birbirinden ayırarak, her birinin farklı öğrenme hedeflerine hizmet etmektedir. Kritik tarafında, geleneksel önceliklendirme şemasını kullanarak, yüksek zamansal fark hatasına sahip geçişleri seçer ve değer fonksiyonunun verimli bir şekilde öğrenilmesini destekler. Aktör için ise, Ayrıştırılmış Öncelikli Deneyim Tekrarı yeni bir örnekleme stratejisi getirir. Bu strateji, bellekteki eylemler ile mevcut politikanın önerdiği eylemler arasındaki Kullback–Leibler uzaklığını minimize ederek, daha çok politika içi geçişleri seçer. Ayrıştırılmış Öncelikli Deneyim Tekrarı'nı, güncel en iyi yöntemlerden biri olan Twin Delayed Deep Deterministic Policy Gradient algoritması ile entegre ediyor ve OpenAI Gym ile MuJoCo'nun altı standart sürekli kontrol problemlerinde değerlendiriyoruz. Sonuçlar, Ayrıştırılmış Öncelikli Deneyim Tekrarı'nın öğrenmeyi sürekli olarak hızlandırdığını ve hem klasik hem de öncelikli deneyim tekrar yöntemlerine kıyasla daha yüksek performansa ulaştığını göstermektedir. Daha da önemlisi, Ayrıştırılmış Öncelikli Deneyim Tekrarı, Öncelikli Deneyim Tekrarı'nın başarısız olduğu görevlerde dahi öğrenme stabilitesini koruyarak güçlü politikalarla sonuçlanmaktadır. Yaptığımız ayrıntılı analizler, bu dayanıklılığın ana sebebinin örnekleme ayrıştırması olduğunu doğrulamakta ve Ayrıştırılmış Öncelikli Deneyim Tekrarı'nın sağladığı faydaların, hesaplama açısından ucuz bir optimizasyon ile elde edilebildiğini ortaya koymaktadır. Bu da Ayrıştırılmış Öncelikli Deneyim Tekrarı'nı politika dışı öğrenmeyi geliştirmek için pratik ve etkili bir çözüm haline getirmektedir.
Özet (Çeviri)
We investigate an important conflict in deep deterministic policy gradient algorithms where experience replay strategies designed to accelerate critic learning can destabilize the actor. Conventional methods, including Prioritized Experience Replay, sample a single batch of transitions to update both networks. This shared data approach ignores the fact that transitions with high temporal difference error, while beneficial for the critic's value function estimation, may correspond to off-policy actions that can introduce misleading gradients and degrade the actor's policy. To resolve this, we introduce Decoupled Prioritized Experience Replay, a novel framework that explicitly separates the transition sampling for the actor and critic to serve their distinct learning objectives. For the critic, it employs a conventional prioritization scheme, sampling transitions with high temporal difference error to promote efficient learning of the value function. For the actor, however, Decoupled Prioritized Experience Replay introduces a new sampling strategy. It selects batches that are more on-policy by minimizing the Kullback–Leibler divergence between the actions stored in the buffer and those proposed by the current policy. We integrate Decoupled Prioritized Experience Replay with the state-of-the-art Twin Delayed Deep Deterministic policy gradient algorithm and conduct an evaluation on six standard continuous control benchmarks from OpenAI Gym and MuJoCo. The results show that Decoupled Prioritized Experience Replay consistently accelerates learning and achieves superior final performance compared to both vanilla and prioritized replay. More critically, Decoupled Prioritized Experience Replay maintains learning stability and converges to strong policies in tasks where standard prioritized replay failed to learn. Further ablation studies indicate that the decoupling mechanism is an important factor in this robustness and that the benefits of Decoupled Prioritized Experience Replay are achievable with a computationally inexpensive search, making it a practically effective solution for improving off-policy learning.
Benzer Tezler
- Novel sampling strategies for experience replay mechanisms in off-policy deep reinforcement learning algorithms
Derin deterministik politika gradyani algoritmaları için yeni tecrübe tekrarı stratejileri
FURKAN BURAK MUTLU
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik Mühendisliğiİhsan Doğramacı Bilkent ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. SÜLEYMAN SERDAR KOZAT
PROF. DR. SİNAN GEZİCİ
DOÇ. DR. RAMAZAN GÖKBERK CİNBİŞ
- Karşılaştırma
Bencmarking
BURÇAK ERENMEMİŞOĞLU
Yüksek Lisans
Türkçe
1997
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiMühendislik Yönetimi Ana Bilim Dalı
PROF. DR. MURAT DİNÇMEN
- Mekânsal bilgi ediniminde oyun-mekân: sanal gerçeklik mecrasinda arkeolojik miras alani örneklemi
Game-space in spatial knowledge acquisition: A virtual reality approach to an archaeological heritage site sample
SEVDE GÜNER
Doktora
Türkçe
2025
Mimarlıkİstanbul Teknik ÜniversitesiBilişim Ana Bilim Dalı
PROF. DR. LEMAN FİGEN GÜL
- Uluslararası fon piyasaları ve döviz kredileri mekanizması (analitik bir yaklaşım)
A Short history of the foreign exchange markets
ADNAN YİĞİT
Yüksek Lisans
Türkçe
1994
BankacılıkMarmara ÜniversitesiUluslararası Bankacılık ve Finans Ana Bilim Dalı
PROF. DR. İLHAN ULUDAĞ