Balancing mixed adversarial perturbations: Towards robust reinforcement learning
Karma çekişmeli bozulmaları dengeleme: Gürbüz pekiştirmeli öğrenmeye doğru
- Tez No: 987331
- Danışmanlar: DOÇ. DR. NAZIM KEMAL ÜRE
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Mekatronik Mühendisliği, Computer Engineering and Computer Science and Control, Mechatronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Mekatronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Mekatronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Derin pekiştirmeli öğrenme (DRL), karmaşık ortamlarla etkileşim yoluyla ardışık kararlar alabilen otonom ajanların eğitilmesi için güçlü bir yaklaşım olarak öne çıkmıştır. DRL derin sinir ağlarının temsil gücünü, pekiştirmeli öğrenmenin karar verme çerçevesiyle birleştirerek oyun oynama, robotik ve otonom sistemler gibi alanlarda ciddi başarılar elde etmiştir. Bu ajanlar, kümülatif ödülleri maksimize eden en uygun kararları öğrenir; böylece daha önce hesaplanması güç veya işlemsel olarak uğraştırıcı olan yüksek boyutlu durum ve eylem uzaylarıyla başa çıkabilirler. DRL sistemlerinin gerçek dünyada ve güvenliğin kritik olduğu uygulamalarda artan biçimde kullanılmaya başlamasıyla birlikte, bu sistemlerin düşmanca bozulmalara ve çevresel belirsizliklere karşı sağlamlığını sağlamak, araştırma önceliklerinden biri haline gelmiştir. Bununla birlikte, DRL ajanları küçük ve çoğunlukla algılanması zor giriş değişikliklerine—yani düşmanca bozulmalara—karşı son derece savunmasızdır; bu tür değişiklikler karar verme süreçlerinde yıkıcı hatalara yol açabilir. Bu kırılganlıklar denetimli öğrenmede geniş biçimde incelenmiş ve son zamanlarda pekiştirmeli öğrenmeye de taşınmıştır. Çekişmeli eğitim, alan rastgeleleştirme, bağlamsal pekiştirmeli öğrenme ve gürbüz pekiştirmeli öğrenme yaklaşımları, DRL'deki bu zayıflıkları gidermeye yönelik başlıca yöntemler arasındadır. Çekişmeli eğitime kıyasla, diğer yöntemlerin sağlam ve genellenebilir politikalar elde etmede kendine özgü sınırlamaları vardır. Alan rastgeleleştirme, çevresel parametreler için varyasyon aralıklarının elle tanımlanmasını gerektirir; bu yaklaşım kritik uç durumları kaçırabilir, karmaşık yüksek boyutlu ortamlara ölçeklendirmede zorlanabilir ve çekişmeli eğitimin dinamik olarak hedeflenmiş zorluklar üretmesinin aksine yüksek hesaplama maliyetlerine yol açabilir. Bağlamsal pekiştirmeli öğrenme, iyi tanımlanmış ve gözlemlenebilir bağlam değişkenlerine dayanır; bu durum, görünmeyen veya belirsiz bağlamlara genelleme yeteneğini sınırlar. Oysa çekişmeli eğitim, önceden tanımlanmış bağlamlara ihtiyaç duymadan politikanın zayıf yönlerini aktif olarak sınar. Gürbüz pekiştirmeli öğrenme ise en kötü durum senaryoları için tasarlanmış olmakla birlikte, genellikle tipik koşullarda aşırı temkinli politikalar üretir ve gerçek dünya değişkenliğini yakalayamayan ön tanımlı belirsizlik kümelerine dayanır; buna karşın çekişmeli eğitim uyarlanır bozulmalar üretir. Buna rağmen çekişmeli eğitim, dikkatli dengelenmezse belirli saldırı türlerine aşırı uyum riski taşır. Mevcut çekişmeli eğitim yaklaşımları, ajanları eğitim sırasında düşmanca örneklere maruz bırakarak sağlamlığı artırmayı amaçlar. Bu yöntemler genellikle tek bir alandaki bozulmalara odaklanır—örneğin yalnızca durum gözlemleri, yalnızca eylemler, yalnızca ödüller veya yalnızca çevre dinamikleri üzerinde. Kapsamları içinde etkili olsalar da, bu tek-tip savunmalar çoklu bozulma kaynaklarının aynı anda ortaya çıktığı gerçek dünya koşullarının karmaşıklığını yakalayamaz. Güncel çekişmeli eğitim yöntemlerinin birincil sınırlaması, tek-modlu bozulmalara dar bir odaklanma göstermeleridir. Otonom dronlar veya endüstriyel robotlar gibi gerçek dünya sistemleri genellikle algıda (ör. gürültülü sensör verisi) ve kontrolde (ör. kusurlu tahrik) eşzamanlı bozulmalara maruz kalır. Gözleme dayalı saldırılara dirençli hale getirilmiş ajanlar, eylem alanı bozulmalarına karşı hâlâ zayıf olabilir; tersi de geçerlidir. Ayrıca, bozulma türleri arasında genellemenin olmaması yanlış bir güven hissi yaratır. Bu sınırlamalar, bir tür bozulmaya karşı elde edilen sağlamlığın diğer türlere nasıl aktarıldığı—veya aktarılamadığı—konusunda özellikle karışık/hibrit düşmanca koşullar altında önemli bir bilgi boşluğu olduğunu göstermektedir. Bu tez, yukarıda bahsedilen sınırlamaları ele alarak durum ve eylem uzaylarında eşzamanlı bozulmaları içeren karma/hibrit düşmanca saldırılara karşı sağlam pekiştirmeli öğrenme ajanları eğitmek üzere kapsamlı bir çerçeve önermektedir. Temel teorik katkı, mevcut sağlam Markov karar süreçleri formülasyonlarını genelleştiren ve oyun teorisinden esinlenen bir bakış açısı getirerek Eylem-ve-Durum-Düşmanca Markov Karar Süreci (Action and State-Adversarial Markov Decision Process, ASA-MDP) kavramının tanıtılmasıdır. Uygulama tarafında ise tez, dengeli ve uyarlanabilir saldırı stratejilerini mümkün kılmak için çok başlı bir düşmanca politika yapay sinir ağı mimarisini içeren ASA-PPO algoritmasını sunar. Bu yenilikler, ajanları daha gerçekçi ve titiz bir çekişmeli eğitime tabi tutarak çok-modlu tehditlere karşı daha iyi hazırlanmalarını sağlar. Önerilen ASA-PPO yöntemi, MuJoCo fizik motorunda PendulumSwingup, FingerSpin ve CheetahRun gibi bir dizi sürekli kontrol görevinde değerlendirilmiştir. Saldırgan ve kahraman ajanlar, Proximal Policy Optimization (PPO) algoritması tabanlı dönüşümlü bir optimizasyon şeması ile eğitilmiştir. Saldırgan; hem durum hem de eylem bozulmalarını üretmek üzere paylaşılan temsilleri olan çok başlı bir sinir ağı kullanır; böylece bu iki bozulma kaynağının karşılıklı bağımlılıkları modellenir. Sistemde ortaya çıkabilecek bozulmalar, büyüklük olarak önceden tanımlanmış ve gerçekçiliği sağlamak için sınırlandırılmıştır. Eğitim süreci hesaplama açısından yoğundur, ancak çeşitli çekişmeli senaryolarda güçlü dayanıklılık gösteren ajanlar elde edilmiştir. ASA-PPO, mevcut yöntemlere göre birkaç önemli avantaja sahiptir. Birincisi, açıkça karma/hibrit düşmanca saldırıları modelleyen ve onlara karşı eğitim yapan ilk yaklaşımlardan biri olması nedeniyle daha kapsamlı bir sağlamlık profili sunar. İkincisi, çok başlı sinir ağı mimarisi, durum ve eylem uzayları arasında bozulma bütçesinin dengeli dağılımını sağlayarak saldırganın tek bir saldırı türüne aşırı uyum sağlamasını engeller. Üçüncüsü, ASA-PPO ile eğitilmiş ajanlar, görülmemiş bozulma türleri ve şiddetlerine karşı daha iyi genelleme gösterir. Son olarak, yöntem, bozulma olmayan ortamlarda da rekabetçi performans koruyarak sağlamlığın olağan görev performansından ödün vermesi gerekmediğini göstermektedir. Geleneksel çekişmeli eğitim yöntemleri, tek-tip bozulma odakları nedeniyle gerçek dünya dağıtım koşullarının karmaşıklığını yansıtmakta yetersiz kalır. Bu yöntemler sıklıkla belirli saldırı desenlerine aşırı uyum göstererek ajanları yeni veya hibrit tehditlere karşı savunmasız bırakır. Ayrıca, farklı saldırı türlerinin naif biçimde birleştirilmesi (ör. sadece durum ve eylem bozulmalarının birleştirilmesi) dengesiz eğitim rejimlerine yol açar; bu durumda bir bozulma türü baskın hale gelir ve ajan diğerine karşı zayıf kalır. Bu eksiklikler, ASA-PPO gibi daha sofistike ve uyarlanabilir çekişmeli eğitim çerçevelerine duyulan ihtiyacı vurgulamaktadır. Ampirik sonuçlar, ASA-PPO ile eğitilmiş ajanların karma/hibrit düşmanca koşullar altında varolan yöntemlere kıyasla belirgin şekilde daha iyi performans gösterdiğini ortaya koymaktadır. Önemli bir bulgu, bir bozulma türüne (ör. eylem alanı) karşı elde edilen sağlamlığın diğer türe (ör. gözlem/durum alanı) geçişken olmaması; bu durum hibrit eğitim gerekliliğini pekiştirir. ASA-PPO ajanları hem tek-tip hem de hibrit saldırılar altında daha yüksek toplam ödül elde etmekte ve görülmemiş bozulma şiddetlerine daha iyi genelleme göstermektedir. Ancak çalışma ayrıca, düşmanca dayanıklılığın parametre kaynaklı çevresel değişikliklere (ör. kütle veya sönüm katsayılarındaki değişimler) karşı dayanıklılık anlamına gelmediğini ortaya koymuştur. Bu, düşmanca sağlamlık ile parametrik sağlamlığın birbirinden ayrı zorluklar olduğunu ve tamamlayıcı teknikler gerektirebileceğini göstermektedir. Bu tez, gerçekçi, çok-modlu düşmanca tehditlere dayanabilecek yeni nesil sağlam pekiştirmeli öğrenme sistemleri için bir temel atmaktadır. Gelecekteki çalışmalar, önerilen yöntemi adaptif bozulma dengeleme teknikleri, kısmi gözlemlenebilir Markov karar süreçler (POMDP) ve parametrik belirsizlik modelleriyle entegre ederek, bu bileşenlerin birbirleriyle etkileşimini ve genel sistem performansındaki iyileştirmeleri inceleyebilirler. ASA-MDP çerçevesi ayrıca karma çekişmeli ortamlarda denge özelliklerinin teorik analizlerine kapı aralamaktadır. Nihayetinde bu çalışma, karmaşık ve öngörülemez ortamlarda güvenli, dayanıklı ve sağlam yüksek otonom sistemlerin konuşlandırılmasına katkıda bulunmayı amaçlamaktadır.
Özet (Çeviri)
Deep Reinforcement Learning (DRL) has proven itself as an effective method to train autonomous agents which learn sequential decision-making through complex environment interactions. The combination of deep neural networks with reinforcement learning decision-making framework in DRL has led to outstanding achievements in game playing, robotics and autonomous systems. The agents discover their best policies through reward maximization which allows them to operate in complex state and action spaces that were previously impossible to handle. The deployment of DRL systems in safety-critical real-world applications requires researchers to focus on developing methods which protect these systems from adversarial attacks and unpredictable environmental changes. The impressive capabilities of DRL agents do not protect them from adversarial perturbations which are small input modifications that result in complete breakdowns of decision-making systems. The research community has thoroughly investigated these system weaknesses in supervised learning before expanding their analysis to reinforcement learning. The methods of adversarial training, domain randomization, contextual RL and robust MDPs serve as solutions to protect DRL systems from vulnerabilities. Conversely, other methods that strive to achieve strong and generalizable policies have certain limitations compared to adversarial training. Domain randomization needs human intervention to determine environmental parameter ranges which might fail to detect essential boundary situations and faces challenges when handling complex high-dimensional spaces while requiring expensive computational resources. On the other hand, agents trained with adversarial training detect policy weaknesses through automatic challenge generation without needing pre-defined context information. Contextual RL depends on well-defined, observable context variables, limiting its ability to generalize to unseen or ambiguous contexts, whereas adversarial training actively probes policy weaknesses without needing predefined contexts. Robust RL, while designed for worst-case scenarios, often produces overly conservative policies that underperform in typical conditions and relies on predefined uncertainty sets that may not capture real-world variability. Adversarial training, by contrast, dynamically exposes vulnerabilities through optimized adversarial examples, though it risks overfitting to specific attacks if not carefully balanced. Modern adversarial training methods used to improve adversarial robustness include feeding adversarial inputs to agents in the training process. These approaches focus on changes in one area-whether in state observations, actions, rewards, or environmental processes. The single-type defense approaches prove successful for their designated domains yet they do not handle the multiple perturbation sources which appear in actual environments. The primary limitation of current adversarial training methods is their narrow focus on single-modal perturbations. Real-world systems, such as autonomous drones or industrial robots face multiple disturbances that affect their perception systems through sensor noise and their control systems through actuation errors. Agents who learn to defend against observation attacks become exposed to action-space disruptions and agents who defend against action-space attacks become exposed to observation attacks. The inability of models to generalize between different types of perturbations creates an illusion of security. The existing restrictions in robustness transfer between different types of attacks under mixed adversarial conditions remain unexplained. This thesis addresses the aforementioned limitations by developing a complete system to train RL agents which protects them against state and action space mixed adversarial attacks. The main theoretical advancement brings forth the Action and State-Adversarial Markov Decision Process (ASA-MDP) which serves as a generalized game-theoretic framework for robust MDP models. On the implementation side, the proposed ASA-PPO algorithm serves as the implementation solution which uses a multi-head adversarial policy structure to achieve balanced and adaptive attack methods. The developed methods create an enhanced adversarial training system which trains agents to handle sophisticated threats that appear through multiple domains. The proposed ASA-PPO method undergoes evaluation through multiple continuous control tasks which run in the MuJoCo physics engine, including PendulumSwingup, FingerSpin, and CheetahRun. The optimization process for training the adversary and protagonist agents uses an alternating scheme based on Proximal Policy Optimization (PPO) algorithm. The adversary uses a multi-head neural network structure to produce state and action disturbances which share common features to represent their relationship patterns. The system uses fixed perturbation limits which stay within realistic boundaries. The training process is computationally intensive but yields agents that demonstrate strong robustness across a variety of adversarial scenarios. The ASA-PPO provides multiple essential benefits which surpass current methods. The framework provides complete protection against mixed adversarial attacks through its training process which generates a detailed robustness assessment. The multi-head adversarial architecture distributes perturbation budgets evenly between state and action spaces to stop the adversary from specializing in one particular attack type. The agents trained through ASA-PPO show better performance when they encounter new perturbation patterns and intensity levels. The method achieves high performance in normal operating conditions which proves that robustness systems do not compromise standard task execution. Traditional adversarial training methods are limited by their single-type perturbation focus, which fails to reflect the complexity of real-world deployment conditions. These methods often result in overfitting to specific attack patterns, leaving agents vulnerable to novel or hybrid threats. Additionally, naive combinations of different attack types (e.g., simply adding state and action perturbations) lead to imbalanced training regimes, where one perturbation type dominates and the agent remains weak against the other. These shortcomings underscore the need for more sophisticated, adaptive adversarial training frameworks like ASA-PPO. The experimental findings show that agents trained through ASA-PPO achieve better performance than baseline methods when facing different types of adversarial attacks. The results show that training agents against one type of perturbation (action-space) does not provide protection against the other type (observation-space) which demonstrates the need for hybrid training approaches. The ASA-PPO agents produce superior returns during both single-type and hybrid attacks and they perform better when encountering new perturbation levels. The research shows that adversarial resistance does not guarantee resistance against changes made to environmental parameters through mass or damping coefficient modifications. The results indicate that adversarial robustness and parametric robustness present separate challenges which need distinct solution approaches. This thesis establishes the groundwork for a new generation of robust RL systems capable of withstanding realistic, multi-modal adversarial threats. Future research could investigate adaptive perturbation balancing, extensions to partially observable environments (POMDPs) and integration with domain randomization to handle both adversarial and parametric uncertainties. The ASA-MDP framework also opens the door to theoretical analyses of equilibrium properties in mixed-adversarial settings. Ultimately, this work contributes to the broader goal of deploying safe, reliable, and trustworthy autonomous systems in complex, unpredictable environments.
Benzer Tezler
- Havuçların haşlanmasında difüzyonun modellenmesi
Başlık çevirisi yok
FİGEN KAYMAK
Yüksek Lisans
Türkçe
1986
Gıda MühendisliğiEge ÜniversitesiGıda Mühendisliği Ana Bilim Dalı
DOÇ. DR. SUZAN KINCAL
- Patates çeşitlerinin dondurulmasında ön işleme teknikleri ve kaliteye etkileri
Başlık çevirisi yok
Y.BİROL SAYGI
Yüksek Lisans
Türkçe
1984
Gıda MühendisliğiEge ÜniversitesiGıda Teknolojisi Ana Bilim Dalı
YRD. DOÇ. DR. SUZAN KINCAL
- Hat dengeleme modelleri
Başlık çevirisi yok
MEHMET M. ERGÜN
Yüksek Lisans
Türkçe
1987
Endüstri ve Endüstri MühendisliğiGazi ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. FEVZİ KUTAY
- Bamyanın dondurularak muhafazasındaki çeşitli ön işlemlerin ürün kalitesine etkisi
Influence of some pretreatments on the quality of frozen okra
ALİ EKİNCİ
Yüksek Lisans
Türkçe
1987
Gıda MühendisliğiUludağ ÜniversitesiTarım Ürünleri Teknolojisi Ana Bilim Dalı
DOÇ. DR. OĞUZ KILIÇ