Derin pekiştirmeli öğrenme yöntemleri ile PI ve PID kontrolcü performansının iyileştirilmesi
Improving PI and PID controller performance with deep reinforcement learni̇ng methods
- Tez No: 869376
- Danışmanlar: PROF. DR. CELALEDDİN YEROĞLU, DOÇ. DR. GÜRKAN KAVURAN
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: İnönü Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Son dönemlerde yapay zeka yöntemleri içerisinde yer alan ve makine öğrenmesinin bir kolu olarak karşımıza çıkan Pekiştirmeli Öğrenme yöntemleri, karmaşık kontrol problemlerinin çözümü üzerine yaygın olarak kullanılmaya başlanmıştır. Ajan ve çevre arasındaki etkileşime ve bu etkileşim sonucunda aldığı ödül ve cezaya bağlı öğrenme gerçekleştiren Pekiştirmeli Öğrenme, endüstriyel kontrol uygulamalarında çalışma durumlarının simülasyon senaryolarına dayalı olarak düzenlendiği ortamlarda denetleyici katsayılarının optimum ayarlanması için kullanılabilmektedir. Bu tez çalışması kapsamında, Pekiştirmeli Öğrenme yöntemleri içerisinde etkili aktör-eleştirmen yapısını kullanan İkiz Gecikmeli Derin Deterministik Politika Gradyan ve Derin Deterministik Politika Gradyan algoritmaları kullanılarak farklı kontrol problemleri için tasarlanan simülasyon ortamlarında optimal denetleyici katsayılarının öğrenilmesi ve sistem kontrol performansının geliştirilmesi üzerine çalışılmıştır. Bu amaç doğrultusunda simülasyon ortamındaki gözlemci durumlarından yararlanılarak aktör ağı oluşturulmaktadır. Aktör ağı sistemin optimal kontrol hedefini sağlayabilmek amacıyla çevre ile etkileşime girmekte ve eylem gerçekleştirmektedir. Aktöre rehberlik sağlayan ve performanslarını değerlendiren bir eleştirmen yapısı bulunmaktadır. Denetleyici katsayıları ayarlanırken sistemin arzu edilen çıkışa uygun cevap vermesini sağlayabilmek amacıyla ayar noktası filtresi kullanılmaktadır. Deneme-yanılma yoluyla öğrenme gerçekleştiren Pekiştirmeli Öğrenme yöntemleri için sistemin çalışması esnasında olabilecek bozucu etkilerine karşı dayanıklı performans sergileyebilmesi amacıyla eğitim sırasında kullanılan simülasyon ortamına bozucu sinyal eklenmiştir. Eğitim sonucunda elde edilen sonuçlar karşılaştırmalı olarak sunularak önerilen yöntemin avantajları vurgulanmaktadır.
Özet (Çeviri)
Recently, Reinforcement Learning methods, which are among the artificial intelligence methods and appear as a branch of machine learning, have begun to be widely used to solve complex control problems. Reinforcement Learning, which performs learning based on the reward and punishment received as a result of this interaction according to the interaction between the agent and the environment, can be used in industrial control applications. It can be used for optimal adjustment of controller coefficients in environments where operating situations are arranged based on simulation scenarios. Within the scope of this thesis study, Twin Delay Deep Deterministic Policy Gradient and Deep Deterministic Policy Gradient algorithms, which are among the Reinforcement Learning methods and use the effective actor-critic structure, were used. Using these algorithms, studies have been carried out to learn optimal controller coefficients and improve system control performance in simulation environments designed for different control problems. For this purpose, an actor network is created by using observer situations in the simulation environment. The actor network interacts with the environment and takes action in order to achieve the optimal control performance of the system. There is a critic structure that provides guidance to the actor and evaluates its performances. While adjusting the controller coefficients, a set point filter is used to ensure that the system responds appropriately to the desired output. For Reinforcement Learning methods that learn through trial and error, a disturbance signal was added to the simulation environment used during training in order to ensure that the system exhibits a robust performance against disturbances that may occur during operation. The outputs obtained as a result of the training are presented comparatively and the advantages of the proposed method are emphasized.
Benzer Tezler
- Delta paralel robotların yörünge takip kontrolü için pekiştirmeli öğrenme ile PID parametrelerinin optimizasyonu
Optimization of PID parameters for trajectory tracking control of delta parallel robots using reinforcement learning
OĞUZHAN KABAKULAK
Yüksek Lisans
Türkçe
2026
Mekatronik MühendisliğiErciyes ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SERTAÇ SAVAŞ
- Fuel cell air supply system control using deep q-network
Derin q-aği kullanilarak yakit hücresi hava besleme sistemi kontrolü
EMİR OĞUZ
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DOÇ. DR. AHMET ONAT
- Derin pekiştirmeli öğrenme yöntemi ile görüntü hash kodlarını oluşturma
Generating image hash codes with deep reinforcement learning method
ELİF AKKAYA
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik MühendisliğiSakarya ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BURHAN BARAKLI
- Teknik analiz ve derin pekiştirmeli öğrenme ile kriptopara alım-satımı
A cryptocurrency trading with deep reinforcement learning and technical analysis
MUHAMMED SAİD ÜNLÜ
Yüksek Lisans
Türkçe
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Okan ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. PINAR YILDIRIM
- Pekiştirmeli öğrenme ve derin öğrenme ile diyalog botlarının geliştirilmesi
Development of chatbots with reinforcement learning and deep learning
ÜSAME DURAK
Yüksek Lisans
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKto Karatay ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SEMİH YUMUŞAK