Kısmi diferansiyel denklemleri çözmek için kuantum makine öğrenmesi algoritmaları
Quantum machine learning algorithms for solving partial differential equations
- Tez No: 994662
- Danışmanlar: PROF. DR. MUSTAFA SERDAR CELEBİ
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilişim Ana Bilim Dalı
- Bilim Dalı: Hesaplamalı Bilim ve Mühendislik Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, kısmi diferansiyel denklemlerin (PDE'ler) çözümü için sinir ağı tabanlı yöntemlerdeki son gelişmeleri incelemektedir ve Fizik Bilgili Sinir Ağlarının (PINN'ler) yakınsama, kararlılık, doğruluk ve hesaplama verimliliğini artırmaya odaklanmıştır. PDE'ler, akışkanlar dinamiği, katı mekaniği, ısı transferi ve çeşitli diğer bilimsel ve mühendislik disiplinleri gibi alanlarda fiziksel sistemlerin matematiksel olarak modellenmesi için oldukça önemlidir. Klasik sayısal yöntemler birçok problem için etkili olsa da, büyük ölçekli, yüksek boyutlu, doğrusal olmayan veya çoklu fizik sistemleri için hesaplama maliyetleri aşırı derecede yüksek olmaktadır. PINN'ler, yönetici (bünye) denklemleri, sınır koşullarını ve başlangıç koşullarını doğrudan sinir ağlarının eğitim hedeflerine entegre ederek umut vadeden bir alternatif olarak ortaya çıkmıştır. Kavramsal basitliklerine ve esnekliklerine rağmen, PINN'ler optimizasyon dinamikleri, spektral sapma ve verimsiz parametre kullanımı ile ilgili sürekli zorluklarla karşı karşıyadır; bu da pratikte sağlamlıklarını ve ölçeklenebilirliklerini sınırlayabilmektedir. Bu tezin temel amacı, bu sınırlamaları sistematik olarak analiz etmek ve çok çeşitli zorlu kısmi diferansiyel denklem problemlerinde PINN'lerin performansını artıracak daha iyi stratejiler geliştirmektir. Son teorik ve ampirik bulgulara yönelik kapsamlı bir araştırma yürüterek basit PINN formülasyonlarının genellikle rekabet eden kayıp terimlerini dengelemekte zorlandığını, yüksek frekanslı çözüm bileşenlerini doğru bir şekilde yakalayamadığını ve tatmin edici bir doğruluk elde etmek için aşırı büyük ağlar gerektirdiği gösterilmiştir. Bu tez, uyarlanabilir optimizasyon stratejileri, mimari yenilikler ve hibrit klasik-kuantum modelleri aracılığıyla bu sorunları ele alarak, fizik bilgisine dayalı makine öğrenimi için verimli bir model geliştirmeyi amaçlamıştır. Bu tezin ilk ana teması, aktivasyon fonksiyonlarının PINN'lerin temsil kapasitesini ve eğitim davranışını nasıl etkilediğini incelemektedir. Standart sinir ağlarının bilinen bir sınırlaması, hedef fonksiyonun düşük frekanslı bileşenlerini yüksek frekanslı bileşenlerinden daha hızlı öğrenme eğilimini ifade eden spektral sapmadır. Keskin gradyanlara, sınır katmanlarına veya çok ölçekli yapılara sahip kısmi diferansiyel denklemler (PDE'ler) için bu spektral sapma, doğruluğu önemli ölçüde engelleyebilmektedir. Mevcut tez çalışması, sabit aktivasyon fonksiyonlarına sahip standart çok katmanlı algılayıcıları (MLP'ler), uyarlanabilir aktivasyonlar ve Kolmogorov-Arnold Ağları (KAN'lar) kullanan mimarilerle karşılaştırmaktadır. KAN'lar, fonksiyonel yaklaştırma teorisinden esinlenen öğrenilebilir temel fonksiyonlar kullanır. B-spline'lar, Chebyshev polinomları, Fourier tabanları, Jacobi polinomları ve Gauss Radyal Taban Fonksiyonları (GRBF'ler) dahil olmak üzere kapsamlı bir temel fonksiyon yelpazesi incelenmiştir. Davranışlarına dair teorik bilgiler edinmek için, deneysel Sinirsel Tanjant Çekirdekleri (NTK) ve Hessian özspektrumları kullanılarak spektral analizler yapılmıştır. Bu analizler, ifade gücü, optimizasyon kararlılığı ve genelleme arasında karmaşık ödünleşmeleri ortaya koymaktadır. Bazı aktivasyon fonksiyonları ve temel seçimleri, azaltılmış spektral sapma ve iyileştirilmiş temsil gücü sergilerken, aynı zamanda eğitimi yavaşlatabilecek veya istikrarsızlaştırabilecek kötü koşullu optimizasyon ortamlarına da yol açabilirmektedirler Bu tez çalışmasının önemli bir bulgusu, düşük spektral sapmanın PINN'lerin daha iyi performansını mutlaka garanti etmediğidir; bunun yerine, belirli bir aktivasyon fonksiyonunun etkinliği, ele alınan özel probleme oldukça bağlıdır. Bu, evrensel olarak optimal bir aktivasyon fonksiyonu bulma fikrine meydan okur ve ağ tasarımını PDE'nin altında yatan fiziğe uyarlanması gerektiğinin önemini vurgular. Bu tezin ikinci önemli katkısı, özellikle PDE'lerin sayısal artıklarından ve sınır-başlangıç koşullarından kaynaklanan çoklu kayıp bileşenlerini dengeleme zorluğunu ele alarak, PINN'lerin dinamiklerinin optimizasyonuna odaklanmaktadır. Birçok gerçek dünya uygulamasında, özellikle birbirine bağlı, doğrusal olmayan PDE sistemlerini içeren problemlerde, bu kayıp terimleri farklı ölçeklerde çalışırlar ve önemli ölçüde değişen yakınsama oranları sergilerler. Sabit veya sezgisel olarak seçilen kayıp ağırlıklarının kullanılması genellikle optimal olmayan eğitime yol açar ve özellikle çok sayıda kayıp terimiyle uğraşırken çözümün kalitesini zorlu bir süreç olan hiperparametre ayarlamasına büyük ölçüde bağımlı hale getirir. Belirli gradyan bileşenleri küçükken diğerleri büyükse, eğitim süreci daha küçük gradyan bileşenleri için etkisiz hale gelir. Bu sorunu ele almak için tez kapsamında, eğitim sırasında bireysel kayıp terimlerinin katkılarını dinamik olarak ayarlayan adaptif kayıp ağırlıklandırma stratejileri araştırılmıştır. Navier-Stokes denklemleriyle yönetilen akışkan akışı problemlerinde sistematik deneyler yaparak, çok amaçlı kayıp dengelemesinin etkinliğini artırmak için PINN'leri SiLU aktivasyon fonksiyonları ve öğrenilebilir B-spline'larla entegre edilmiştir. Vaka çalışmalarımız arasında kapak tahrikli boşluk akışı, düzlemsel Poiseuille akışı ve hem kaymalı hem de kaymasız duvar sınır koşulları altında kan akışı simülasyonları yer almaktadır. Aktivasyon fonksiyonlarının seçimi ve kayıp fonksiyonlarının tasarımının, farklı akışkan dinamiği senaryolarında kayıp dengeleme yöntemlerinin performansını önemli ölçüde etkilediğini belirledik. B-spline + SiLU ağları, Tanh tabanlı ağlardan sürekli olarak daha iyi performans gösterirken, \%7,4 ile \%95,2 arasında iyileşmeler gösterse de, bu artan doğruluk, hesaplama yükünde orta derecede bir artışla birlikte gelmektedir. Öğrenilebilir temel fonksiyonları mevcut bilinen karmaşık çoklu fizik senaryolarına, özellikle de Batırılmış Sınır Yöntemi (IBM) kullanılarak modellenen akışkan-yapı etkileşimi (FSI) problemlerine uygulayarak yeni bir öğrenme yaklaşımı geliştirilmiştir. Akışkan-yapı etkileşimi problemleri, genellikle yerelleştirilmiş ara yüz dinamikleri, akışkan ve yapısal değişkenler arasında güçlü bir bağlantı ve batırılmış sınırlar yakınında keskin çözüm özellikleri ile karakterize edilmiştir. Tez kapsamında IBM yöntemi referans alınarak, akışkan ve yapısal mekanik bölgeleri için ayrı sinir ağlarını koruyan, ayrıştırılmış bir Euler-Lagrange mimarisi geliştirilmiştir. Bu yaklaşım, her ağın kendi fiziğinde uzmanlaşmasına olanak tanırken, ara yüz kısıtlamaları aracılığıyla da bağlantı kurmasını sağlar. Yerellik duyarlılığını temsil etmek için SiLU aktivasyon fonksiyonu ile geliştirilmiş öğrenilebilir B-spline temel fonksiyonları modele entegre edilmiştir. Bu yetenek, hareketli sınırlar yakınındaki yüksek gradyanlı değişimleri doğru bir şekilde yakalamak ve aynı zamanda hacimsel bölgelerde düzgün bir yaklaşım sağlamak için çok önemlidir. Bu sonuçlar, hedef PDE çözümünün konumsal ve spektral karakteristikleri ile özellikleriyle sinir düğümünün hizalanmasının ne kadar önemli olduğunu vurgulamaktadır. Tezin literatüre son önemli katkısı, Kuantum-Klasik Fizik Bilgili Sinir Ağı (QCPINN) çerçevesinin tanıtılması yoluyla parametre verimliliğini ve model ölçeklenebilirliğini geliştirmektir. Klasik PINN'ler genellikle yüksek doğruluk elde etmek için çok sayıda eğitilebilir parametre gerektirirken, kuantum makine öğrenme modelleri, kuantum sistemlerinin üstel durum uzayı nedeniyle kompakt temsiller için önemli bir potansiyel sunmaktadır. Önerilen QCPINN modelimiz, parametreli kuantum devrelerini PINN mimarisine entegre ederek, klasik optimizasyon teknikleri kullanılarak eğitilmiş hibrit bir model oluşturmaktadır. Önerilen QCPINN modelleri, temel PINN'lere kıyasla benzer çözüm doğruluğuna ulaşırken, aynı ayarlarda klasik muadillerinin ihtiyaç duyduğu parametrelerin yalnızca \%10-30'u kadar az bir kısmını gerektirir. Deneysel kanıtlar, hibrit kuantum-klasik yaklaşımların çözüm kalitesini korurken parametre verimliliğini önemli ölçüde artırabileceği hipotezimizi desteklemektedir. Çeşitli PDE'ler üzerinde farklı QCPINN konfigürasyonlarının sistematik değerlendirmesi, Açı gömme veya Kaskad ya da Çapraz ağ topolojilerine sahip DV-Devre uygulamalarının en iyi performansı sunduğunu tutarlı bir şekilde ortaya koymuştur. Açı gömme, basitliği ve gradyan kararlılığı nedeniyle Genlik gömmeden daha üstündür, çünkü verileri normalleştirme kısıtlamaları olmadan bireysel kübit dönüşlerine eşlenir ve kararlı geri yayılımına olanak tanır. Konveksiyon-difüzyon problemlerine yönelik sayısal deneyler, QCPINN'nin önemli ölçüde daha az sayıda eğitilebilir parametre kullanırken, klasik PINN'lerle mukayese edilebilir ve bazı durumlarda onları da aşan bir doğruluk elde edebildiğini göstermektedir. Özellikle, hibrit yaklaşım, doğruluktan ödün vermeden parametre sayısını \%90'a kadar azaltmaktadır. Bu sonuçlar, yakın vadeli kuantumdan benzeri veya emüle edilmiş donanımlarda bile, parametre verimliliği açısından kuantumla geliştirilmiş modellerin somut bir avantajını olduğunu göstermektedir. Sonuç olarak, bu tez kapsamında yapılan katkılar, PINN'lerin teorik anlayışını ve pratik performansını geliştirmiştir. Optimizasyon dengesizlikleri, spektral sapma, mimari ifade gücü ve parametre verimliliği dikkate alındığında, bu çalışma PINN'lerin güçlülüğünü, verimliliğini ve ölçeklenebilirliğini iyileştirmek için bir dizi geliştirmeyi içermektedir. Tez bünyesinde geliştirilen bu bakış açısının, ileride daha güçlü nöral PDE çözücülerinin tasarımına yardımcı olabileceğine inanıyoruz.
Özet (Çeviri)
This thesis explores recent advancements in neural network-based methods for solving partial differential equations (PDEs), focusing on enhancing the convergence, stability, accuracy, and computational efficiency of Physics-Informed Neural Networks (PINNs). PDEs are crucial for mathematically modeling physical systems in fields such as fluid dynamics, solid mechanics, heat transfer, and various other scientific and engineering disciplines. Although classical numerical methods are effective for many problems, their computational cost can become prohibitively high for large-scale, high-dimensional, nonlinear, or multi-physics systems. PINNs have emerged as a promising alternative by integrating governing equations, boundary conditions, and initial conditions directly into the training objectives of neural networks. Despite their conceptual simplicity and flexibility, PINNs face persistent challenges related to optimization dynamics, spectral bias, and inefficient parameter usage, which can limit their robustness and scalability in practice. The main goal of this thesis is to systematically analyze these limitations and develop better strategies that enhance the performance of PINNs across a wide range of challenging PDE problems. We conduct an extensive investigation into recent theoretical and empirical findings, demonstrating that naïve PINN formulations often struggle to balance competing loss terms, fail to accurately capture high-frequency solution components, and require excessively large networks to achieve satisfactory accuracy. By addressing these issues through adaptive optimization strategies, architectural innovations, and hybrid classical-quantum models, this thesis aims to improve understanding of an efficient framework for physics-informed machine learning. The first major theme of this thesis examines how activation functions influence the representational capacity and training behavior of PINNs. A well-known limitation of standard neural networks is spectral bias, which refers to the tendency to learn low-frequency components of a target function more rapidly than its high-frequency components. For PDEs with sharp gradients, boundary layers, or multiscale structures, this spectral bias can significantly hinder accuracy. The study compares standard multilayer perceptrons (MLPs) with fixed activation functions against architectures that utilize adaptive activations and Kolmogorov-Arnold Networks (KANs). KANs employ learnable basis functions inspired by functional approximation theory. A comprehensive range of basis functions is investigated, including B-splines, Chebyshev polynomials, Fourier bases, Jacobi polynomials, and Gaussian Radial Basis Functions (GRBFs). To gain theoretical insights into their behavior, spectral analyses are conducted using empirical Neural Tangent Kernels (NTK) and Hessian eigenspectra. These analyses reveal complex trade-offs between expressivity, optimization stability, and generalization. While some activation functions and basis choices exhibit reduced spectral bias and improved expressivity, they may also lead to ill-conditioned optimization landscapes that can slow down or destabilize training. A key finding of this work is that low spectral bias does not necessarily guarantee better performance of PINNs; instead, the effectiveness of a given activation function is highly dependent on the specific problem at hand. This challenges the notion of finding a universally optimal activation function and emphasizes the importance of tailoring network design to the underlying physics of the PDE. The second major contribution of this thesis focuses on optimizing the dynamics of PINNs, specifically addressing the challenge of balancing multiple loss components that arise from the residuals of PDEs, as well as from boundary and initial conditions. In many real-world applications, particularly those involving systems of coupled, nonlinear PDEs, these loss terms operate on different scales and exhibit significantly varying convergence rates. Using fixed or heuristically chosen loss weights often results in suboptimal training, making the quality of the solution highly dependent on tedious hyperparameter tuning, especially when dealing with numerous loss terms. If certain gradient components are small while others are large, the training process becomes ineffective for the smaller gradient components. To tackle this issue, the thesis explores adaptive loss-weighting strategies that dynamically adjust the contributions of individual loss terms during training. Through systematic experimentation on fluid flow problems governed by the Navier-Stokes equations, we integrate PINNs with SiLU activation functions and learnable B-splines to improve the effectiveness of multi-objective loss balancing. Our case studies include lid-driven cavity flow, plane Poiseuille flow, and blood flow simulations under both slip and no-slip wall boundary conditions. We found that the choice of activation functions and the design of loss functions significantly influence the performance of loss balancing methods across different fluid dynamics scenarios. While B-spline + SiLU networks consistently outperformed Tanh-based networks, showing improvements ranging from 7.4\% to 95.2\%, this enhanced accuracy does come with a moderate increase in computational overhead. We build upon existing insights by applying learnable basis functions to complex multi-physics scenarios, specifically fluid-structure interaction (FSI) problems modeled using the Immersed Boundary Method (IBM). FSI problems are characterized by localized interfacial dynamics, strong coupling between fluid and structural variables, and sharp solution features near immersed boundaries. Drawing inspiration from the IBM method, we introduce a decoupled Eulerian-Lagrangian architecture that maintains separate neural networks for the fluid and structural domains. This approach allows each network to specialize in its respective physics while still coupling through interface constraints. We incorporate learnable B-spline basis functions enhanced with the SiLU activation function to provide locality-aware representation. This capability is crucial for accurately capturing high-gradient features near moving boundaries while ensuring smooth approximation in bulk regions. These results highlight the importance of aligning neural representations with the spatial and spectral characteristics of the target PDE solution. The final major contribution of the thesis explores parameter efficiency and model scalability through the introduction of a Quantum-Classical Physics-Informed Neural Network (QCPINN) framework. While classical PINNs often require large numbers of trainable parameters to achieve high accuracy, quantum machine learning models offer the potential for compact representations due to the exponential state space of quantum systems. The proposed QCPINN integrates parameterized quantum circuits into the PINN architecture, forming a hybrid model trained using classical optimization techniques. The proposed QCPINN models achieve comparable solution accuracy to baseline PINNs while requiring a fraction of trainable parameters, as little as 10-30\% of those needed by their classical counterparts under about the same settings. The experimental evidence supports our hypothesis that hybrid quantum-classical approaches can maintain solution quality while dramatically improving parameter efficiency. Our systematic assessment of various QCPINN configurations across multiple PDEs consistently revealed that DV-Circuit implementations with Angle embedding and either Cascade or Cross-mesh topologies offer the best performance. Angle embedding is superior to Amplitude embedding due to its simplicity and gradient stability, as it maps data to individual qubit rotations without normalization constraints, allowing for stable backpropagation. Numerical experiments on convection-diffusion problems demonstrate that the QCPINN achieves accuracy comparable to, and in some cases exceeding, that of classical PINNs while using significantly fewer trainable parameters. In particular, the hybrid approach reduces the number of parameters by up to 90\% without compromising accuracy. These results suggest a tangible advantage of quantum-enhanced models in terms of parameter efficiency, even on near-term quantum-inspired or simulated hardware. Collectively, the contributions of this thesis advance the theoretical understanding and practical performance of PINNs. By addressing optimization imbalances, spectral bias, architectural expressivity, and parameter efficiency, this work provides a set of tools for improving the robustness, efficiency, and scalability of PINNs. We believe these insights can help in the design of more robust neural PDE solvers.
Benzer Tezler
- Bazı integral dönüşümlerin genişlemeleri ve kesirli mertebeden kısmi diferansiyel denklemlere uygulamaları üzerine
On extensions of some integral transforms and their applications to the partial differential equations with fractional order
SULIMAN S S ALFAQEIH
- Genelleştirilmiş yamuk yöntemi kullanılarak artan fonksiyonun türevleri ile doğrusal olmayan ikinci mertebeden diferansiyel denklemlerin yaklaşık çözümü
Приближенное решение нелинейных дифференциальных уравнений второго порядка с производными по возрастающей функции с помощью обобщенного метода трапеций
AKAK ŞADIKANOVA
Yüksek Lisans
Kırgızca
2021
MatematikKırgızistan-Türkiye Manas ÜniversitesiMatematik Ana Bilim Dalı
PROF. DR. AVIT ASANOV
- Schrödinger tipi denklemlerin dalga çözümleri üzerine
On the wave solutions of Shrödinger type equations
FATMA NUR KAYA SAĞLAM
Doktora
Türkçe
2024
MatematikTekirdağ Namık Kemal ÜniversitesiMatematik Ana Bilim Dalı
DOÇ. DR. ZEHRA PINAR İZGİ
DOÇ. DR. HÜSEYİN KOÇAK
- Yukawa potansiyelli kuvantum sistemlerde baz operatörü gösterilimi ve dinamik uygulamalar
Başlık çevirisi yok
ESMA MERAL
- q-lineerlik ve q-lineer diferansiyel denklemler
q-linearty and q-linear differantial equations
MİHRİBAN ÖZDEMİR
Yüksek Lisans
Türkçe
2025
MatematikSakarya ÜniversitesiMatematik Ana Bilim Dalı
PROF. DR. ÖMER FARUK GÖZÜKIZIL