Implementation and assessment of machine learning methods for multidisciplinary aerospace problems

Makine öğrenmesi yöntemlerinin çok disiplinli hava-uzay problemlerine uygulanması ve değerlendirilmesi

PDF İndir

Tez No: 979167
Yazar: DİLAN KILIÇ
Danışmanlar: PROF. DR. MELİKE NİKBAY
Tez Türü: Yüksek Lisans
Konular: Uçak Mühendisliği, Havacılık ve Uzay Mühendisliği, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Aeronautical Engineering, Aeronautical Engineering, Computer Engineering and Computer Science and Control
Anahtar Kelimeler: Ticari uçaklar, Uçak mühendisliği, Commercial aircrafts, Aircraft engineering
Yıl: 2023
Dil: İngilizce
Üniversite: İstanbul Teknik Üniversitesi
Enstitü: Lisansüstü Eğitim Enstitüsü
Ana Bilim Dalı: Uçak ve Uzay Mühendisliği Ana Bilim Dalı
Bilim Dalı: Uçak ve Uzay Mühendisliği Bilim Dalı
Sayfa Sayısı: Belirtilmemiş.

Özet

Günümüzde birçok mühendislik problemi doğası gereği karmaşıktır ve sistemi tasarım sürecinde doğru temsil eden bir modele ihtiyaç duyulmaktadır. Bu modellemeler, fiziksel ya da matematiksel yollar ile oluşturulabilir. Laboratuvarlarda veya gerçek fiziksel modellemelerdeki maliyetler nedeniyle son zamanlarda mühendislik problemlerinin çözümünde matematiksel modellemeler yaygınlaşmıştır. Özellikle, bilgisayar işlemci performanslarının artması ve çok sayıda nümerik analiz yöntemlerinin gelişmesi matematiksel modellemeyi kaçınılmaz hale getirmiştir. Hesaplamalı yöntemlerde temsil edilen sistem için yaklaşık çözümler elde edilmektedir. Bu çözümler, Sonlu Hacimler Yöntemi (SHY) ve Sonlu Elemanlar Yöntemi (SEY) gibi çeşitli sayısal yöntemler kullanılarak elde edilmektedir. Bu yöntemlerin her birinin avantajları ve dezavantajları vardır ve yöntemin seçimi büyük oranda problemin karmaşıklığına ve türüne bağlıdır. Ayrıca, temsil edilmesi gereken sistem karmaşıklığı ve boyutu arttıkça, bu yöntemlerin hesaplama maliyetleri de artmaktadır. Bu durum, optimizasyon ve belirsizlik analizi gibi birçok sistem varyasyonlarının elde edilmesi gerektiği durumlarda hesaplama açısından ciddi ölçüde maliyetli olmaktadır. Hesaplama açısından pahalı süreçler için, özellikle optimizasyon ve belirsizlik ölçüm süreçlerini içerenler için, hesaplama maliyetini azaltmak amacıyla temsili modeller kullanılmaktadır. Temsili modeller çoğunlukla matematiksel metotlara dayanan ve girdi-çıktı arasındaki ilişkiyi açıklayan yöntemlerdir. Havacılık ve uzay alanında son yıllarda temsili model tabanlı tasarım, optimizasyon, ve belirsizlik analizleri oldukça yaygınlaşmıştır. Temsili model uygulamalarında ana hedef doğruluğu olabildiğince yüksek tutarken hesaplama maliyetlerini en aza indirgemektir. Mühendislik alanında, polinom kaos genişlemesi (PCE), uygun ortogonal ayrışma (POD), kriging, radyal temelli fonksiyonlar (RBF) ve makine öğrenmesi gibi metotlar temsili modellemede yaygın olarak kullanılmaktadır. Bu tez kapsamında makine öğrenmesi tabanlı temsili modeller incelenmektedir. Yapay zekanın bir alt alanı olan makine öğrenimi genellikle bir makinenin insan zekasını taklit etme yeteneği olarak tanımlanır. Makine öğrenimi terimi ilk olarak 1959 yılında makine öğreniminde öncü olarak bilinen Arthur Lee Samuel tarafından ortaya atılmıştır. Makine öğrenimi aynı zamanda lineer cebir, istatistik, optimizasyon ve bilgisayar bilimlerinin bir kombinasyonu olarak da tanımlanabilir. Makine öğrenimi algoritmaları genel olarak denetimli, denetimsiz, yarı denetimli ve takviyeli öğrenme olarak sınıflandırılabilir. Günümüzde makine öğrenimi metotlarına hemen hemen her alanda başvurulmaktadır. Bu yöntemler, özellikle havacılık ve uzay alanında, uçak tasarımı ve aerodinamiği, hava trafik yönetimi, uçuş operasyonları ve optimizasyonu ve belirsizlik analizi gibi uygulamalarda tercih edilmektedir. Literatürde havacılık ve uzay konusunda, makine öğrenimi ve derin öğrenme tabanlı birçok temsili modelleme uygulaması bulunmaktadır. Derin öğrenme metotlarının en büyük avantajı artan örnekleme ve boyut sayısına rağmen kestirim gücünün yüksek olmasıdır. Makine öğrenmesi metotları ise daha düşük örnekleme ve boyut sayısına sahip olunduğu durumlarda daha iyi performans göstermektedir. Makine ve derin öğrenme metotlarında temel olarak girdi ve çıktı boyutları, skaler, vektör, matris ya da tensör olabilir. Derin öğrenme yöntemleri matris girdilerle, evrişim (convolution) katmanları sayesinde kolaylıkla başa çıkabilirken makine öğrenmesi bu girdilerin vektörleştirilmesini gerektirir. Bu durum, derin öğrenme modellerinin özellikle bilgisayarlı görü ve ses tanıma, görüntü analizi ve doğal dil işleme gibi konularda kullanımını yaygınlaştırmıştır. Fakat, mühendislik uygulamalarını incelediğimizde, özellikle örnekleme yöntemleri kullanılarak sentetik verinin üretildiği durumlarda vektör girdi-çıktı ilişkisi gözlenmektedir. Diğer bir deyişle, sistemde bulunan değişkenler kullanıcı tarafından kontrol edilmekte ve probleme bağlı olarak bazı çıktılar istenmektedir. Üretilen sentetik veri boyutu ve model girdi boyutları farklı kavramlardır. Sentetik veriler genellikle belirli sayıda parametrenin değişmesiyle oluşturulmaktadır ve model girdi boyutu açısından bakıldığında vektörler ile temsil edilmektedir. Burada, makine öğrenimi alanında en çok kullanılan problemlerden biri olan MNIST veri seti örneğini incelersek, bu veri seti 28x28 piksellerden oluşmaktadır ve bir matris formundadır. Bu veri setini makine öğrenmesi yöntemleri ile eğitmek istediğimizde vektörleştirme işleminin ardından 784 boyutlu bir vektör eğitilmesi gerekmektedir. Derin öğrenme yöntemlerinde ise 2-boyutlu evrişim katmanları kullanıldığında herhangi bir ön-işleme gerek duyulmamaktadır. Literatüre baktığımızda, bu veri seti için hem makine öğrenmesi ve hem derin öğrenme yöntemleri iyi sonuçlar vermektedir. Ayrıca, derin öğrenme yöntemlerinin matris boyutunda bir veriyi direkt işleyebilmesinden dolayı geleneksel makine öğrenmesi yöntemlerine göre daha iyi sonuçlar verdiği bilinmektedir. Fakat, burada önemli olan nokta geleneksel makine öğrenmesi yöntemlerinin bu derece yüksek boyutta bir vektör tahmininde iyi sonuçlar verebilmesidir. Bu gibi özel durumların dışında (yani matris ve tensör boyutundaki veriler) eğer vektör ile temsil edilen verilere sahipsek, bu durum geleneksel makine öğrenmesi yöntemlerinin performanslarının göz ardı edilmemesi gerektiğini göstermektedir. Ek olarak, literatürde modellemeye daha basit yöntemler ile başlayıp daha karmaşık ve hesaplama maliyeti daha yüksek yöntemlere sonradan geçilmesi önerilmektedir. Bu açıdan, özellikle mühendislik alanında üretilen ve vektörler ile temsil edilebilecek sentetik verilerin modellemesinde daha basit yöntemler ile başlanması hesaplama maliyeti açısından büyük önem arz etmektedir. Diğer bir taraftan, makine öğrenimi ve derin öğrenme tabanlı modellemelerde, tahmin performansını ve doğruluğunu artırmak adına takip edilmesi gereken birtakım adımlar bulunmaktadır. Özellikle havacılık ve uzay alanındaki makine öğrenmesi tabanlı temsili uygulamalarda bu adımların eksikliği açıkça gözlenmektedir. Bu adımlar şu şekilde listelenebilir: çapraz doğrulama (cross-validation), hiperparametre optimizasyonu (grid search) ve model değerlendirmesi. Bu adımlarda karşılaşılan ilk problem, veri setini eğitim ve test olarak ayırmadan önce herhangi bir istatistiksel yöntemin (örneğin; normalizasyon) uygulanmasıdır. Bu durum veri sızıntısı (data leakage) olarak adlandırılan probleme yol açmaktadır. Diğer bir deyişle, eğitimde kullanılmaması gereken test verisi bilgileri modellemenin herhangi bir aşamasında kullanılmıştır. Diğer bir durum ise, modelin doğruluğunu ve güvenirliğini artıran çapraz doğrulama uygulamalarının modellemeye dahil edilmemesidir. Bu metot modelin kullanılan eğitim setine bağımlılığını azaltmaktadır ve daha güvenilir modeller oluşturulmasına yardımcı olmaktadır. Ayrıca, hiperparametre optimizasyonunda en iyi model çapraz doğrulamadaki en iyi test sonucunu veren model olarak seçilmektedir. Yapılan hiperparametre optimizasyonunun ardından, model değerlendirilmesi hem eğitim hem test verileri üzerindeki model performansıyla yapılması gerekmektedir. Bu durum, fazla uydurma (overfitting) olarak adlandırılan problemin önüne geçmektedir. Sadece test verisine bağlı olarak sonuçların sunulması ya da değerlendirilmelerin yapılması yeterli olmamaktadır. Burada temel amaç genelleştirme ve tahmin yeteneği yüksek olan modeller oluşturabilmektir. Bu değerlendirmeler sonucunda, bu tez kapsamında farklı zorluk seviyelerinden mühendislik problemlerinin makine öğrenimi tabanlı temsili modellemesi ele alınmıştır. Bu çalışmada amaç geleneksel makine öğrenimi yöntemlerinin farklı seviyeden mühendislik problemleri üzerindeki performansını incelemek ve daha güvenilir modeller için bir modelleme rehberi oluşturabilmektir. İlk olarak, seçilen makine öğrenimi metotları (linear regression, random forest, gradient boosting, extreme gradient boosting, support vector machine ve multi-layer perceptron) iki farklı kıyaslama problemi üzerinde test edilmiştir. Daha sonra farklı boyut, zorluk seviyesi ve disiplinlerden hava uzay mühendisliği problemleri ele alınmıştır. İlk problem, süperkritik bir kanat profiline ait aerodinamik katsayıların 20-boyutlu girdiler ile tahminidir. Diğer modelleme, 3- ve 6-boyutlu problem olan yüksek kanat açıklık oranına sahip uCRM 13.5 kanat modelinin aeroelastik tasarım sürecini temsil etmektedir. Son olarak, seçilen yöntemler 20-boyutlu geometrik değişkenlere sahip bir ses-üstü ticari uçak modeli tasarım problemine uygulanmıştır. Bu veri setleri ile elde edilen sonuçlar, farklı disiplinlerden mühendislik problemlerinde makine öğrenimi metotlarının yeterli sonuçlar verdiğini doğrulamıştır. Ayrıca, hiperparametre sayısı ve hesaplama maliyetleri açısından derin öğrenme metotlarına kıyasla avantajları kanıtlanmıştır. Son olarak, karmaşık modellerden önce basit (hiperparametre sayısı az olan) modellerden başlamanın önemi sunulan süpersonik uçak tasarım problemi ile bir kez daha gösterilmiştir.

Özet (Çeviri)

While many engineering problems are complex in nature nowadays, models that represent systems accurately are crucial in the design process. These models can be constructed physically or mathematically. Recently, mathematical modeling has become a significant process to solve engineering problems when compared to physical modeling which brings about experimental cost. In particular, the advancements in computer processor performance and the development of numerous numerical analysis methods enabled mathematical modeling as an inevitable part of the scientific research. In computational methods, approximate solutions are obtained for systems by utilizing various numerical discretization techniques such as the Finite Volume Method (FVM) and the Finite Element Method (FEM). Each of these methods has its own advantages and disadvantages, and the choice of a method depends largely on the complexity and nature of the problem at hand. However, it is important to note that as the complexity and size of the system increase, the computational costs associated with these methods also increase. Management of computational cost and time becomes challenging particularly when dealing with scenarios that involve multiple system variations, such as optimization and uncertainty analysis, which can be computationally expensive. For computationally expensive processes, especially for those which include optimization and uncertainty quantification processes, surrogate models are employed to reduce computational costs. Surrogate models are methods that are mostly based on mathematical approaches which aim to represent the relationship between inputs and outputs. In recent years, the use of surrogate model-based design, optimization, and uncertainty analysis has become widespread in the aviation and aerospace fields. The main objective in surrogate modeling applications is to maintain high accuracy in representation while minimizing computational costs. In the field of engineering, methods such as Polynomial Chaos Expansion (PCE), Proper Orthogonal Decomposition (POD), Kriging, Radial Basis Functions (RBF), and machine learning are the commonly-utilized surrogate models. This thesis focuses on investigation, implementation and demonstration of machine learning-based surrogate models with different complexity levels of engineering problems in the aerospace discipline. Machine learning, a subfield of artificial intelligence, is generally defined as the ability of a machine to mimic human intelligence. The term“machine learning”was first introduced in 1959 by Arthur Lee Samuel, a pioneer in the field. Machine learning can also be seen as a fusion of linear algebra, statistics, optimization, and computer science. Machine learning algorithms are generally classified into supervised, unsupervised, semi-supervised, and reinforcement learning. Nowadays, machine learning methods are widely applied in almost every domain. These methods are particularly preferred in engineering applications related to aviation and aerospace, such as aircraft design and aerodynamics, air traffic management, flight operations and optimization, and uncertainty analysis. Literature in the field of aviation and aerospace engineering encompasses various applications of machine learning and deep learning-based surrogate modeling. Deep learning methods offer the advantage of high accuracy predictions as the number of samples and the dimensionality increase. On the other hand, machine learning methods tend to perform better with a lower number of samples and dimensionality. In machine learning and deep learning methods, inputs and outputs might be in the form of scalars, vectors, matrices, or tensors. Deep learning methods handle matrix inputs effortlessly, thanks to convolutional layers, while machine learning methods require vectorization of these inputs. This has led to the widespread use of deep learning models in domains such as computer vision, speech recognition, image analysis, and natural language processing. However, in engineering applications, particularly when synthetic data is generated using sampling methods, a vector input-output relationship is observed. In other words, the variables within the system are controlled by the user, and specific outputs are generated depending on the problem. Here, it is important to distinguish between the dimension of the generated synthetic data and the model input dimension. Synthetic data is typically created by varying a set number of parameters and is represented by vectors in terms of model input dimension. For instance, considering the MNIST dataset, which is one of the most commonly used problems in machine learning, consists of 28x28 pixels and is in matrix form. When training this dataset using machine learning methods, it needs to be vectorized into a 784-dimensional vector. On the other hand, in deep learning methods, such pre-processing is not required when utilizing 2-dimensional convolutional layers. Literature shows that both machine learning and deep learning methods yield good results for this dataset. Furthermore, because of their capability of directly processing matrix-shape data, deep learning methods are known to outperform traditional machine learning methods for such kind of problems. However, it is important to note that traditional machine learning methods can also achieve good results in high-dimensional vector prediction tasks. In cases where the data is represented by vectors (except matrix and tensor dimensions), the performance of traditional machine learning methods should not be overlooked. Additionally, it is recommended to start modeling with simpler methods and gradually apply more complex and computationally expensive approaches. Therefore, in the modeling of synthetic data that can be represented by vectors, which is common in the field of engineering, beginning with simpler methods plays a crucial role in computational cost management. On the other hand, in machine learning and deep learning-based modeling, there are several steps that need to be followed in order to enhance prediction performance and accuracy. The lack of adherence to these steps is clearly observed in machine learning-based surrogate models in the field of aviation and aerospace. These steps can be listed as follows: cross-validation, hyperparameter optimization (such as grid search), and model evaluation. The first problem encountered in these steps is the application of any statistical method (e.g., normalization) to the dataset before splitting it into training and testing sets. This leads to a problem known as data leakage, where test data information is used in the modeling process, however it should not be used. Another shortcoming is not implementing cross-validation techniques that improve model accuracy and reliability. The cross-validation method helps to reduce the model dependency on the specific training set and aims for more robust models. In hyperparameter optimization, the best model is typically selected based on its performance in cross-validation, specifically the best test results. After hyperparameter optimization, model evaluation should be conducted using both the training and test data to assess the model's performance. This step helps to prevent overfitting. Presenting results based solely on the test data is not sufficient. The main objective here is to create models with high generalization and prediction capabilities. In this thesis, the machine learning-based surrogate modeling of engineering problems at different levels has been addressed. The aim of this study is to examine the performance of traditional machine learning methods on engineering problems at different complexity levels and disciplines and to develop a modeling guideline for more reliable and efficient surrogate models. Firstly, selected machine learning methods, including linear regression, random forest, gradient boosting, extreme gradient boosting, support vector machine, and multi-layer perceptron, were tested on two benchmark problems. Subsequently, aerospace engineering problems with different dimensions, complexity levels, and disciplines were selected. The first problem involved predicting the aerodynamic coefficients of a supercritical airfoil with 20-dimensional inputs. Another modeling focused on representing the aeroelastic design process of the uCRM 13.5 wing model with 3- and 6-dimensional problems. Finally, the selected methods were applied to a design problem of a supersonic transport aircraft configuration with 20-dimensional geometric variables. The results obtained with these datasets revealed that machine learning methods provided satisfactory results for engineering problems from various disciplines. Moreover, their advantages in terms of the number of hyperparameters and computational costs were demonstrated compared to deep learning methods. Furthermore, the importance of starting with simpler models (in terms of number of hyperparameters) rather than complex deep learning models was once again highlighted through the presented supersonic aircraft design problem.

Benzer Tezler

Tez No
33
New algorithms and techniques for microprocessor-controlled PWM induction drives
Başlık çevirisi yok
OSMAN KÜKRER
Doktora
İngilizce
1987
Elektrik ve Elektronik Mühendisliği Orta Doğu Teknik Üniversitesi
Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. H. BÜLENT ERTAN
Tez No
42
A Decision support system for planning standby garbage collection trucks
Yedek çöp toplama kamyonlarının planlanması için bir karar destek sistemi
GÜLSER HACISALİHOĞLU
Yüksek Lisans
İngilizce
1987
Endüstri ve Endüstri Mühendisliği Orta Doğu Teknik Üniversitesi
Endüstri Mühendisliği Ana Bilim Dalı
PROF. DR. HALİM DOĞRUSÖZ
Tez No
1305
Stuctured development of a departmental information system
Başlık çevirisi yok
EKREM AZİMLİ
Yüksek Lisans
İngilizce
1987
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol Orta Doğu Teknik Üniversitesi
PROF. DR. ZİYA AKTAŞ
Tez No
1259
Design and implementation of concurrency on IBM PC XT
Başlık çevirisi yok
AHMET ALİ COKER
Yüksek Lisans
İngilizce
1987
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol Orta Doğu Teknik Üniversitesi
PROF. DR. ZİYA AKTAŞ
Tez No
1262
Design and implementation of two integrity subsystems for the relational DBMSs: RAP and embedded SQL
Başlık çevirisi yok
İBRAHİM ÇİNGİL
Yüksek Lisans
İngilizce
1987
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol Orta Doğu Teknik Üniversitesi
DOÇ. DR. ASUMAN DOĞAÇ

Geri Dön