Security impacts of AI model collapse
AI model çöküşünün güvenlik etkileri
- Tez No: 1005176
- Danışmanlar: DR. ÖĞR. ÜYESİ BELAYNESH BİADGİLİGN CHEKOL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Üsküdar Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Siber Güvenlik Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez, yapay zekanın (YZ) evrimini ve karşılaştığı tüm zorlukları ve güvenlik etkilerini, özellikle de YZ modeli çöküşü olgusuna odaklanarak inceler. YZ, siber güvenlik, sağlık ve finans gibi kritik sektörlere hızla entegre olmaya devam ederken, YZ sistemlerinin güvenilirliğini ve güvenliğini sağlamak birçok endişeye yol açmıştır. Bu sistemlerdeki herhangi bir arıza, tüm altyapıların felç olmasına yol açabilir. Bu çalışma, YZ modeli çöküşü olarak adlandırılan olgunun matematiksel açıklamasından başlayarak, bu olguyu kanıtlamayı amaçlayan iki farklı simülasyon kullanarak YZ modeli çöküşü olarak adlandırılan olgunun pratik simülasyonlarına kadar bir YZ modeli çöküşü analizi sunmaktadır. Çalışma, güçlerine rağmen YZ tarafından oluşturulan veriler üzerinde tekrarlanan eğitimden kaynaklanan performans düşüşüne karşı savunmasız olan üretken YZ modellerine odaklanacaktır. İlk simülasyon, YZ metin modellerinin, eğitim veritabanlarında birden fazla nesil boyunca üretilen çıktılarının küçük miktarlarına bile maruz kaldığında kaçınılmaz olarak nasıl çöktüğünü göstermektedir. Onuncu nesilde, model tarafından üretilen yanıtlar anlamsız hale gelir ve sorulan soruları ele alamaz. İkinci simülasyon, AI tarafından yönlendirilen kötü amaçlı yazılım tespit sistemlerine odaklanır. AI tarafından oluşturulan kötü amaçlı dosyalar eğitim veritabanına enjekte edilirse veya veritabanına herhangi bir veri sızıntısı olursa, model kötü amaçlı ve iyi huylu dosyalar arasında ayrım yapamaz hale gelir. Bu bozulma, her türlü güvenlik duvarını açık bir kapıya dönüştürebilir ve tüm farklı kötü amaçlı yazılımların herhangi bir sisteme erişmesine izin verebilir
Özet (Çeviri)
This thesis examines the evolution of artificial intelligence (AI), and all the difficulties it is facing, and its security implications, with a particular focus on the phenomenon of AI model collapse. As AI continues its rapid integration into critical sectors such as cybersecurity, healthcare, and finance, ensuring the reliability and security of AI systems has shown a lot of concerns. Any failure within these systems could lead to the paralysis of an entire infrastructure. This study is providing an analysis of AI model collapse starting from the mathematical explanation to the practical simulations of the phenomena that's called AI model collapse using two different simulations that aims to proving this phenomena. The study will be focusing on generative AI models, which, despite their power, are vulnerable to collapse a degradation in performance caused by repeated training on AI-generated data. The first simulation illustrates how generative text models, when exposed to even small quantities of their generated outputs within their training dataset across multiple generations, inevitably collapse. By the tenth generation, the answers generated by the model become meaningless and fail to address the posed questions. The second simulation focuses on AI-driven malware detection systems. If AI-generated malicious files are injected into the training database, or if there is any data leakage into the database, the model becomes incapable of distinguishing between malicious and benign files. This degradation can manage to turn any kind of security firewall into an open door, allowing all the different malware's to have an access into any system
Benzer Tezler
- Yüksek çözünürlüklü uydu verileri kullanılarak şehir alanlarının incelenmesi
Investigation of city areas using high-resolution satellite data
RAZİYE HALE TOPALOĞLU
Doktora
Türkçe
2022
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. ELİF SERTEL
- Predicting software defects with machine learning
Makine öğrenmeyle yazılım hatalarını öngörmek
MUAYAD MOHAMMED KHALEEL AL ISAWI
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş ÜniversitesiBilişim Teknolojileri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ OĞUZ KARAN
- Cyber tools as foreign policy instruments in trilateral relations: Analysing cyber-attacks targeting the United Kingdom
Üçlü ilişkilerde dış politika aracı olarak siber araçlar: Birleşik Krallık'ı hedef alan siber saldırıların analizi
ATAKAN YILMAZ
Doktora
İngilizce
2024
Siyasal BilimlerGalatasaray ÜniversitesiUluslararası İlişkiler Ana Bilim Dalı
DOÇ. DR. MENENT SAVAŞ CAZALA
- Missile evasion maneuver generation with model-free deep reinforcement learning
Modelden bağımsız derin pekiştirmeli öğrenme ile füzeden kaçınma manevraları
MUHAMMED MURAT ÖZBEK
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiSavunma Teknolojileri Ana Bilim Dalı
DOÇ. DR. EMRE KOYUNCU
- Biyoçeşitliliğin korunmasında öncelikli alanların (sıcak-noktaların) belirlenmesi: Anadolu Diyagonali'nin Güneyi
Identification of priority areas (hotspots) for conservation of biodiversity: South of the Anatolian Diagonal
ENES KARADENİZ