Empirical study to evaluate ChatGPT for staticanalysis against rule-based approach
ChatGPT'nin statik analiz için kural tabanlı yaklaşıma karşı değerlendirilmesi için deneysel çalışma
- Tez No: 832148
- Danışmanlar: Assist. Prof. Dr. FEYZULLAH ORÇUN ÇETİN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Sabancı Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgi Güvenliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Cyber güvenlik endüstrisi hızlı bir dönüşüm geçiriyor, bu da güvenlik uzmanları ve geliştiricilerin en yeni zayıflıklar hakkında bilgi sahibi olmasını giderek zorlaştırıyor. Bu durum, yazılım geliştirme yaşam döngüsü sırasında statik analiz yoluyla bu zayıflıkların erken tespiti için acil bir ihtiyaca yol açıyor. Statik analiz araçları, geliştirme aşamasında zayıflıkları belirleyerek geliştiricilere büyük fayda sağlama potansiyeline sahiptir. Bununla birlikte, güvenlik açıklıklarını tespit etme konusun- daki sınırlı yetenekleri, birçok geliştiricinin bu araçları terk etmesine yol açmaktadır. Bu alanda yapay zeka tabanlı güvenlik araçları umut verici sonuçlar göstermiştir. AI destekli araçların zayıflık tespitini artırmak için kullanımının popülerlik kazan- ması bekleniyor. Ancak, AI destekli araçların etkinliğini kural tabanlı araçlarla karşılaştıran daha fazla araştırmaya ihtiyaç duyulmaktadır. Makalemiz, her iki tür aracın etkinliğini değerlendirerek bu araştırma boşluğunu ele almayı amaçla- maktadır. Bu makalede, OWASP organizasyonu tarafından web uygulamalarında yaygın olarak tanınan en üst 10 zayıflık kategorisine ait 354 JAVA zayıflığını tespit etmede, 10 adet statik kod analiz aracının ve tanınmış bir AI destekli sohbet botu olan ChatGPT'nin etkinliğini değerlendirdik. Analizimiz, tüm statik kod analiz araçlarının bile düşük bir sayıda zayıflık tespit ettiğini ortaya koydu. Buna karşılık, ChatGPT aynı kod örneklerinde zayıflıkları tespit etmede olağanüstü bir performans sergiledi. Aslında, ChatGPT, zayıflıkların %70'ini tespit etmeyi başardı ki bu, statik analiz araçlarının %25'lik tespit oranına göre önemli bir iyileştirme anlamına geliyor. Ayrıca, ChatGPT'nin yanlış pozitif oluşturma performansını, zayıflık analizi için kullandığımız veri setlerindeki 354 yamalı kodla birlikte değerlendirdik. ChatGPT, statik analiz araçlarının ürettiği büyük miktardaki yanlış pozitiflerin aksine, %0 yanlış pozitif üretti. Son olarak, ChatGPT'nin zayıflıkların %20'si için %100 doğru yamalar sağladığını bulduk. Genel olarak, ChatGPT, kaynak kodlardaki zayıflık- ları tespit etme ve düzeltme konusunda nispeten etkili bir mekanizma gibi görün- mektedir. ChatGPT ve diğer statik kod analiz araçlarını zayıflık tespiti için nasıl kullanacağımıza dair ana bulgularımızı ve potansiyel sorunları değerlendiriyoruz. iii
Özet (Çeviri)
The cybersecurity industry is undergoing rapid transformation, making it increas- ingly difficult for security professionals and developers to stay abreast of the latest vulnerabilities. This leads to an urgent need for early detection of these vulnerabil- ities through static analysis during the software development life cycle. Static analysis tools have the potential to greatly benefit developers by identifying weak- nesses during the development phase. However, their limited ability to identify security vulnerabilities leads many developers to abandon these tools. AI-based se- curity tools have demonstrated promising outcomes. The use of AI-powered tools to enhance vulnerability detection is expected to rise in popularity. Yet, there needs to be more research comparing the effectiveness of AI-powered tools to rule-based ones. Our paper seeks to address this research gap by evaluating the effectiveness of both types of tools. In this paper, we assessed the effectiveness of 10 static code analysers and a renowned AI-powered chatbot named ChatGPT in detecting 354 JAVA vul- nerabilities that belong to the top 10 widely recognised vulnerability categories in web applications, as classified by the OWASP organisation. Our analysis revealed that even a combination of all the static code analysers detected a disappointingly low number of vulnerabilities. In contrast, ChatGPT performed remarkably well in detecting vulnerabilities in the same code samples. In fact, ChatGPT was able to detect 70% of the vulnerabilities, which is a significant improvement over the 25% detection rate achieved by the static analysers. Furthermore, we assessed the performance of ChatGPT in false positive generation with 354 patched codes of the datasets we used for vulnerability analysis. ChatGPT issue 0% false positives in contrast with the large number of false positive generation by the static analysers. Finally, we found that ChatGPT provided 100% accurate patches for 20% of the vulnerabilities. All in all, ChatGPT seems to be a relatively effective mechanism for detecting and fixing vulnerabilities in the source codes. We reflect on our main findings and potential issues regarding how to use ChatGPT and other static code analysers for vulnerability detection. iv
Benzer Tezler
- Sivas'ta kadınların işgücüne katılım farklılıkları
Başlık çevirisi yok
BİNNUR ERCEM
Yüksek Lisans
Türkçe
1984
SosyolojiCumhuriyet ÜniversitesiKurumlar Sosyolojisi Ana Bilim Dalı
YRD. DOÇ. DR. FARUK KOCACIK
- He-Ne laserinin yapımı
Başlık çevirisi yok
AKİF ÖZBAY
Yüksek Lisans
Türkçe
1986
Fizik ve Fizik MühendisliğiGazi ÜniversitesiFizik Ana Bilim Dalı
DOÇ. DR. ATİLLA ÖZMEN
- Ampirik dağılımlar ve genelleştirilmiş lambda dağılımının M/M/1 kuyruk modeli simülasyonunda kullanımı
Başlık çevirisi yok
BERNA DENGİZ
Doktora
Türkçe
1986
İstatistikGazi ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DOÇ. DR. YALÇIN EROL
- İkili sıvı alaşımların yapıları ve taşıma özellikleri
The Structure and transport properties of liquid binary alloys
FÜGEN DAVER
- Computer aided striplayout and die design for sheet metal press cutting operations
Başlık çevirisi yok
HAKAN BÜYÜKBAŞ
Yüksek Lisans
İngilizce
1987
Makine MühendisliğiOrta Doğu Teknik ÜniversitesiYRD. DOÇ. DR. MUSTAFA İLHAN GÖKLER