Şüpheli davranışların tespiti için two stream ST-GCN ve transformer tabanlı zamansal dikkat modeli
Two stream ST-GCN and transformer-based temporal attention model for detecting suspicious behaviors
- Tez No: 998124
- Danışmanlar: DOÇ. DR. EMRE SÜMER
- Tez Türü: Yüksek Lisans
- Konular: Bilim ve Teknoloji, Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Science and Technology, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: Türkçe
- Üniversite: Başkent Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Bilimi ve Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Alışveriş merkezleri, okullar, toplu taşımalar gibi kalabalık ortamların sürekli ve düzenli bir şekilde güvenlik sistemleriyle takip edilmesi büyük önem taşımaktadır. Günümüzde bu takipler çoğunlukla manuel sistemlerle yapılmakta ve bu süreç insani faktörlere olan bağımlılığından dolayı dikkat dağınıklığı, yorgunluk gibi öznel değerlendirme sorunlarına bağlı olarak efektif bir biçimde yapılamamaktadır. Bu çalışmanın temel amacı video görüntülerinden şüpheli hareket tespitinin yüksek doğrulukta ve otomatik tespitinin yapılabileceği bir hareket analiz sistemi geliştirmektir. Bu amaç doğrultusunda, farklı derin öğrenme tabanlı modeller incelenmiş, UCF101 ve Human Activity & Suspicious Behavior Video veri setleri üzerinde performans değerlendirilmesi yapılmıştır. Çalışmada piksel tabanlı modellerin karşılaştırılması amacıyla ResNet18 tabanlı bir CNN- LSTM (Convolutional Neural Network, Long Short-Term Memory) modeli ve ConvNeXt- Mamba mimarisi uygulanmıştır. Görüntülerdeki ışık, gürültü, kamera açısı gibi değişkenlerin negatif etkilerini azaltmak amacıyla piksel tabanlı yaklaşımlar yerine iskelet noktalarının baz alındığı bir mimari önerilmiştir. YOLOv8-Pose modeli ile insan vücuduna ait olan 17 eklem noktası çıkarılmış, bu noktalardan poz ve hareket hızı bilgileri elde edilmiştir. Elde edilen iki farklı iskelet bilgileri, uzamsal-zamansal ilişkilerin modellenebilmesi amacıyla Two-Stream ST-GCN (Spatial-Temporal Graph Convolutional Network) yapısına verilmiş ve sonrasında Transformer tabanlı dikkat mekanizması ile birleştirilmiştir. Transformer mekanizması ile hareketlerdeki kritik anların öğrenilmesi sağlanmıştır. Önerilen yaklaşım %93.81 F1 skoru elde etmiştir. Two-Stream ST-GCN + Transformer modelinin vermiş olduğu tatmin edici başarı ve GPU üzerindeki yaklaşık 1 saatlik eğitim süresi, önerilen yaklaşımın gerçek zamanlı güvenlik sistemlerinde kullanılabilme potansiyelinin olabileceğini göstermiştir.
Özet (Çeviri)
The continuous, systematic monitoring of crowded environments such as shopping centers, schools, and public transportation systems using security systems is of great importance. Currently, these monitoring activities are mostly conducted through manual systems, and this process cannot be performed properly due to subjective evaluation issues, such as distraction and fatigue, stemming from reliance on human factors. The main objective of this study is to develop a motion analysis system capable of automatically detecting suspicious movements with high accuracy from video images. For this purpose, several deep learning-based models were examined, and performance was evaluated on the UCF101 and Human Activity & Suspicious Behavior Video datasets. In the study, a ResNet18-based CNN-LSTM model and a ConvNeXt-Mamba architecture were implemented for comparison. To reduce the negative effects of variables such as lighting, noise, and camera angle in images, an architecture based on skeleton keypoints rather than pixel-based approaches was proposed. Seventeen joint points belonging to the human body were extracted using the YOLOv8-Pose model, and pose and movement velocity information were obtained from these points. The two different skeleton information sets were fed into a Two-Stream ST-GCN (Spatial-Temporal Graph Convolutional Network) to model spatial-temporal relationships, which were subsequently combined with a Transformer-based attention mechanism. Learning critical moments in movements was enabled by the Transformer mechanism. The proposed approach achieved a %93.81 F1 score. The satisfactory performance of the Two-Stream ST-GCN + Transformer model and the approximately 1-hour training time on a GPU demonstrated that the proposed approach has the potential to be used in real-time security systems.
Benzer Tezler
- İnteraktif makine öğrenmesi kullanılarak, aktör-metâ ilişkisinin analizi ile sağlık geri ödeme sistemlerinde proaktif suistimal tespiti modeli
An interactive machine-learning-based electronic fraud and abuse detection system in healthcare insurance
İLKER KÖSE
Doktora
Türkçe
2015
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGebze Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHMET GÖKTÜRK
- Konvolüsyonel sinir ağları derin öğrenme tekniği ile yüz görüntülerinin sınıflandırılması
Classification of facial images using convolutional neural network deep learning technique
MELEK TURSUN
Yüksek Lisans
Türkçe
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolMilli Savunma ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖMER ÇETİN
- Makine öğrenmesi tabanlı kullanıcı davranış analizi ile bilgisayar sistemlerine giriş kayıtlarında anomali tespiti
Anomaly detection in computer system login records with machine learning based user behaviour analysis
ERHAN YILMAZ
- Suspicious human activity detection from surveillance videos
Gözetim videoları ile şüpheli insan faaliyetlerinin belirlenmesi
FATHIA G.IBRAHIM SALEM
Yüksek Lisans
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇankaya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
Assoc. Prof. Dr. REZA ZARE HASSANPOUR