Video görüntüleri üzerinde derin öğrenme tabanlı anormal durum tespiti ve derinlik tahmini
Deep learning based abnormal situation detection and depth estimation on video images
- Tez No: 676583
- Danışmanlar: DOÇ. DR. ÖVÜNÇ POLAT
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: Türkçe
- Üniversite: Akdeniz Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez çalışmasında, değrin öğrenme metotları kullanılarak, güvenlik kameralarına yansıyan anormal durumların tespit edilmesi, anormal durumun görüntü içerisinde konumlandırılması ve derinlik tahmin modeli ile anormal durumun mesafesinin kestirimi amaçlanmıştır. Anormal durumun gerçekleştiği anda tespit edilebilmesi amacıyla 3 boyutlu evrişimsel sinir ağı ve devamında tam bağlantılı sinir ağı kullanılmıştır. Anormal durum tespit sisteminde bulunan 3 boyutlu evrişimsel sinir ağı modeli sports-1m veri seti ile önceden eğitilmiş ve eğitim sonucu elde edilen ağırlıklar anormal durum tespiti için özellik çıkartma sürecinde kullanılmıştır. 3 boyutlu evrişimsel sinir ağı modelinden elde edilen özellikler tam bağlantılı sinir ağına uygulanmıştır. Konumlandırma işlemi için bir veri seti oluşturulmuştur ve bu veriseti ile konumlandırma modeli eğitilmiştir. Girdi videosundan belirli aralıklarla elde edilen görüntüler konumlandırma tahmini için MobileNet V2 modeli ve bu modele sonradan eklenen yukarı örnekleme katmanları a uygulanmıştır, bu sayede anormal durum gerçekleştiği esnada ilgili anormal durum görüntü içerisinde konumlandırılabilmiştir. Konumlandırma modeline uygulanan girdi görüntüleri aynı zamanda derinlik tahmin modeline de uygulanmaktadır. Derinlik tahmini için kullanılan sistemde ImageNet veri seti ile önceden eğitilmiş olan DenseNet-169 modeli enkoder olarak çalışmaktadır. DenseNet169 modelinin çıkışına yukarı örnekleme yapacak olan dekoder modeli ilave edilmiştir ve 320x240 boyutunda derinlik haritası üretilmiştir. Derinlik tahmin modeli NYU-Depth V2 veri seti ile önceden eğitilmiş bir modeldir. Tez kapsamında geliştirilen sistemde, anormal durum gerçekleştiği anda konumlandırma modeli çalışarak anormal durumu konumlandırmakta ve derinlik tahmin modeli ile olayın gerçekleştiği mesafe tahmin edilmektedir. Tez çalışmasında, video görüntüleri kullanılarak anormal durum tespiti, anormal durum konumlandırma ve anormal durumun mesafesinin tahmini aynı anda gerçekleştirilmektedir, bu özelliği tez çalışmasını özgün bi çalışma yapmaktadır. Çalışmada anormal durum tespiti aşamasında farklı optimizasyon yöntemlerinin etkisi, konumlandırma aşamasında farklı filtre boyutlarının etkisi gibi sistem performansına etki eden ilgili parametrelerin belirlenmesi işlemleri de gerçekleştirilmiş ve sonuçları ilgili bölümde tartışılmıştır. Eğitim sonucu elde edilen veriler ve bu eğitim parametrelerine bağlı olarak farklı video görüntüleri üzerinde elde edilen sonuçlar da bulgular ve tartışma kısmında ele alınmıştır. Tez çalışması sonucu gerçekleştirilen sistem, otonom araçlarda seyir halinde iken gerçekleşen trafik kazası vb. anormal durumu tespit edebilecek, konumlandırabilecek ve mesafesini tahmin edebilecektir, ayrıca otobüs durakları, meydanlar, kavşaklar ve diğer asayişin sağlanması gerektiği alanlarda kullanılabilecektir.
Özet (Çeviri)
This thesis, it is aimed to detect abnormal situations recorded by security cameras, locate the abnormal situation in the image, and estimate the distance of the abnormal situation with the depth estimation model by using the deep learning methods. In order to detect the abnormal situation as soon as it occurs, a 3D convolutional neural network and in the continuation a fully connected neural network are used. The 3D convolutional neural network model in the abnormal situation detection system was pre-trained with the sports-1m dataset and the weights obtained as a result of the training were used in the feature extraction process for abnormal situation detection. The features obtained from the 3D convolutional neural network model were applied to the fully connected neural network. A dataset was created for the positioning process and the localization model was trained with this dataset. The images obtained from the input video at certain intervals ere applied to the MobileNet V2 model and the upsampling layers were added to this model for localization estimation so that the related anomaly could be located in the image during the abnormal situation. Input images applied to t e localization model are also applied to the depth estimation model. In the system used for depth estimation, the DenseNet-169 model, which was pre-trained with the ImageNet dataset, works as an encoder. Upsampling decoder model was added to the output of the DenseNet-169 model and a depth map of 320x240 size was produced. The depth estimation model is a pretrained model with the NYU-Depth V2 dataset. In the system developed within the scope of the thesis, the positioning model works as soon as the abnormal situation occurs, and the depth estimation model estimates the distance at which the event occurs. In the thesis study, abnormal situation detection, abnormal situation localization, and estimation of the distance of the abnormal situation are performed simultaneously using video images, this feature makes the thesis work a unique study. In the study, the determination of the relevant parameters that affect the system performance, such as the effect of different optimization methods in the anomaly detectio stage, the effect of different filter sizes in the localization stage, were also carried out and the results were discussed in the relevant section. The data obtained as a result of the training and the results obtained on different video images depending on these training parameters are also discussed in the discussion section. The system can be detected as a result of the thesis study, traffic accidents, etc. while driving in autonomous vehicles. It will be able to detect, locate and estimate the abnormal situation, and can also be used in bus stops, squares, intersections, and other areas where security is required.
Benzer Tezler
- Single-frame and multi-frame super-resolution on remote sensing images via deep learning approaches
Derin öğrenme yaklaşımlarıyla uzaktan algılama görüntülerinde tek çerçeve ve çok çerçeve süper çözünürlük
PEIJUAN WANG
Doktora
İngilizce
2022
İletişim Bilimleriİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ELİF SERTEL
- Deep learning based three dimensional face expression recognition using geometry images from three dimensional face models
Üç boyutlu yüz modellerinden elde edilen geometri görüntüleri kullanılan derin öğrenme tabanlı üç boyutlu yüz ifadelerini tanıma
NEŞE GÜNEŞ
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ULUĞ BAYAZIT
- Çoklu video görüntüleri üzerinde akıllı hedef takibi
Intelligent target tracking on multi video images
SEVİNÇ AY DOĞRU
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolFırat ÜniversitesiYazılım Mühendisliği Ana Bilim Dalı
PROF. DR. MURAT KARABATAK
- Davranışsal ve fiziksel multi-biyometri ile kişi kimliklendirme ve hareket tanıma üzerine yaklaşımlar
Approaches to person identification and motion recognition with behavioral and physical multi-biometrics
ONUR CAN KURBAN
Doktora
Türkçe
2022
Elektrik ve Elektronik MühendisliğiYıldız Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. TÜLAY YILDIRIM
- Deep convolutional neural network based representations for person re-identification
Kişiyi yeniden tanıma için derin evrişimsel sinir ağı tabanlı modeller
ALPER ULU
Yüksek Lisans
İngilizce
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. HAZIM KEMAL EKENEL