Görüntü verilerinde derin öğrenme tabanlı yüz tanıma ve fiziksel şiddet olaylarının adli bilişim açısından tespiti
Deep learning-based facial recognition in image data and detection of physical violence incidents in terms of forensics
- Tez No: 839896
- Danışmanlar: DOÇ. DR. SEDA ARSLAN TUNCER, DR. ÖĞR. ÜYESİ MUSTAFA KAYA
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Görsel nesne tanıma, Visual object recognition
- Yıl: 2023
- Dil: Türkçe
- Üniversite: Fırat Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Yazılım Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Teknolojinin hızlı bir şekilde gelişmesi hayatımızın neredeyse tüm alanına sirayet ettiği görülmüştür. Son yıllarda yapay zekâ alanında yaşanılan gelişmelere bakıldığında, yapay zekâ modellerinin insan başarı oranının üzerinde tespit, analiz ve anlamsal bütünlük sağladığı görülmektedir. Adli bilişim de bu alanların başında gelmekte ve yaşanılan teknolojik gelişmelere paralel olarak, yapay zekanın alana entegrasyonu konusunda çaba sarf edilmektedir. Adli bilişim alanında yaşanılan problemlere bakıldığında, adli delillerin incelenmesi ve analizi gösterilebilir. Uzman personel tarafından adli delil içerisinden çıkan dosyaların üzerinde yapılacak analizin hem zaman hem de maliyet açısından büyük dezavantajı bulunmaktadır. Özellikle adli bilişim analiz yazılımlarının görüntü, video ve ses gibi multimedya verileri üzerinde kısıtları düşünüldüğünde bu türden ilgili dosyalar üzerinde detaylı analiz yapılması imkânsız hale gelmektedir. Bu tez çalışmasında adli bilişim süreci adli delil analizi aşamasında meydana gelen problemlerin aşılması, maddi gerçeğin ortaya çıkarılması için delil içinde bulunan kişi/kişilerin ve olayların özelinde şiddet tespitinin yapılması amaçlanmıştır. Kişi ve olay korelasyonu yapılarak adli delil içerisinde bulunan verilerin içeriklerinin anlamsal çıkarımları yapılacaktır. Bu anlamsal çıkarım sadece bu tez özelinde bulunan nesneler dahilinde sınırlı değil, tüm olay ve olguları kapsayacak şekilde genişletilebilmektedir. Bu tez çalışmasında son yıllarda gerçek zamanlı ve yüksek başarımlı nesne tanıma mimarilerinden YOLOv8 kullanılarak kişi tespit, tanıma ve olay tespitlerinin yapılması amaçlanmıştır. Elde edilen sonuçlara bakıldığında en başarılı modellerimiz donanım bağımlı olarak %99 başarım ve 55 fps'de yüz tespiti, %90 başarım ve 55fps'de olay tespiti ve %99,8 oranında kişilerin kimliklendirilmesini yapabilmektedir. Ayrıca yapılan tespitlerin adli bilişim uzmanları tarafından rahatlıkla kullanılabilmesi amacıyla tez çalışması sonucunda bir arayüz oluşturulmuş ve demo versiyonu kullanıcıların hizmetine sunulmuştur.
Özet (Çeviri)
It has been observed that the rapid development of technology has spread to almost all areas of our lives. Looking at the developments in the field of artificial intelligence in recent years, it is seen that there are many studies that provide detection, analysis and semantic integrity above the human success rate. Forensic informatics is one of these fields and strives to integrate artificial intelligence into our lives with technological developments. Examination and analysis of forensic evidence can be shown as the problems experienced in the field of forensic informatics. The analysis to be performed by specialized personnel on the files extracted from forensic evidence has great disadvantages in terms of both time and cost. Especially forensic analysis software has limitations on multimedia data such as images, video and audio. In this thesis, in order to overcome the problems that occur during the forensic evidence analysis phase of the forensic informatics process, it is aimed to identify the person/persons and events in the evidence in order to reveal the material truth. Thus, by making person and event correlation, semantic inferences of the content of the data contained in the forensic evidence will be made. In this thesis, it is aimed to perform person detection, recognition and event detection using YOLOv8, one of the real-time and high-performance object recognition architectures in recent years. When we look at the results obtained, our most successful models can perform face detection at 55fps with 99% success, event detection at 55fps with 90% success and identification of people at a rate of 99.8% depending on the hardware. In addition, an interface was created as a result of the thesis study in order to make the detections easily used by forensic informatics experts and the demo version was presented to the service of users.
Benzer Tezler
- Davranışsal ve fiziksel multi-biyometri ile kişi kimliklendirme ve hareket tanıma üzerine yaklaşımlar
Approaches to person identification and motion recognition with behavioral and physical multi-biometrics
ONUR CAN KURBAN
Doktora
Türkçe
2022
Elektrik ve Elektronik MühendisliğiYıldız Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. TÜLAY YILDIRIM
- Emotion recognition in children: Single and multimodal approaches with facial and physiological data
Çocuklarda duygu tanima: Yüz ve fizyolojik verilerle tekli ve çoklu modalite yaklaşimlari
ŞEYMA TAKIR
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
- Transfer learning based facial emotion recognition and action unit detection
Transfer öğrenme tabanlı yüz ifadesinden duygu tanıma ve eylem birimi tespiti
SÜLEYMAN ENGİN BAĞLAYİCİ
Yüksek Lisans
İngilizce
2021
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HATİCE KÖSE
- Deep learning based three dimensional face expression recognition using geometry images from three dimensional face models
Üç boyutlu yüz modellerinden elde edilen geometri görüntüleri kullanılan derin öğrenme tabanlı üç boyutlu yüz ifadelerini tanıma
NEŞE GÜNEŞ
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ULUĞ BAYAZIT
- Pekiştirmeli öğrenme ile yüz görüntüsünün yüksek çözünürlükte elde edilmesi
High resolution facial image acquisition with reinforcement learning
EMRE ALTINKAYA
Doktora
Türkçe
2025
Elektrik ve Elektronik MühendisliğiSakarya ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ BURHAN BARAKLI