Deepfake detection through motion magnification inspired feature manipulation
Hareket büyütmesinden esinlenen öznitelik manipülasyonu ile derin sahtelerin tespiti
- Tez No: 763160
- Danışmanlar: YRD. DOÇ. DR. HAMDİ DİBEKLİOĞLU
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Bilgisayarlı görüntüleme, Derin öğrenme, Uzay-zaman, Yüz ifadesi, Computer imaging, Deep learning, Space-time, Facial expressions
- Yıl: 2022
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Sentetik olarak oluşturulmuş medya içeriği, çevrimiçi alanda bilgi güvenliği için önemli bir tehdit oluşturmaktadır. Ünlülerin, politikacıların ve sıradan vatandaşların manipüle edilmiş videoları ve görüntüleri, yanlış beyan ve iftira amaçlıysa, kişinin itibarına ciddi zarar verebilir. Bu tür içeriğin erken tespiti, şüpheli bilgilerin hızlı yayılmasının zamanında önlenmesi için çok önemlidir. Geçtiğimiz yıllarda, önemli sayıda derin sahte algılama metodu, uzay-zaman tutarsızlıklarını ortaya çıkarma amacıyla, bir ön işleme adımı olarak, hareket büyütme teknolojisin kullanılabileceğini ileri sürdü. Fakat, sıklıkla kullanılan hareket büyütme metodları, sınırlı bir hareket kümesi için optimize edildiğinden ve etki alanlarının dışında kullanıldığında önemli görsel yapaylıklar gösterdiğinden, bu tür bir ön işleme yaklaşımı optimal değildir. Bu amaçla, hareket büyütmeyi ayrı bir işlem adımı olarak uygulamak yerine, bir CNN-LSTM sınıflandırma ağına, ek olarak eklenen, eğitilebilir, hareket büyütmeden esinlenen, öznitelik manipulasyonu unitesini test etmeyi öneriyoruz. Yaklaşımımızda, tam entegrasyondan ziyade, video sınıflandırma görevinde, hareket büyütme benzeri mimarilerin kullanımını anlamak için ilk adımları atmayı hedefliyoruz. Sonuçları DeepFakes sahte oluşturma yöntemini kullanarak oluşturulan, ve beş binden fazla sentetik video içeren Celeb-DF veri kümesinde test ediyoruz. Sonuçlarımızın tutarlılığını göstermek için aynı deneysel kurulumla birden fazla deney gerçekleştirerek ortalama doğruluğu sunuyoruz. Deneylerimizde, öznitelik manipulasyonu unitesini ağa dahil edildiğinde doğruluğun ortalama 3% artışlnı gözlemliyoruz.
Özet (Çeviri)
Synthetically generated media content poses a significant threat to information security in the online domain. Manipulated videos and images of celebrities, politicians, and ordinary citizens, if aimed at misrepresentation, and defamation can cause significant damage to one's reputation. Early detection of such content is crucial to timely alleviation of further spread of questionable information. In the past years, a significant number of deepfake detection frameworks have proposed to utilize motion magnification as a preprocessing step aimed at revealing transitional inconsistencies relevant to the prediction outcome. However, such an approach is sub-optimal since often utilized motion manipulation approaches are optimized for a limited set of controlled motions and display significant visual artifacts when used outside of their domain. To this end, rather than apply motion magnification as a separate processing step, we propose to test trainable motion magnification-inspired feature manipulation units as an addition to a convolutional-LSTM classification network. In our approach, we aim to take the first step at understanding the use of magnification-like architectures in the task of video classification rather than aim at full integration. We test out results on the Celeb-DF dataset which is composed of more than five thousand synthetically generated videos generated using DeepFakes fake generation method. We treat manipulation unit as another network layer and test the performance of the network both with and without it. To ensure the consistency of our results we perform multiple experiments with the same configurations and report the average accuracy. In our experiments we observe an average 3% jump accuracy when the feature manipulation unit is incorporated into the network.
Benzer Tezler
- Facilitating collaborative Deepfake detection based on blockchain technology and reputation
Blockchain teknolojisine, işbirliğine ve itibara dayalı Deepfake tespitini kolaylaştırma
MUSTAFA ZEMİN
Yüksek Lisans
İngilizce
2025
Yönetim Bilişim SistemleriOrta Doğu Teknik ÜniversitesiBilişim Sistemleri Ana Bilim Dalı
PROF. DR. NAZİFE BAYKAL
- Attention-boosted CNNs for improved facial deepfake detection
Dikkat-destekli CNN'ler ile yüz tanimada geliştirilmiş derin sahtecilik tespiti
ALPEREN ENES BAYAR
Yüksek Lisans
Türkçe
2024
Elektrik ve Elektronik MühendisliğiEskişehir Teknik ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. CİHAN TOPAL
- Hiperparametre optimizasyonu destekli LSTM ve RNN tabanlı sezgisel algoritmalar ile deepfake ses tespiti
Deepfake audio detection using hyperparameter optimization–assisted LSTM- and RNN -based heuristic algorithms
TOLUN KELEŞ
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolEskişehir Osmangazi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. İDİRİS DAĞ
- Çekişmeli üretici ağ kalıntılarının algılanması ile deepfake tespiti
Deepfake detection by detecting generative adversarial network artifacts
TAMER SAY
Doktora
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi ÜniversitesiBilgi Güvenliği Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ALKAN
- Derin öğrenme tabanlı deepfake algılama ve siber güvenlik: Toplum algısının incelenmesi
Deep learning-based deepfake detection and cybersecurity: A study on public perception
SUZAN AYDIN
Yüksek Lisans
Türkçe
2024
Yönetim Bilişim SistemleriHaliç ÜniversitesiYönetim Bilişim Sistemleri Ana Bilim Dalı
DOÇ. DR. ZEKİ ÖZEN