Image inpainting with diffusion models and generative adversarial networks
Difüzyon modelleri ve çekişmeli üretici ağları ile görüntü tamamlama
- Tez No: 866045
- Danışmanlar: DR. ÖĞR. ÜYESİ AYŞEGÜL DÜNDAR BORAL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Bilgisayarla görme, Üretici çekişmeli ağlar, Computer vision, Generative adversial networks
- Yıl: 2024
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Görüntü tamamlama, görüntülerden istenmeyen pikselleri silmeyi ve bunları anlamsal olarak tutarlı ve gerçekçi bir şekilde doldurmayı içeren bir görevdir. Bu göreve yönelik iki yeni yaklaşım sunuyoruz. İlk yaklaşım, bir görüntüden hangi nesnenin çıkarılacağını belirlemek için doğal dil girdisi kullanıyor. Bu görev için GQA-Inpaint adlı bir veri seti oluşturuyor ve bu veri seti üzerinde metin komutuna dayalı olarak görüntülerden nesneleri çıkarabilen bir difüzyon tabanlı görüntü tamamlama modeli eğitiyoruz. İkinci yaklaşım, gerçekçi görüntü tamamlama ve düzenleme amacıyla silinmiş görüntüleri StyleGAN'ın gizli uzayına geri döndürmek gibi zorlu bir görevi başarıyor. Bu görev için, kodlanmış olan silinmiş görüntü özelliklerini rastgele örneklerden elde edilen StyleGAN'ın stil vektörleri ile birleştirmek amacıyla bir kodlayıcı ve bir karıştırma ağı öğrenmeyi öneriyoruz. Aynı silinmiş resim için çeşitli görüntü tamamlama sonuçları elde etmek adına, kodlanmış özellikleri ve rastgele örneklenen stil vektörlerini karıştırma ağı aracılığıyla birleştiriyoruz. Yöntemlerimizi modellerin kalitesini ölçen farklı değerlendirme metrikleriyle karşılaştırıyoruz ve önemli niceliksel ve niteliksel iyileştirmeler gösteriyoruz.
Özet (Çeviri)
We present two novel approaches to image inpainting, a task that involves erasing unwanted pixels from images and filling them in a semantically consistent and realistic way. The first approach uses natural language input to determine which object to remove from an image. We construct a dataset named GQA-Inpaint for this task and train a diffusion-based inpainting model on it, which can remove objects from images based on text prompts. The second approach tackles the challenging task of inverting erased images into StyleGAN's latent space for realistic inpainting and editing. For this task, we propose learning an encoder and a mixing network to combine encoded features of erased images with StyleGAN's mapped features from random samples. To achieve diverse inpainting results for the same erased image, we combine the encoded features and randomly sampled style vectors via the mixing network. We compare our methods with different evaluation metrics that measure the quality of the models and show significant quantitative and qualitative improvements.
Benzer Tezler
- Difüzyon ağları ile görüntü rekonstrüksiyonu ve restorasyonu
Image reconstruction and restoration with diffusion networks
ONUR PARAPAN
Yüksek Lisans
Türkçe
2025
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ENDER METE EKŞİOĞLU
- Yapay zeka algoritmaları ile sanatsal yaratım ve yeniden üretim potansiyellerinin 'FISPIS' tekniği üzerinden değerlendirilmesi
Evaluating the creative and reproductive potentials of artificial intelligence algorithms through the 'FISPIS' technique
GÜZİN GİZEM RENKLİDAĞ
Yüksek Lisans
Türkçe
2024
Bilim ve TeknolojiMimar Sinan Güzel Sanatlar ÜniversitesiEnformatik Ana Bilim Dalı
DOÇ. DR. BÜLENT ONUR TURAN
- Perceptual video restoration: Task-specific versus pre-trained large generative models
Algisal video restorasyonu: Göreve özel ve önceden eğitilmiş büyük üretici modellerin
NASRIN RAHIMI
Doktora
İngilizce
2025
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Ana Bilim Dalı
PROF. DR. AHMET MURAT TEKALP
- Unified approaches to efficient and robust image retrieval through fusion restoration, and compression
Füzyon, sıkıştırma ve restorasyon yoluyla verimli ve dayanıklı görsel getirim için birleşik yaklaşımlar
ENİS TEPER
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ YUSUF HÜSEYİN ŞAHİN
- Controllable diffusion-based visual editing
Kontrol edilebilir difüzyon tabanli görsel düzenleme
YİĞİT EKİN
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AYŞEGÜL DÜNDAR BORAL