GAN inversion based image manipulation with text-guided encoders
Metin yönlendirmeli kodlayıcılar ile GAN ters çevirme tabanlı görsel manipülasyonu
- Tez No: 774135
- Danışmanlar: PROF. DR. DENİZ YURET, PROF. DR. İBRAHİM AYKUT ERDEM
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Manipülasyon, Otokodlayıcılar, Üretici ağlar, Manipulation, Autoencoders, Producer networks
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Stil Temelli Çekişmeli Üretici Ağlar (StyleGAN), çözülmüş örtülü uzayları öğrenirken çok yüksek kaliteli görüntü sentezini mümkün kılar. Bu nedenle, örtülü uzay manipülasyonu ile anlamsal görüntü düzenlemeye odaklanan birçok yeni çalışma vardır. Özellikle öne çıkan bir alan, görselleri metinsel açıklamalara göre düzenlemektir. Mevcut çalışmalar, bu probleme ya çok verimli olmayan örnek düzeyinde örtülü vektör optimizasyonu gerçekleştirerek ya da önceden tanımlanmış metin istemlerini örtülü uzaydaki düzenleme yönergelerine eşleyerek yaklaşırlar. Buna karşılık, bu tez çalışmasında metinsel tanımlamalar tarafından yönlendirilen görüntü düzenlemeyi sağlayan iki yeni yaklaşım sunuyoruz. Yöntemlerimiz, bir artık örtülü vektörü ileribildirim ile tahmin eden bir metin koşullu kodlayıcı ağı ya da metin koşullu bağdaştırıcı ağı kullanır. Hem nicel hem de nitel sonuçlar, yöntemlerimizin manipülasyon isabeti açısından rakip yöntemlerden daha iyi performans gösterdiğini, yani sentezlenen görsellerin metinsel açıklamalarla ne kadar iyi uyuştuğunu ve son derece gerçekçi sonuçlar sağlarken orijinal görselin özelliklerini koruduğunu göstermektedir. Aynı zamanda, yöntemimizin insan yüzleri, kediler ve kuşlar dahil olmak üzere çeşitli görsel alanlara genellenebileceğini de gösteriyoruz.
Özet (Çeviri)
Style-based Generative adversarial networks (StyleGAN) enable very high quality image synthesis while learning disentangled latent spaces. Hence, there is a lot of recent work focusing on semantic image editing by latent space manipulation. A particularly emerging field is editing images based on target textual descriptions. Existing approaches tackle this problem either by performing instance-level latent code optimization which is not very efficient or by mapping predefined text prompts to editing directions in the latent space. In contrast, in this thesis work, we present two novel approaches that enable image editing guided by textual descriptions. Our idea is to use either a text-conditioned encoder network or a text-conditioned adapter network that predicts a residual latent code in a feed forward manner. Both quantitative and qualitative results demonstrate that our methods outperform competing approaches in terms of manipulation accuracy, i.e., how well the synthesized images match the textual descriptions while ensuring highly realistic results and preserving features of the original image. We also demonstrate that our method can generalize to various domains including human faces, cats, and birds.
Benzer Tezler
- Coğrafi bilgi sistemleri, bir coğrafi bilgi sisteminin (AKBIS) tasarımı ve gerçekleştirilmesi
Geographic information sytems, design and implementation of a geographic information system (AKBIS)
HAYATİ TAŞTAN
- Data augmentation on chest X-rays for improving pathology classification performance
Patoloji sınıflandırma performansını geliştirmek için göğüs X-ray filmlerinde veri çoğaltma
ONUR ADIGÜZEL
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. LALE AKARUN ERSOY
DR. PINAR YANARDAĞ
- Ultrasonik sprey piroliz (USP) yöntemi ile nano yapılı kurşun oksit üretimi ve karakterizasyonu
Production and characterization of nano structured lead oxide via ultrasonic spray pyrolysis (USP)
BURAK AŞIK
Yüksek Lisans
Türkçe
2012
Metalurji Mühendisliğiİstanbul Teknik ÜniversitesiMetalurji ve Malzeme Mühendisliği Ana Bilim Dalı
PROF. DR. SEBAHATTİN GÜRMEN
- Three-dimensional reconstruction and editing from single images with generative models
Üretken modellerle tekli görsellerden üç-boyutlu yeniden yapılandırma ve düzenleme
BAHRİ BATUHAN BİLECEN
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AYŞEGÜL DÜNDAR BORAL
- Domain-adaptive self-supervised pre-training for face & body detection in drawings
Başlık çevirisi yok
BARIŞ BATUHAN TOPAL
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DOÇ. DR. TEVFİK METİN SEZGİN