A learned post-processing model with quality-gated convlstm for video compression
Video sıkıştırma için kalite kapılı evrişimsel uzun-kısa süreli bellek ile öğrenilmiş bir işlem sonrası model
- Tez No: 836744
- Danışmanlar: PROF. DR. AHMET MURAT TEKALP
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Son dönemlerde, kodlama verimliliği ve kalite iyileştirme açısından derin öğrenmenin video sıkıştırma ve iyileştirmede uygulanmasında önemli ilerleme kaydedilmiştir. Bu çalışmada, video sıkıştırma ve yeniden inşa etme için, göreceli kalite dikkate alınarak sıkıştırılmış video karelerinin kalitesini artırmak için Kalite Kapılı Evrişimsel Uzun-Kısa Süreli Bellek hücrelerini içeren öğrenilmiş bir işleme sonrası ağ önerilmektedir. Önerilen Kalite Kapılı Evrişimsel Uzun-Kısa Süreli Bellek hücre tabanlı son işleme ile ağın, komşu sıkıştırılmış kareler arasındaki kareler arası korelasyon ve kalite dalgalanmasından faydalanmakta ve bundan tam avantaj sağlanmaktadır. Yüksek kaliteli sıkıştırılmış çerçeveler, düşük kaliteli sıkıştırılmış çerçevelerden daha yararlı bilgiler sağladığından, önerilen ağ Kalite Kapılı Evrişimsel Uzun-Kısa Süreli Bellek hücrelerindeki unut ve giriş kapı ağırlıklarını ayarlayabilmektedir. Çerçeveler arasında göreceli kalite bilgisi kullanan önerilen ağın gelişimini göstermek için, girdi olarak ağa verilen video çerçeveleri, standart VVC (H.266) sıkıştırma algoritması kullanılarak farklı kalite değerleriyle hiyerarşik olarak sıkıştırılmaktadır. Önerilen ağda, Kalite Kapılı Evrişimsel Uzun-Kısa Süreli Bellek ağına verilen ağırlıklar, sıkıştırılmış video karelerinden kaliteyle ilgili özelliklerin çıkarılmasıyla belirlenmektedir. Ek olarak, kalite özelliği çıkarımı için bir referans çerçevesi bulunmadığından Transformer, göreceli sıralama ve öz-tutarlılık algoritmalarını kullanan referanssız bir görüntü kalitesi değerlendirme yöntemi önerilmektedir. Önerilen ağın kalite iyileştirme performansı, PSNR, MS-SSIM ve VMAF gibi, sıklıkla kullanılan metriklerle ölçülür.
Özet (Çeviri)
Recently, significant progress has been shown in applying deep learning to video compression and enhancement in terms of coding efficiency and quality improvement. In this work, a learned post-processing network is proposed for video compression and restoration tasks, which contains Quality-Gated Convolutional Long Short-Term Memory (QG-ConvLSTM) cells to enhance the quality of the compressed video frames considering the relative quality. With the proposed QG-ConvLSTM cell-based post-processing, the network exploits and takes full advantage of the inter-frame correlation and quality fluctuation between neighboring compressed frames. Since high-quality compressed frames provide more helpful information than low-quality compressed frames, the network can adjust the input and forget gate weights in QG-ConvLSTM cells. To show the enhancement of the proposed network that uses relative quality information between frames, video frames given to the network as inputs are compressed hierarchically with different qualities using the standard VVC (H.266) codec. In the proposed network, the weights given to the QG-ConvLSTM network are determined by extracting quality-related features from compressed video frames. Additionally, there is no reference frame for the quality feature extraction, so a no-reference image quality assessment method via Transformers, relative ranking, and self-consistency is suggested. The quality enhancement performance of the proposed network is measured with frequently used metrics, namely PSNR, MS-SSIM, and VMAF.
Benzer Tezler
- Color optimization and diffusion-based post-processing to obtain sharper images without compromising R-D performance in learned image compression
Öğrenilmiş görüntü sıkıştırmada R-D performansını bozmadan daha keskin görüntüler elde etmek için renk optimizasyonu ve difüzyon tabanlı son işleme
ÖKKEŞ UĞUR ULAŞ
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. AHMET MURAT TEKALP
DOÇ. DR. İBRAHİM AYKUT ERDEM
PROF. DR. MEHMET ERKUT ERDEM
- Face recognition and person re-identification for person recognition
Kişi tanıma için yüz tanıma ve kişinin yeniden tanınması
EMRAH BAŞARAN
Doktora
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. MUSTAFA ERSEL KAMAŞAK
PROF. DR. MUHİTTİN GÖKMEN
- Multi-model and multi-stage learned image super-resolution
Çoklu model ve çoklu eğitim ile öğrenilen süper çözünürlük
CANSU KORKMAZ
Yüksek Lisans
İngilizce
2021
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ZAFER DOĞAN
PROF. DR. AHMET MURAT TEKALP
- Görsel algıya ilişkin bir korteks modeli
A cortex model of visual cognition
MEHMET ALİ ANIL
Yüksek Lisans
Türkçe
2018
Nörolojiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. NESLİHAN SERAP ŞENGÖR
- Sosyobilimsel konuların öğretiminde örnek olay destekli 5E öğretim modelinin öğrencilerin eleştirel düşünme becerisine etkisi
The effect of the case study supported 5E teaching model on the critical thinking skills of students in teaching society scientific topics
NESLİHAN YENİCE
Yüksek Lisans
Türkçe
2025
Eğitim ve ÖğretimBolu Abant İzzet Baysal ÜniversitesiMatematik ve Fen Bilimleri Eğitimi Ana Bilim Dalı
PROF. DR. EBRU ÖZTÜRK AKAR