Multimodal Machine Translation
Başlık çevirisi mevcut değil.
- Tez No: 622480
- Danışmanlar: PROF. DR. DANIŞMAN YOK
- Tez Türü: Doktora
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Le Mans Unıversıte
- Enstitü: Yurtdışı Enstitü
- Ana Bilim Dalı: Belirtilmemiş.
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Machine translation aims at automatically translating documents from one language to another without human intervention. With the advent of deep neural networks (DNN), neural approaches to machine translation started to dominate the eld, reaching stateof- the-art performance in many languages. Neural machine translation (NMT) also revived the interest in interlingual machine translation due to how it naturally ts the task into an encoder-decoder framework which produces a translation by decoding a latent source representation. Combined with the architectural exibility of DNNs, this framework paved the way for further research in multimodality with the objective of augmenting the latent representations with other modalities such as vision or speech, for example. is thesis focuses on a multimodal machine translation (MMT) framework that integrates a secondary visual modality to achieve beer and visually grounded language understanding. I specically worked with a dataset containing images and their translated descriptions, where visual context can be useful for word sense disambiguation, missing word imputation, or gender marking when translating from a language with gender-neutral nouns to one with grammatical gender system as is the case with English to French. I propose two main approaches to integrate the visual modality: (i) a multimodal aention mechanism that learns to take into account both sentence and convolutional visual representations, (ii) a method that uses global visual feature vectors to prime the sentence encoders and the decoders. rough automatic and human evaluation conducted on multiple language pairs, the proposed approaches were demonstrated to be benecial. Finally, I further show that by systematically removing certain linguistic information from the input sentences, the true strength of both methods emerges as they successfully impute missing nouns, colors and can even translate when parts of the source sentences are completely removed.
Özet (Çeviri)
Özet çevirisi mevcut değil.
Benzer Tezler
- Learning visually-grounded representationsusing cross-lingual multimodal pre-training
Çok dilli çok kipli ön öğrenme ile görsel tabanlı temsillerin öğrenilmesi
MENEKŞE KUYU
Yüksek Lisans
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MEHMET ERKUT ERDEM
- Müze iletişimi ve özel alan çevirisi
Museum communication and specialised translation
HANDE ÇİL TEYMOURI NAGHADEH
Yüksek Lisans
Türkçe
2024
MüzecilikYıldız Teknik ÜniversitesiSanat ve Tasarım Ana Sanat Dalı
PROF. DR. KADRİYE TEZCAN AKMEHMET
- Çok dilli ortamlarda gerçek zamanlı ses ve video konferans için ölçeklenebilir bir sistem tasarımı
A scalable system design for real-time audio and video conferencing in multilingual environments
EREN ÇAĞLAR
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYıldız Teknik ÜniversitesiVeri Bilimi ve Büyük Veri Ana Bilim Dalı
PROF. DR. MEHMET SIDDIK AKTAŞ
- Multilingual, multimodal and explainable approaches for automated fact-checking problem
Otomatik doğrulama problemi için çok dilli, çok modlu ve açıklanabilir yaklaşımlar
RECEP FIRAT ÇEKİNEL
Doktora
İngilizce
2025
DilbilimOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. PINAR KARAGÖZ
- ArGemma: Gemma'nın Arapçaya uyarlanddırılması için ince ayar ve çok görevli öğrenme mimarisi
ArGemma: A fine-tuning and multi-task learning architecture for adapting Gemma to Arabic
TAHA AL-SELWI
Yüksek Lisans
Türkçe
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ SERAP ÇAKAR KAMAN