Computer vision based multi-lingual fingerspelling recognition
Bilgisayarla görme tabanlı çok dilli parmak alfabesi tanıma
- Tez No: 286369
- Danışmanlar: PROF. LALE AKARUN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Bilgisayarla görme, Saklı Markov modeli, İmge, Computer vision, Hidden Markov model, Image
- Yıl: 2011
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tezde bilgisayarla görme tabanlı otomatik işaret dili tanıma ve ilgili alt konular üzerine yoğunlaşmış çalışmalar yaptık. Çalışmada üzerinde yoğunlaşılan el alfabeleri, işaret dillerinin, işaret dilinde karşılığı olmayan kelimelerin sadece parmak hareketlerini kullanarak temsilini sağlayan bir alt kümesidir. El alfabeleri, kavramları ellerin şekillerini, yönelimlerini, konumlandırmasını ve hareketlerini kullanarak temsil eder. Bu çalışmada, çok kipli ve çok dilli sistemlerde kullanılabilecek, Türk, Çek ve Rus el alfabelerinde yarı gerçek zamanlı el alfabesi tanıma yapan bir sistem geliştirdik. Otomatik işaret dili tanıma problemi üzerine yaptığımız çalışmalarda, el izleme ve bölütleme, el özniteliklerinin temsili, sınıflandırılması ve zamansal bölütlenmesi gibi alt konularda yoğunlaşarak geliştirdiğimiz ve kullandığımız metotların karşılaştırmalı analizlerini yaptık. Geliştirdiğimiz el ve yüz izleme yöntemiyle kamera karşısında işaret dili icra eden bir kullanıcının ellerini dayanıklı ve verimli bir şekilde takip edebiliyoruz. Klasik Camshift algoritmasına yaptığımız çoklu obje izleme, otomatik renk modeli oluşturma, otomatik el bulma ve kesişip ayrışan objeleri işaretleme yöntemleriyle kesintisiz videolarda dayanıklı el işareti tanıması yapılmasına olanak sağladık. El hareketi temsil metotlarımızda Eliptik Fourier betimleyicileri, Hu momentleri, ışınsal uzaklık fonksiyonu, yerel ikili örüntüler gibi iki boyutlu imgelerden elde edilen görüntü kipli özniteliklere ağırlık verdik. Bu özniteliklerin tanıma performanslarını tek tek ve birlikte inceleyerek sistemin detaylı bir analizini gerçekleştirdik. İmge dizileriyle yaptığımız testlerde, izole el hareketleri için en iyi tanıma başarımını yüzde 92 ile yerel ikili örüntü betimleyicileri verdi. Kesintisiz el işareti dizilerinde, işaretlerin başlama ve bitiş zamanlarını bulmak için hareket ve harekete bağlı bulanıklığı bir öznitelik olarak kullandık. Son olarak zamansal ve görsel özniteliklerin, el işareti dizilerini tanıma için kaynaşımını gerçekleştirerek dizilerde ağırlıklı oylama, ayrık Saklı Markov Modelleri ve kesintisiz Saklı Markov Modelleriyle el hareketlerini modelledik. İşaret dili tanıma başarımını ölçmek için yaptığımız testlerde, kendi topladığımız Türk, Çek ve Rus el alfabelerinden oluşan çok dilli veritabanını kullandık. Bu tez kapsamında, çalışmalarda geliştirilen yöntemleri kullanan bir parmak alfabesinden sese tercüme uygulaması geliştirdik.
Özet (Çeviri)
In this thesis, we focus on the problem of computer vision based automatic sign-language recognition and its related subtasks. The study focuses on the recognition of fingerspelling gestures, which are a subset of sign languages that provide manual representation for spoken alphabet letters. Fingerspelling gestures make use of hand shapes, orientation, location and movements. We perform the task of fingerspelling recognition of Turkish, Czech and Russian manual alphabets with the purpose of integrating these sign alphabets to multi-modal and multilingual deployable applications. In the thesis, we divide the automatic fingerspelling recognition task into sub-challenges and design methodologies to improve overall sign recognition performance. We describe an approach to tracking of hands and a face in an image sequence containing the frontal pose of a signing person. A classical Camshift algorithm is extended in this study to contain automatic skin color model initialization, hand re-detection and collision handling. The algorithm performs robust, close to real-time hand tracking. Secondly, we focus on hand gesture representation. We evaluate the usage of appearance based features for describing the manual component of Sign Languages; in particular Elliptic Fourier Descriptors, Hu Moments, Radial Distance Function and Local Binary Patterns. We test the recognition performance of individual features and their combinations. Local Binary Patterns show the best recognition performance on isolated gestures with a recognition rate of up to 92 per cent. We explore the usage of features such as hand motion and motion blur in the problem of temporal segmentation to separate gesture start and end locations in continuous gesture videos. We investigate the fusion of temporal and appearance features using sequence voting, discrete HMMs and continuous HMMs. We test the fingerspelling recognition accuracy of our system on a self collected multilingual fingerspelling dataset consisting of Turkish, Czech and Russian manual alphabets from multiple signers with multiple repetitions. Finally, we have demonstrated the applicability of our system in a prototype application that functions as a multi-lingual fingerspelling to speech translator.
Benzer Tezler
- Computer vision-based human action recognition via keypoint tracking
Anahtar nokta takibi ile bilgisayarla görme temelli insan hareketi tanıma
YUNUS EMRE KARA
Yüksek Lisans
İngilizce
2011
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. LALE AKARUN
- A computer vision based method for semi-automated rebar detection and measurement of reinforced concrete columns
Betonarme kolonlar için sayısal görüntü işleme temelli yarı otomatik donatı ölçme ve belirleme yöntemi
MUHAMMAD USMAN HASSAN
Yüksek Lisans
İngilizce
2014
İnşaat MühendisliğiOrta Doğu Teknik Üniversitesiİnşaat Mühendisliği Ana Bilim Dalı
Assoc. Prof. Dr. ÖZGÜR KURÇ
- Sperm analizi için bilgisayar görüsü tabanlı yeni bir yaklaşım ve uygulaması
A new approach based on computer vision and its application for sperm analysis
FATİH OKUMUŞ
Yüksek Lisans
Türkçe
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİnönü ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. ADNAN FATİH KOCAMAZ
- Multi-modal stereo-vision using infrared/visible camera pairs
Görünür ve kızılötesi kamera çiftleri kullanarak çoklu biçimli steryo görme
MUSTAFA YAMAN
Doktora
İngilizce
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
YRD. DOÇ. DR. SİNAN KALKAN
- Exploring fusion models in computer vision for medical image computing
Başlık çevirisi yok
DUYGU SARIKAYA
Doktora
İngilizce
2017
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolState Unıversıty Of New York At BuffaloDr. JASON J. CORSO