Geri Dön

MBT: A Context Aware Mission Based Tracker

ORTAM FARKINDALIKLI GÖREV TABANLI TAKİPÇİ

  1. Tez No: 633660
  2. Yazar: KAZIMHAN PEKER
  3. Danışmanlar: DOÇ. DR. DENİZ TURGAY ALTILAR
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2020
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Elektronik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Hedef takip sistemleri bir kameradan alınan görüntüler üzerinde belirlenen bir nesnenin görüntüler bitene kadar takip edilmesini amaçlayan sistemlerdir. Hedef takibi esnasında takip sistemleri bazı sorunlar yaşamaktadır. Bu sorunların başında tıkanma, hızlı hareket, arka plan dağınıklığı, rotasyon veya aydınlanma gelmektedir. Tıkanma problemi takip edilen objenin farklı bir başka objenin arkasına görünmeyecek seviyede veya yarı görünür seviyede konumlanması ile oluşur. Bu durumda takip edilen nesneden takip için alınan bilgiler azalır ve zamanla takip sistemi takip edilen nesneyi takip edememeye başlar. Arka plan dağınıklığı problemi ise takip edilen nesnenin etrafında bulunan nesnelerin sayılarının çok fazla olması ve takip edilen nesnenin karıştırılmasına neden olma durumunda karşılaşılan problemdir. Rotasyon durumunda sistem takip ettiği nesnenin ekseni etrafında dönme hareketinden kaynaklı takip ettiği nesnenin tespitini rotasyon boyunca tespit etmekte sorun yaşıyor ve zamanla hata oranı artarak takip edilen obje sistem tarafından tespit edilememeye başlıyor. Aydınlanma problemini bir örnek ile açıklamak istersek, hedef takibi yapan kameranın önünde bir aydınlanma sonucu cisimden bilgi alınamaması sonucunda cismin kaybedilmesi durumudur. Bu sorunları çözmek adına üretilen takip sistemleri temelde discriminative ve generative olarak ikiye ayrılmıştır. Generative model nesnenin görünüş bilgisini alıp bir sonraki görüntüde takip edilen nesnenin konumunu bulmaya çalışır. Bir başka deyişle generative modelde nesnesnin görünüşüne odaklanılır. Ek olarak generative modelde arka plan bilgisi kullanılıp kullanılmaması tasarımcıya kalmıştır. Tasarımcı isterse arka plan bilgisi ve takip edilen nesnenin görünüş bilgisini kullanarak bir sonraki görüntüde nesne konumunu tespit etmeye çalışır. Discriminative model aldığı bir örnek görüntü için koşullu olasılık yoğunluğunu hesaplayarak bir sonraki görüntüde hedefin konumunu tespit etmeye çalışır. Bu işlemi gerçekleştirirken arka plan ve nesnenin olduğu kısımları ayrı ayrı değerlendirir. Alınan arka plan bilgisi ve objenin bulunduğu parçanın bilgisi ile birlikte HOG analizi yapılmak üzere sistemde işlenilir. Daha sonra çıkan sonuçlar SVM sınıflandırıcıya giriş olarak verilir. SVM sınıflandırıcı bu alınan örnekleri arka plan ve takip edilen obje olarak 2 farklı gruba ayırır ve çıkışına iletir. Daha sonra çıkışta arka plan olarak çıkan örnekler negatif örnek, objenin yer aldığı örnekler pozitif örnek olarak değerlendirilir. Negatif örnek olarak değerlendirilen parçalar tıkanma probleminin çözülmesinde kullanılır. Bu örnekler takip edilen nesnenin bir sonraki görüntüde nerede bulunabileceği konusunda birçok bilgi içerir. Pozitif örnekler ise takip edilen nesne hakkında bilgi içerdikleri için bu örnekler bir sonraki görüntüde takip edilen nesneyi konumlandırmada önemli bir bilgi kaynağıdır. Son dönemde üretilen algoritmalar takip edilen nesne hakkında daha çok bilgi sahibi olmayı hedeflemektedir. Bu durum ise işlenmesi gereken bilgi miktarını artırmaktadır. Artan bu bilgiler ise algoritmalarda bir algoritma karmaşıklığına sebep olmaktadır. Algoritmaların karmaşıklığı sistemin hesaplama süresini belirler. Son dönemlerde işlem yoğunluğunun fazlaca olduğu algoritmalara CNN temelli öğrenmeye dayalı algoritmalarını örnek verebiliriz. CNN temelli algoritmaların hedef takibi sırasında her görüntü için yapması gereken işlem miktarı fazladır. Bu durum CNN temelli algoritmaların CPU üstünde koşturulmalarını engellemektedir. Çünkü hedef takibi yapacak bir algoritma gerçek zamanlı veya gerçek zamana yakın bir fps değerinde işlem yapması gereklidir. Gerçek zamanlı çalışma için 25 fps değerlerinin altına inilmemelidir. Fakat bu algoritmalar CPU üzerinde koşturulursa bazı algoritmalar 1 fps değerlerini bile ulaşamamaktadır. Bu durum ise hedef takibi açısından negatif bir durumdur. Bu sebeplerden ötürü CNN temelli algoritmaların GPU üzerinde koşturulması fikri yaygınlaşmıştır. Sebebi ise GPU işlemcilerin hesaplama hızlarının yüksek olmasından kaynaklıdır. Fakat GPU kullanılan sistemlerin mühendislik açısından maliyetleri yüksek olması CPU kullanımına araştırmacıları yönlendirmektedir. Düşük maliyetli tasarımlarda maliyet göz önüne alındığında GPU kullanılmamaktadır.Bu tür algoritmaların CPU uygulamalarında fps değerleri düşük çıkmaktadır. Bu durum ise takip sistemlerinde istenen bir durum değildir. Gerçek zamanlı bir uygulama geliştirmek için fps değerinin yüksek olması gereklidir, fakat tahmin etme yeteneğinin artırılması için geliştirilen algoritmaların yürütme süreleri artmaya başlamıştır. Yürütme sürelerinde gerçekleşen artışı azaltmak adına çok işlemcili CPU veya GPU içeren mimariler kullanılması işlem süresini düşürülebileceği düşünülmektedir. Fakat bu durumda düşük maliyetli sistem hedefinden uzaklaşılmış olacaktır. Bu sebeple tezimizde düşük maliyetli sistem üretebilmek için tek işlemcili bir mimari kurmaya karar verdik. Tezimizde DCFB tabanlı bir algoritma kullanmaya karar vermemizin sebebi takip performansı göz önüne alındığında DCFB temelli algoritmaların son zamanlarda üstün bir performans göstermesidir. Ek olarak bu algoritma modeli CPU üzerinde yüksek fps değerlerinde koşabilmektedirler. CPU üzerinde koşabilmeleri bizim başlangıç olarak düşük maliyetli sistem üretme amacımıza uygundur. Ek olarak takip performansı olarak birçok CNN temelli algoritmadan iyi olması bizi DCFB temelli bir algoritma üretimine yönlendirmiştir. DCFB tabanlı sistemimizde komple görüntüyü incelemek yerine sadece takip penceresinin içeriğini inceleyerek sisteme birçok örnek aktarımı sağlanır. Alınan bu örnekler öncelikli olarak korelasyon filtresine aktarılır. Daha sonra alınan bu örnekler farklı yakınlaştırma değerlerine göre büyütülür küçültülür. Korelasyon filtresi her örnek üzerinde filtreyi uygular. Bu işlemin amacı en yüksek korelasyon tepkisine sahip örneğin bulunması amaçlıdır. Ek olarak, korelasyon tabanlı sistemlerde her görüntüde korelasyon filtresi güncellenir. Bu işlemin amacı ise sistemin tahmin etme performansının artırılmasıdır. Bir başka deyişle eğer sistem korelasyon filtresini güncellemez ise zamanla aldığı korelasyon tepkileri alınması gereken tepkilerin altına düşecektir. Bu durumu önlemek için değişen görüntü bilgilerine adaptasyon amaçlı korelasyon filtresi güncellenir. Bir başka önemli husus ise farklı yakınlaştırma değerlerinin göz önünde bulundurulmasıdır. Çünkü yakınlaştırma işlemleri takip sistemlerinde hedef takibini zorlaştıran bir durumdur. Sistemler yakınlaştırma işlemlerine adapte olmakta zorluk çektikleri için hedef takibinden problem yaşarlar. Bu sebepten kaynaklı sistemimiz yakınlaştırma işlemlerinde adapte olabilen bir sistemdir. Daha sonra en yüksek korelasyon tepkisine sahip bu örnek konum bulunmasında kullanılmak üzere sistemin geri kalan fonksiyonlarına aktarılır. Sistem bu örnek tepki değerlerine bakarak hedef takibi esnasında tıkanma olup olmadığını sezmek için tıkanma kontrol bloğunu kullanır. Eğer tıkanma var ise bazı varsayımlarda bulunarak tıkanma problemini çözmeye çalışır. Daha sonra çıkan sonuçlar hız kontrol bloğuna aktarılır. Bu blokta takip edilen nesnenin sistem verilerine göre hızı m/s cinsinden hesaplanır. Eğer sistem verileri ile hesaplanan obje hızı o cismin maksimum ulaşabileceği hız değerini aşıyor ise bir tahmin yaparak bu sorunun düzeltilmesini sağlar. Daha sonra sistemin sahip olduğu modlardan aktif olan modlar tespit edilerek işlemlere tabi tutulur. Sistem 4 farklı moda sahiptir. Bu modlardan ilki CM modudur, açık ve kapalı olarak iki farklı anahtarlaması vardır. Bu mod alınan örnek üzerindeki renk bilgilerini kullanarak ortamdan takip edilen nesnenin ayrıştırılmasını sağlar ve konumunun tespit edilmesinde üstün performans gösterir. Diğer mod PFMM modu bu modun açık, kapalı ve başlangıçta kapalı sonra açılabilen olmak üzere üç farklı anahtarlaması vardır. Bu mod takip edilen takip edilen nesnenin bir önceki görüntüdeki asla değişmesi zor olan özel noktalarını tespit ederek bir sonraki görüntüde o noktaları tespit eder. Daha sonra bu noktaların konum bilgilerini kullanarak takip edilen nesnenin konumunu tespit etmeye çalışır. Diğer modumuz SM modudur, açık ve kapalı olarak iki farklı anahtarlamaya sahiptir. Bu mod takip edilen nesnenin herhangi bir tıkanıklık veya nesne hakkında bilgi kaybı olduğu durumlarda takip penceresinin önceki konum bilgilerine dayanarak konumlandırılmasını sağlar. Diğer modumuz FMM modudur, açık ve kapalı olarak iki farklı anahtarlamaya sahiptir. Bu mod hızlı hareket eden objelerin ürettiği sorunları önlemek amacıyla üretilmiştir. Bu mod açık olduğunda takip edilen nesne için her görüntüde dokuz farklı konum için korelasyon tepkisi ölçümü yapılır ve en yüksek tepkiye sahip olan konum hedefin takibi için kullanılır. Modlar hakkında ek bir bilgi verilmek istenir ise bu modlar açık konumda olsalar dahi eğer takip edilen nesneden alınan korelasyon tepkileri belli bir performans değerinin üstüne çıkıyor ise bu modlar algoritma pasifleştirilmektedir. Eğer performans düşüyor ise zamanla sistem o modları tekrar aktifleştirmektedir. Bu işlemin amacı sistem fps performansı artırmaktır. Bir başka deyişle modlar sistem işlem yoğunluğunu artırdığı için performansın yüksek olduğu zamanlarda kapalı konumuna getirilerek sistem üzerindeki işlem yoğunluğu azaltılır. Bu işlem sistem fps performansını artırmak adına yapılmış bir optimizasyondur. Modların kullanımından çıkan sonuçlar Kalman filtresine aktarılır. Kalman filtresi kullanımının amacı ise sistemin tahmin etme performansının artırılmak istenmesidir. Algoritmamızda klasik Kalman filtresi kullanılmıştır ve Kalman filtresinin başlangıç değerleri en optimum sonuç verecek şekilde düzenlenmiştir. Sistem performansını yükseltmek adına yapılan bir diğer optimizasyon ise öğrenme katsayısını dimamik bir değişken olarak kullanmak oldu. Sistem başlangıç olarak belirlediğimiz bir öğrenme katsayısı ile işlemlerini yapmaya başlamaktadır. Daha sonra sistem sürekli performans değerlerini ölçerek öğrenme katsayısını kontrol eden bloğa geri bildirim verir. Eğer takip performansı belirlenen başarı performans değerlerinin üstünde ise öğrenme katsayısı daha düşük bir değere düşürülür. Bu anahtarlama sonrası zamanla sistem performansı belli bir değerin altına inmeye başlar ise tekrardan öğrenme katsayısı yükseltilir. Bu anahtarlamanın amacı sistemin fps değerini yükseltmektir. Yüksek öğrenme katsayısı takip edilen nesneden daha çok bilgi toplamak ve yapılan işlemlerin daha uzun sürmesi anlamına gelmektedir. Bu sebepten kaynaklı eğer sistemin takip performansı yüksek ise öğrenme katsayısı düşürülerek sistemin fps performansı yükseltilmeye çalışılmıştır. DCFB tabanlı siteme eklenen modlar, bloklar ve optimizasyonlar yardımı ile MBT isimli sistemimiz birçok CNN tabanlı sistemden daha üstün performans göstermiştir. Ek olarak başlangıçta belirlediğimiz düşük maliyetli yüksek performanslı hedef takip algoritma geliştirme amacımıza CPU üzerinde koşturularak ulaşmış olduk.

Özet (Çeviri)

Object tracking is still a challenging problem in computer vision especially when occlusion, fast motion, background clutter, rotation and illumination issues are considered. There are various tracker models in the literature to tackle these challenges. Tracker models are classified under two essential groups which are discriminative and generative. [Sonraki iki cumle anlasilmiyor. Discriminative model uses the conditional probability because background and tracking object probability are used to estimate object location at the same time. To achieve the task, discriminative model uses a classifier model to find whether the visual sample is either the object or a part of the background.] Object tracking is basically considered as a binary classification problem to decide whether the object is the target or a part of background in discriminative methods. [Sonraki iki cumle anlasilmiyor. Generative models use joint probability to estimate object location because generative model does not always use probability of background and tracking object. Generative model uses optionally background information in the applications.] Objects to track are represented with appearance models and similar image regions are searched in the image in generative approach. Researchers have been focused on estimation algorithms, such as Convolutional Neural Network (CNN) and Machine Learning (ML) to attack object tracking problems over the last two decades. The complexity of the algorithms defines the computational time which is an essential metric for fulfilling real-time processing requirements of a system. CNN and ML based algorithms are usually compute-intensive and the use of GPU instead of CPU is another indicator for its compute-intensive nature. However, in the most of the mobile industrial systems, there is no GPU processing power since such systems are designed as low-end systems as cost and size have to reduced and maintainability has to be easier and faster. On the other hand, real-time performance of CPU implementations of such algorithms is poor since the number of frames to process with in given time is limited. Within the relatively limited capacity of the CPU's, in order to fulfill the real-time requirements of execution, the only remaining option is to decrease execution time per frame and to increase the number of frames to be processed. Given that GPU is not an option, we focused on single processor systems with high tracking performance. Therefore we modified the existing contemporary approaches in object tracking to increase their performance to the level of real-time systems. In the last years, discriminative correlation filter based (DCFB) trackers running on a single CPU have been shown that their performances are notable on benchmark datasets. In correlation based systems, algorithms apply a correlation filter to the patches to find best correlation filter response because correlation response is used in location estimation. Also, Correlation filter is updated for every frame to increase the system estimation performance. In addition to this mechanism, discriminative models evaluate background information of object to increase the tracking performance. In this thesis, we have developed a context aware mission based tracker, called MBT by taking DCFB trackers approach as a starting point.

Benzer Tezler

  1. Tez No

    978070

    Nöromorfik hesaplama ve memristor tabanlı ağ saldırı tespit sistemleri: Siber güvenlikte yeni yaklaşımlar

    Neuromorphic computing and memristor-based network attack detection systems: New approaches in cyber security

    YUSUF ETKA KÖYLÜ

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesi

    Mekatronik Mühendisliği Ana Bilim Dalı

    PROF. DR. İLHAN KOCAARSLAN

  2. Tez No

    904304

    The relationship between vocal coordination and therapeutic alliance in Mentalization-Based Treatment for Children (MBT-C)

    Çocuklar için Zihinselleştirmeye Dayalı Terapide (MBT-C) vokal koordinasyon ve terapötik ittifak arasındaki ilişki

    ONUR TULUM

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Psikolojiİstanbul Bilgi Üniversitesi

    Psikoloji Ana Bilim Dalı

    DOÇ. DR. SİBEL HALFON

  3. Tez No

    917825

    Association of nonverbal coordination quality and therapeutic alliance in mentalization-based treatment for children (MBT-C)

    Çocuklar için zihinselleştirme temelli terapi'de sözdışı koordinasyon ve terapi ittifağı ilişkisi

    ŞEVİN EPÖZDEMİR

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Psikolojiİstanbul Bilgi Üniversitesi

    Klinik Psikoloji Ana Bilim Dalı

    DOÇ. DR. SİBEL HALFON

  4. Tez No

    934532

    Ortaokul matematik öğretmen adaylarının model oluşturma süreçlerinin problem kurma ve çözme bağlamında incelenmesi

    Investigation of model building performances of prospective middle school mathematics teachers in the context of problem posing and solving

    ELİF ŞENKAL

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    MatematikOrdu Üniversitesi

    Matematik ve Fen Bilimleri Ana Bilim Dalı

    DOÇ. DR. HAYAL YAVUZ MUMCU

  5. Tez No

    476381

    Automated refinement of models for model-based testing

    Model-bazlı testler için modellerin otomatik iyileştirilmesi

    CEREN GEBİZLİ

    Doktora

    İngilizce

    İngilizce

    2017

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÖzyeğin Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. HASAN SÖZER

Geri Dön