Activity prediction from auto-captured lifelog images
Otomatik yakalanmış hayat günlüğü görüntülerinden faaliyet tahmini
- Tez No: 562845
- Danışmanlar: DR. ÖĞR. ÜYESİ EMRE AKBAŞ, PROF. DR. ADNAN YAZICI
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Görüntü sınıflandırma, Image classification
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Hayat günlüğü analizi, veri bilimcilerinin büyük ölçüde ilgisini çeken bir konu başlığı haline gelmiştir, çünkü hayat günlüğü faaliyetleri sonucunda büyük, çok boyutlu ve çok modlu veriler üretilmektedir. Bu çalışmada, iki kullanıcının günlük yaşamlarının toplamda 90 gün boyunca izlendiği ve konum, vücut ölçümleri, müzik dinleme geçmişi ve kullanıcı faaliyeti gibi ayrıntılardan oluşan dakika bazlı kayıtlar halinde arşivlendiği NTCIR Lifelog veri setini kullanıyoruz. Ayrıca her dakika için, kullanıcıların göğüs hizasına yerleştirilmiş kameralar tarafından otomatik olarak çekilen görüntüler, metin açıklamaları ile birlikte veri setinin çok modlu yapısını destekleyecek şekilde verilmektedir. Bu çalışmada, çeşitli sınıflandırma yöntemlerini metin ve resim verileri ile bunların kombinasyonları üzerinde eğiterek, öğrenme performanslarını değerlendirdik. Metin verileri için, kelimeleri tek boyutlu vektörler halinde düzenledik; SVM ve MLP modellerini bu vektörler üzerinde eğittik. Görüntü verileri için ise, iki farklı evrişimsel sinir ağı (CNN) mimarisini iki farklı şekilde eğittik: sıfırdan eğitme ve ImageNet veri seti üzerinde önceden eğitilmiş mimariye hassas ayar yapma. Son olarak, görüntü ve metin verilerini aynı anda işleyen, iki alt modeli birleştirmek için füzyon yöntemlerini kullanan ve eksik verileri telafi edebilen birleşik bir CNN-MLP modeli önerdik. Ayrıca, 90.000 görüntüyü 16 faaliyet sınıfı ile etiketleyerek NTCIR LifeLog veri setine katkı sağladık.
Özet (Çeviri)
The analysis of lifelogging has generated great interest among data scientists because large-scale, multidimensional and multimodal data are generated as a result of lifelogging activities. In this study, we use the NTCIR Lifelog dataset where daily lives of two users are monitored for a total of 90 days, and archived as a set of minute-based records consisting of details like semantic location, body measurements, listening history, and user activity. In addition, images which are captured automatically by cameras located at users' chests are available for each minute together with text annotations, which promotes the multimodal nature of the dataset. We train and evaluate several classification methods on the text and image data separately, and on their combination as well. Specifically, for text data, we encode the words using a one-hot encoding, and train SVM and MLP models on bag-of-words representations of minutes. For image data, we train two different convolutional neural networks (CNN) in two different ways: training from scratch and fine-tuning an ImageNet pre-trained model. Finally, we propose a multi-loss, combined CNN-MLP model which processes image and text data simultaneously, uses fusion methods to merge the two sub-models, and can handle missing input modalities. We also put effort into a contribution to the NTCIR LifeLog dataset by manually labeling 90,000 images into 16 activity classes.
Benzer Tezler
- Proposal for a forecasting methodology to predict commercial real estate values in Istanbul using social big data
Sosyal büyük veri kullanımı ile İstanbul'daki ticari gayrimenkul değerlerini tahmin etmek için bir kestirim yöntemi önerisi
MARAL TAŞCILAR
Yüksek Lisans
İngilizce
2023
Ekonometriİstanbul Teknik ÜniversitesiGayrimenkul Geliştirme Ana Bilim Dalı
DOÇ. KEREM YAVUZ ARSLANLI
- Evaluating travel mode decisions and transport models in understanding transit equity: The case of greater Toronto and Hamilton area
Toplu taşımada eşitliği anlamaya yönelik olarak yolculuk türü kararlarının ve ulaşım modellerının değerlendirilmesi: Büyük Toronto alanı ve Hamilton bölgesi vaka çalışması
ELNAZ YOUSEFZADEH BARRİ
Doktora
İngilizce
2022
Şehircilik ve Bölge Planlamaİstanbul Teknik ÜniversitesiŞehir ve Bölge Planlama Ana Bilim Dalı
DOÇ. DR. EDA BEYAZIT İNCE
DOÇ. DR. STEVEN FARBER
- Gemilerin manevra denklemlerinin bilgisayarla çözümü
The Solutions of equations of ship manoeuvres by the computer
EMİN KORKUT
- Volatilite değerleme ve tahmini için GARCH modellerinin kullanımı
Use of GARCH models for estimating and forecasting volatility
İSMET KALE
Yüksek Lisans
Türkçe
2006
BankacılıkMarmara ÜniversitesiBankacılık Ana Bilim Dalı
Y.DOÇ.DR. BAHATTİN RÜZGAR
- Structure and activity predictions on mono- and bi-metallic catalysts
Destekli tek ve çift metaller üzerinde yapı ve aktivite tahminleri
EBRU ERÜNAL
Yüksek Lisans
İngilizce
2006
Kimya MühendisliğiOrta Doğu Teknik ÜniversitesiKimya Mühendisliği Ana Bilim Dalı
PROF. DR. DENİZ ÜNER
PROF. DR. ŞİNASİ ELLİALTIOĞLU