Computer vision-based human action recognition via keypoint tracking
Anahtar nokta takibi ile bilgisayarla görme temelli insan hareketi tanıma
- Tez No: 286368
- Danışmanlar: PROF. DR. LALE AKARUN
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Bilgisayarla görme, Takip algoritmaları, İnsan hareketi, Computer vision, Tracking algorithms, Human motion
- Yıl: 2011
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bilgisayarla görme temelli insan hareketi tanıma, güvenlik, gözetim, destekli yaşam ve eğlence gibi bir çok alanda uygulaması olan çok aktif bir araştırma konusudur. Bu tezde, bilgisayarlı görme temelli insan hareketi tanıma için yeni bir sistem sunulmaktadır. Önerilen sistem girdi olarak videoları kullanmaktadır. Yaklaşım, hareketin konumuna, ölçek seviyelerine, kişinin görünümüne, kendini örtmeler de dahil olmak üzere kısmi örtmelere ve bir takım görüş açısı değişikliklerine karşı değişimsizdir. Zamansal uzunluk değişimlerine karşı gürbüzdür. Anahtar noktalar zaman boyunca takip edilmektedir ve takip edilen anahtar noktaların gezingeleri videodaki insan hareketini yorumlamak için kullanılmaktadır. Ardından, videolardan öznitelikler çıkarılmaktadır. Gezingeyi tanımlamak için bir grup öznitelik önerilmektedir. Gezingeler, bu gezinge öznitelikleri kullanılarak öbeklenmektedir. Öbeklenen gezingeler bir imge dizisini tanımlamak için kullanılmaktadır. Imge dizisi tanımlayıcıları, gezinge öbeklerinin düzgelenmiş histogramlarıdır. Son aşamada, önerilen sistem, imge dizilerinin tanımlayıcılarını bir güdümlü öğrenme yönteminde kullanır. Önerilen yönteme dayalı bir uygulama geliştirilmiştir ve çeşitli veri kümelerine uygulanmıştır. WeCare adını verdiğimiz yaşlı bakım sistemleri odaklı yeni bir çok kipli veri kümesi sunulmuştur. Veri kümesinin asıl amacı insan düşmelerinin saptanmasıdır. Bu amaca ulaşmak için düşme hareketiyle karıştırılabilecek bazı başka hareketler de veri kümesine dahil edilmiştir. Önerilen yöntem KTH İnsan Hareketi Veri Kümesi ve URADL Veri Kümesi adlı iki ilave veri kümesi ile de değerlendirilmiştir. Önerilen yöntem yazındaki yöntemlerle kıyaslanabilir başarımdadır. KTH veri kümesinde yüzde 87,25 ve URADL veri kümesinde yüzde 88 hatasızlık başarımına sahiptir. WeCare veri kümesinde hatasızlığı yüzde 98,75'tir.
Özet (Çeviri)
Computer vision-based human action recognition is a highly active research area which has many application areas including security, surveillance, assisted living, and entertainment. In this thesis, a new system for computer vision-based recognition of human actions is presented. The proposed system uses videos as input. The approach is invariant of the location of the action and zoom levels, the appearance of the person, partial occlusions including self-occlusions and some viewpoint changes. It is robust against temporal length variations. Keypoints are tracked through time and the trajectories of tracked keypoints are used for interpreting the human action in the video. Then, features from videos are extracted. A group of features for describing a trajectory are proposed. Trajectories are clustered using these trajectory features. The clustered trajectories are used for describing an image sequence. Image sequence descriptors are the normalized histograms of the clusters of trajectories. At the final stage, the proposed system uses the descriptors of the image sequences in a supervised learning approach. An application based on the proposed method has been developed and applied to various datasets. A new multi modal dataset, called WeCare, which is focused on elderly care systems is introduced. The main objective of the dataset is to detect falls of humans. For attaining this goal, some other actions that can be confused with the falling action are included in the dataset. The evaluation of the proposed approach is done using two datasets: KTH Human Action Dataset and URADL Dataset. The proposed technique performs comparable to the methods in the literature. It has 87.25 per cent accuracy on the KTH dataset, 88 per cent accuracy on the URADL dataset. It has an accuracy of 98.75 per cent on the WeCare dataset.
Benzer Tezler
- Real-time human manipulation action recognition with a factorized graph sequence encoder
Ayrıştırılmış çizge dizi kodlayıcısı ile insan nesne etkileşimlerinin gerçek zamanlı olarak tanınması
ENES ERDOĞAN
Yüksek Lisans
İngilizce
2026
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. SANEM SARIEL UZER
DOÇ. DR. EREN ERDAL AKSOY
- Üç boyutlu iskelet verilerinden metrik öğrenme tabanlı hareket tanıma
Metric learning based action recognition from three dimensional skeleton data
ŞEYMA YÜCER
Yüksek Lisans
Türkçe
2018
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGebze Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. YUSUF SİNAN AKGÜL
- Emotion aware artificial intelligence for cognitive systems
Bilişsel sistemler için duygu farkındalıklı yapay zeka
DEĞER AYATA
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
PROF. DR. MUSTAFA ERSEL KAMAŞAK
- Visually-guided walking reference modification for humanoid robots
İnsansı robotlar için yapay görme tabanlı yürüyüş yörünge sentezi
KAAN CAN FİDAN
Yüksek Lisans
İngilizce
2012
Mekatronik MühendisliğiSabancı ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. KEMALETTİN ERBATUR
- Human motion analysis and action recognition
İnsan hareketi analizi ve hareket tanınması
MURAT NURULLAHOĞLU
Yüksek Lisans
İngilizce
2008
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBahçeşehir ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ADEM KARAHOCA