Real-time human manipulation action recognition with a factorized graph sequence encoder
Ayrıştırılmış çizge dizi kodlayıcısı ile insan nesne etkileşimlerinin gerçek zamanlı olarak tanınması
- Tez No: 995592
- Danışmanlar: PROF. DR. SANEM SARIEL UZER, DOÇ. DR. EREN ERDAL AKSOY
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2026
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Bu tez çalışmasında, insan aksiyon tanıma alanının özel bir alt dalı olan, gerçek zamanlı manipülasyon aksiyonu tanıma problemi ele alınmıştır. İnsan aksiyonu tanıma, genellikle kısa ve önceden bölümlendirilmiş video klipler üzerinden belirli ve tekil hareketlerin sınıflandırılmasını amaçlayan temel bir bilgisayarlı görü problemidir. Bu yaklaşımda genellikle, yürüme, koşma, zıplama, el sallama gibi net bir şekilde tanımlanmış tek bir aksiyonu içeren video parçaları analiz edilmekte ve söz konusu aksiyonun türü belirlenmektedir. Buna karşın gerçek zamanlı aksiyon tanıma, sürekli ve kesilmemiş veri akışı üzerinde çalışmaktadır. Aksiyon sınırlarına dair herhangi bir ön bilgi bulunmamakta ve düşük gecikme ile anlık tahminler üretilmesi gerekmektedir. Başka bir deyişle, model ardışık olarak birden fazla eylemi veya bazen hiçbir eylemin olmadığı durumları içeren girdi üzerinde sürekli tahmin yapmak zorundadır. Bu gereksinim, özellikle insan-robot iş birliği, hizmet robotları, endüstriyel montaj hatları ve akıllı gözetim sistemleri gibi alanlarda kritik öneme sahiptir. Bu tez çalışması, gerçek zamanlı aksiyon tanıma problemini daha da daraltarak, insanın elleri aracılığıyla nesnelerle kurduğu bilinçli etkileşim eylemlerine odaklanmaktadır. Literatürde insan-nesne etkileşimi tanıma olarak da adlandırılan bu problem, bir bardağı itme, bıçakla ekmek kesme veya kaşıkla çay karıştırma gibi günlük veya amaca yönelik el-nesne etkileşimlerinin anlık olarak tanınmasını hedeflemektedir. Bu bağlamda ele alınan problem, gerçek zamanlı manipülasyon tanıma olarak tanımlanmaktadır. Özellikle fabrika bantları gibi insan ve robotun birlikte çalıştığı ortamlarda, robotun insanın gerçekleştirdiği manipülasyon eylemlerini gerçek zamanlı olarak algılayabilmesi, güvenli ve verimli bir iş birliği açısından kritik öneme sahiptir. Gerçek zamanlı manipülasyon tanıma modellerinin hem düşük gecikme süresiyle çalışması hem de anlamsal olarak zengin temsiller öğrenebilmesi beklenmektedir. Ancak doğrudan ham RGB video verisi üzerinde çalışan yöntemler, yüksek boyutlu girdi uzayı, büyük veri gereksinimi ve sınırlı genelleme kabiliyeti gibi nedenlerle bu gereksinimleri karşılamakta zorlanmaktadır. Özellikle insan-robot iş birliği senaryolarında, sınırlı sayıda örnekle belirli manipülasyonların öğrenilmesi beklenirken, RGB tabanlı yöntemlerin bu tür veri kıtlığı durumlarında başarısız olduğu gözlemlenmektedir. Ayrıca RGB tabanlı yaklaşımlar, aydınlatma koşulları, kamera açısı, arka plan karmaşıklığı ve nesne görünümündeki farklılıklar gibi manipülasyonla doğrudan ilgisi olmayan değişkenlerden olumsuz etkilenmektedir. Bu nedenle, bu çalışmada ham görsel veriler yerine, sahnedeki nesneler ve bu nesneler arasındaki uzamsal ve zamansal ilişkileri açıkça modelleyen sembolik sahne çizgeleri kullanılmıştır. Sahne çizgeleri, sahnedeki nesneleri düğümler, bu nesneler arasındaki ilişkileri ise ayrıtlar olarak temsil eden çizge tabanlı yapılardır. Bu temsilde, nesnelerin göreceli konumları ve zaman içindeki etkileşimleri, düşük boyutlu ve anlamsal olarak zengin özellikler aracılığıyla ifade edilir. Çalışmada tercih edilen spesifik çizge temsili, toplamda on dört farklı anlamsal ilişki türünü içermektedir. Bu ilişkiler iki ana kategoriye ayrılmaktadır: statik ve dinamik ilişkiler. Statik ilişkiler, nesnelerin birbirlerine göre uzamsal konumlarını tanımlamaktadır ve üstünde, altında, içinde, etrafında ve çevresinde gibi durumları kapsamaktadır. Dinamik ilişkiler ise nesnelerin zaman içindeki hareketsel etkileşimlerini ifade etmekte olup, birlikte hareket etme, birlikte durma, birbirine yaklaşma ve birbirinden uzaklaşma gibi durumları içermektedir. Bu ilişkiler, ardışık karelerdeki üç boyutlu nesne sınırlayıcı kutularından kural tabanlı bir yaklaşımla çıkarılmakta ve sahne çizgesinde ayrıt öznitelikleri olarak saklanmaktadır. Bu yaklaşım, RGB verisindeki gereksiz detayları büyük ölçüde filtreleyerek modelin doğrudan eylemin özüne odaklanmasını sağlamaktadır. Literatürde çizge tabanlı manipülasyon tanıma çalışmaları genel olarak çevrimdışı ve gerçek zamanlı olmak üzere iki ana gruba ayrılmaktadır. Çevrimdışı yöntemler, genellikle tüm videoyu tek seferde işleyerek yüksek doğruluk elde edebilmekte, ancak gerçek zamanlı sistemler için kabul edilemez gecikmelere sahiptir. Gerçek zamanlı yöntemler ise çoğunlukla ardışık sahne çizgelerini zamansal eksende birleştirerek tek bir büyük çizge oluşturan yaklaşımlara dayanmaktadır. Ancak bu yaklaşımda, zamansal olarak uzak düğümlerden bilgi alabilmek için çizge sinir ağlarının katman sayısını artırmak gerekmektedir. Öte yandan, katman sayısı arttıkça düğüm temsillerinin birbirine benzemesi ve ayırt edici özelliklerini kaybetmesi anlamına gelen aşırı düzleşme (\textit{oversmoothing}) problemi ortaya çıkmakta ve sonuç olarak modelin zamansal ölçeklenebilirliği ciddi şekilde sınırlanmaktadır. Bu çalışmada, söz konusu sorunların üstesinden gelmek amacıyla Ayrıştırılmış Çizge Dizi Kodlayıcısı adı verilen bir ağ mimarisi önerilmiştir. Önerilen mimari, çizge temsillerinin uzamsal ve zamansal boyutlarını ayrı ayrı işleyen iki bileşenden oluşmaktadır: çizge kodlayıcı ve dizi kodlayıcı. İlk aşamada, her zaman adımındaki sahne çizgesi bağımsız olarak çizge kodlayıcıdan geçirilmekte; ikinci aşamada ise elde edilen öznitelik dizisi dizi kodlayıcı aracılığıyla zamansal bağlam içerisinde işlenmektedir. Bu ayrıştırılmış tasarım, mevcut gerçek zamanlı yöntemlerin aksine, çizge sinir ağının derinliğini artırmaya gerek kalmadan uzun zaman dizileri üzerinde ölçeklenebilir şekilde çalışabilmeyi mümkün kılmaktadır. Bu özellik tezin ana katkılarından birini oluşturmakta olup, girdi pencere uzunluğu arttıkça model performansının da artması şeklinde deneysel olarak doğrulanmıştır. Çizge kodlayıcıda, dikkat mekanizması içeren dönüştürücü tabanlı çizge evrişim katmanları tercih edilmiştir. Bu katmanlar, düğümler arası mesaj iletiminde hem komşu düğüm özelliklerini hem de kenar özniteliklerini dikkate alarak her komşuya farklı önem ağırlıkları atayabilmektedir. Böylece sabit ağırlıklı standart çizge evrişim katmanlarına kıyasla ifade gücü daha yüksek düğüm temsilleri elde edilmektedir. Çizge kodlayıcıdan elde edilen (sayısı dinamik olarak değişebilen) düğüm temsillerinin, bütün çizgeyi temsil eden bir temsile dönüştürülmesi için literatürde çeşitli havuzlama yöntemleri vardır. Ancak literatürdeki naif havuzlama yöntemleri elde edilen temsili zayıflatmakta, gelişmiş havuzlama yöntemleri ise gereksiz bir yük katmaktadır. Bu çalışmada alternatif olarak El Merkezli Havuzlama adı verilen yeni ve parametresiz bir havuzlama yöntemi önerilmiştir. % Çizge kodlayıcıdan elde edilen (sayısı dinamik olarak değişebilen) düğüm temsillerinin çizge düzeyinde bir temsile dönüştürülmesi için El Merkezli Havuzlama adı verilen yeni ve parametresiz bir havuzlama yöntemi önerilmiştir. Çizge kodlayıcıdan elde edilen ve sayısı dinamik olarak değişebilen düğüm temsillerinin, tüm çizgeyi temsil eden tek bir gösterime dönüştürülmesi için literatürde çeşitli havuzlama yöntemleri bulunmaktadır. Bununla birlikte, literatürde yaygın olarak kullanılan naif havuzlama yöntemleri elde edilen temsili zayıflatırken, daha gelişmiş yaklaşımlar gereksiz bir hesaplama yükü getirmektedir. Bu çalışmada, alternatif olarak El Merkezli Havuzlama adı verilen yeni ve parametresiz bir havuzlama yöntemi önerilmektedir. Bu yöntem, yalnızca ellere karşılık gelen düğüm temsillerini seçmektedir. Manipülasyon tanımı gereği eller, sahnedeki nesnelerle etkileşime giren tek aktörler olduğundan, eylem hakkında en fazla bilgiyi taşıyan düğümler olarak değerlendirilebilir. Karşılaştırmalı deneyler, bu basit ve ek hesaplama maliyeti gerektirmeyen yaklaşımın, hem klasik hem de öğrenilebilir parametreler içeren gelişmiş havuzlama tekniklerine kıyasla daha iyi performans sunduğunu göstermektedir. El temsilleri, zamansal bağlamı öğrenmek üzere yalnızca kodlayıcı bileşeninden oluşan dönüştürücü tabanlı bir dizi kodlayıcıya aktarılmaktadır. Bu yapı, öz-dikkat mekanizması sayesinde kısa ve orta vadeli zamansal ilişkileri etkin bir şekilde modellemektedir. Model, her zaman adımı için ayrı bir tahmin üreterek uzun sekanslar boyunca eylem geçişlerinin sağlıklı şekilde ele alınmasını sağlamaktadır. Gerçek zamanlı çalışma performansını artırmak amacıyla çıkarım aşamasında kayan pencere yaklaşımı ve çoğunluk oylaması kullanılmıştır. Kayan pencere mekanizması sayesinde her bir sahne çizgesi için birden fazla tahmin üretilmekte, bu tahminler çoğunluk oylaması ile birleştirilerek nihai karar elde edilmektedir. Topluluk öğrenmesine benzer bu yaklaşım, geçici hatalı tahminlerin etkisini azaltarak aşırı bölütlemeyi önlerken, yalnızca pencere uzunluğuna bağlı sabit bir gecikme eklemektedir. Önerilen yöntem, iki farklı veri kümesi üzerinde kapsamlı deneylerle değerlendirilmiştir. Kullanılan veri kümelerinden ilki mutfak ve atölye ortamlarında gerçekleşen görevlerden oluşmakta olup, toplamda on dört çeşit atomik manipülasyon kategorisini kapsamaktadır. Yaklaşma, kaldırma, bırakma, tutma, karıştırma, dökme, kesme, içme gibi manipülasyon aksiyonları ve kase, şişe, kesme tahtası, bıçak, çekiç, testere, tornavida gibi on iki farklı nesne içermektedir. Diğer veri kümesi ise endüstriyel insan-robot iş birliği senaryolarına odaklanmaktadır. Diğerine benzer şekilde on farklı atomik manipülasyon aksiyonu içerilmekte ve on altı nesne kullanılmaktadır. Elde edilen sonuçlar, önerilen modelin her iki veri kümesinde de mevcut gerçek zamanlı yöntemleri anlamlı ölçüde geride bıraktığını göstermektedir. Ayrıca modelin yalnızca yaklaşık 269 bin parametreye sahip olması, literatürdeki çevrimdışı modellere kıyasla onlarca kat daha az parametre içermesi anlamına gelmektedir. Model, orta seviye bir grafik işlemci üzerinde bile yaklaşık 66 kare/saniye hızına ulaşarak gerçek zamanlı çalışabilirliğini kanıtlamıştır. Tezin tartışma bölümünde, modelin farklı yönlerini analiz eden kapsamlı bir inceleme sunulmuştur. İlk olarak, girdi pencere uzunluğunun performans üzerindeki etkisi araştırılmış ve önerilen ayrıştırılmış kodlayıcı tasarımının, pencere uzunluğu arttıkça performansı iyileştirdiği gösterilmiştir. Mevcut gerçek zamanlı yöntemlerin aksine, bu modeller pencere uzunluğu arttıkça performans kaybı yaşamakta iken, önerilen mimaride böyle bir sorun gözlemlenmemiştir. İkinci olarak, RGB tabanlı bir derin öğrenme modeli ile karşılaştırma yapılmış ve sahne çizgesi temsiline dayalı yaklaşımın sınırlı veri koşullarında çok daha iyi genelleme sağladığı ortaya konmuştur. RGB tabanlı model, kısmen önceden eğitilmiş olmasına rağmen, nesne merkezli manipülasyon veri kümelerinde yetersiz kalmıştır. Üçüncü olarak, çoğunluk oylamasının katkısı incelenmiş ve bu mekanizmanın model performansını önemli ölçüde artırdığı doğrulanmıştır. Dördüncü olarak, önerilen El Merkezli Havuzlama yöntemi alternatif havuzlama teknikleri ile karşılaştırılmış ve hem basit ortalama havuzlamaya hem de daha karmaşık öğrenilebilir havuzlama yöntemlerine karşı üstünlük sağladığı gösterilmiştir. Son olarak, dizi kodlayıcı bileşenin katkısı ölçülmüş ve yinelgen sinir ağı tabanlı alternatiflere kıyasla daha iyi performans sunduğu belirlenmiştir. Sonuç olarak, bu tez çalışmasında gerçek zamanlı manipülasyon eylemi tanıma problemi için, hem hesaplama açısından verimli hem de zamansal olarak ölçeklenebilir yeni bir çizge tabanlı mimari önerilmiştir. Çalışmanın ana katkıları, uzamsal ve zamansal işlemeyi ayrıştıran ve böylece zamansal ölçeklenebilirlik sağlayan yeni bir ağ mimarisi ve manipülasyon eylemlerinde ellerin merkezi rolünü kullanan parametresiz bir havuzlama yöntemi olarak özetlenebilir. Elde edilen bulgular, önerilen modelin insan-robot işbirliği senaryolarında güçlü bir alternatif sunduğunu göstermektedir.
Özet (Çeviri)
This thesis addresses the problem of real-time manipulation action recognition, a specialized subfield of human action recognition. Human action recognition is a fundamental computer vision problem concerned with classifying short, trimmed video clips that depict a single, well-defined human action, such as walking, running, jumping, or waving. In contrast, real-time action recognition is performed on continuous, untrimmed data streams. No prior information about action boundaries is available, and instant predictions with low latency are required. In other words, the model must continuously make predictions on input that may contain consecutive actions or, at times, no action at all. This requirement is critically important in domains such as human-robot collaboration, assistive robotics, industrial assembly lines, and intelligent surveillance systems. This thesis further narrows the scope of real-time action recognition by focusing on manipulation actions, which involve deliberate object interactions carried out via human hands. This problem, also referred to as human-object interaction recognition in the literature, aims to instantly recognize everyday or goal-oriented hand-object interactions such as pushing a cup, cutting bread with a knife, or stirring tea with a spoon. In this context, the problem is defined as real-time manipulation recognition. Especially in settings where people and robots operate side by side, such as factory assembly lines, it is essential for robots to recognize human manipulation actions in real time to ensure both safety and efficient collaboration. Manipulation actions are inherently object-centric, meaning that the relationships between objects and the hands are more informative than the visual appearance of individual objects. This characteristic motivates the use of semantic scene graph representations, where nodes correspond to objects and edges encode spatiotemporal relations between them. Scene graphs offer several advantages over raw RGB representations. First, they provide an abstract yet semantically rich representation that captures the underlying structure of the manipulation scene. Second, by reducing the dimensionality from high-dimensional image data to compact graph structures, they enable efficient real-time processing. Third, they naturally filter out irrelevant variability such as changes in illumination, camera viewpoint, background clutter, and object appearance, thereby improving generalization, especially when training data is limited, which is a common situation in human-robot collaboration applications where domain-specific manipulations may have only a few examples. The graph representation employed in this work defines semantic relations describing both static properties such as spatial arrangements between objects, and dynamic properties such as how objects move relative to each other over time. These relations are computed from the three-dimensional bounding boxes of objects across consecutive frames and are stored as edge features in the resulting scene graph. A key limitation of existing graph-based manipulation recognition models is their approach to handling temporal information. Prior real-time capable methods concatenate sequential graphs by adding temporal edges between the same objects in consecutive frames. This design inherently limits temporal scalability because graph neural networks can only propagate information to nodes within a limited neighborhood determined by the number of network layers. Increasing the number of layers to compensate leads to over-smoothing, a well-known phenomenon where node embeddings become indistinguishable, preventing the network from learning meaningful representations. To address these challenges, this thesis introduces a novel architecture called the Factorized Graph Sequence Encoder that separates spatiotemporal feature extraction into two distinct components: a Graph Encoder and a Sequence Encoder. The Graph Encoder processes each scene graph independently using attention-based graph convolutional layers, which refine node embeddings while incorporating edge features that characterize spatial and temporal relationships. Since each graph is processed separately, the model can flexibly scale across the temporal dimension without requiring deeper graph network architectures. A novel parameter-free operation called Hand Pooling is introduced to extract graph-level embeddings. Based on the observation that hands are the primary manipulators in any manipulation action, Hand Pooling selects only the node embeddings corresponding to hands, rather than aggregating all node embeddings as in traditional pooling methods. This focused extraction yields more discriminative graph-level representations and reduces the computational burden on the subsequent temporal encoder. The Sequence Encoder is a transformer-based architecture that applies self-attention to the sequence of hand embeddings, enabling the model to learn temporal context across the input window. This factorized design allows the model to efficiently propagate information across graphs regardless of the temporal length of the input, achieving temporal scalability that prior approaches lack. During inference, a sliding window strategy combined with majority voting is employed. As the window slides along the temporal axis, multiple predictions are generated for each frame, and majority voting combines these predictions into a final label. This approach resembles ensemble learning and helps reduce noisy predictions while preventing over-segmentation. The proposed model is evaluated on two publicly available datasets covering manipulation actions in kitchen, workshop, and industrial assembly environments. These datasets include scenarios relevant to human-robot collaboration, with actions such as pouring, cutting, stirring, screwing, and assembling components. A cross-validation approach is employed to ensure robust evaluation across different subjects. Experimental results demonstrate that the proposed model achieves significant improvements over previous state-of-the-art real-time methods on both datasets. When allowing a slightly larger window size, the model achieves results comparable to offline models that have access to entire videos at once. With a compact architecture containing only a few hundred thousand parameters and running at approximately 66 frames per second on a standard GPU, the model is lightweight enough for practical real-time deployment. An extensive ablation study validates the design choices of the proposed architecture. The analysis of window length confirms that the proposed model successfully scales with increasing temporal context, while competing methods based on temporal graph concatenation exhibit performance degradation as the input length grows. Comparisons with alternative pooling methods demonstrate that Hand Pooling outperforms both simple averaging approaches and more sophisticated learnable pooling operations. Experiments with different sequence encoder architectures show that the transformer-based encoder outperforms recurrent alternatives, while removing the temporal encoder entirely results in significant performance drops, confirming the importance of temporal context modeling. A comparison with an architecturally similar RGB-based model reveals the limitations of image-only approaches on object-centric manipulation datasets with limited training samples. The RGB-based model significantly underperforms compared to the proposed graph-based approach, underscoring the advantages of scene graph representations for manipulation recognition in scenarios where data efficiency is crucial. In conclusion, this thesis presents a novel approach to real-time manipulation recognition that achieves state-of-the-art performance while maintaining computational efficiency and temporal scalability. The proposed Factorized Graph Sequence Encoder, combined with the Hand Pooling operation and sliding window with majority voting, provides an effective solution for recognizing human manipulation actions in human-robot collaboration scenarios. Future work will explore the application of this architecture to skeleton-based human whole-body manipulation tasks and investigate methods to handle noisy scene graph extraction by incorporating estimation confidence into the model.
Benzer Tezler
- Ulaş Sağlık Ocağı merkezinde nüfusun bazı niteliklerine ve konutların durumuna ilişkin bir çalışma
An Investigation carried out at the Ulaş Public Health Centre concerning some characteristics of the population and housing conditions in the district of Ulaş
EROL ŞANLI
Doktora
Türkçe
1985
Halk SağlığıCumhuriyet ÜniversitesiHalk Sağlığı Ana Bilim Dalı
DOÇ. DR. SERVET ÖZGÜR
- Adana ili, turunçgil toptan fiyatlarının analizi
Başlık çevirisi yok
USULET ÖZTUNÇ
Yüksek Lisans
Türkçe
1987
ZiraatÇukurova ÜniversitesiTarım Ekonomisi Ana Bilim Dalı
DOÇ. DR. OĞUZ YURDAKUL