Assessing cognitive load in virtual reality brain training games using machine learning
Makine öğrenimini kullanarak sanal gerçeklik beyin eğitimi oyunlarında bilişsel yükün değerlendirilmesi
- Tez No: 984138
- Danışmanlar: DOÇ. MUHAMMED ABDULLAH BÜLBÜL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2025
- Dil: İngilizce
- Üniversite: Ankara Yıldırım Beyazıt Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Yoğun sanal gerçeklik (VR) ortamlarında bilişsel yükün (CL) anlaşılması ve değerlendirilmesi, uyarlanabilir eğitim sistemlerinin ve bilişsel değerlendirme araçlarının geliştirilmesi açısından kritik öneme sahiptir. Bu çalışma, hafıza, akıl yürütme ve dikkat gibi temel bilişsel işlevleri hedefleyen yapılandırılmış, oyunlaştırılmış VR görevleri sırasında içsel bilişsel yükü değerlendirmek için müdahale gerektirmeyen bir göz izleme (eye-tracking) tabanlı çerçeve sunmaktadır. Görevler, zihinsel çaba düzeylerinde farklılık oluşturmak amacıyla giderek artan karmaşıklıkta tasarlanmıştır. Görsel dikkat ile görev performansı (burada bilişsel yükün bir göstergesi olarak kullanılmıştır) arasındaki ilişkiyi modellemek amacıyla, kullanıcıların bu görevler sırasında topladığı göz izleme verileri analiz edilmiştir. Bu kapsamda, sabitlemeler (fixations), sakkadlar (saccades), göz kırpmaları ve bakışın zamansal dinamiklerini içeren özellik çıkarımı ile ham zaman serisi verileri üzerinde derin öğrenme yöntemleri kullanılmıştır. Değerlendirilen yöntemler arasında, en yüksek performans, önem derecelerine dayalı özellik seçimiyle eğitilen Random Forest sınıflandırıcısıyla elde edilmiştir; çapraz doğrulama (cross-validation) doğruluğu %78.4, test doğruluğu ise %81 olarak ölçülmüştür. Ham sıralı göz izleme verileriyle eğitilen hibrit bir CNN-LSTM modeli de rekabetçi sonuçlar vermiş; test doğruluğu %80.1, doğrulama doğruluğu ise %79.7 olmuştur. Bu çalışma, VR ortamlarında gerçek zamanlı, ölçeklenebilir bilişsel yük değerlendirmesi için bakışa dayalı davranışsal özelliklerin etkinliğini ortaya koymakta ve bu alanda kamuya açık veri seti eksikliğini gidermeyi amaçlayan, göz izleme ve görev performans verilerini birleştiren özgün bir veri kümesi sunmaktadır.
Özet (Çeviri)
Understanding and assessing cognitive load (CL) in immersive virtual reality (VR) environments is crucial for the development of adaptive training systems and cognitive evaluation tools. This study introduces a non-intrusive eye-tracking-based framework to assess intrinsic cognitive load during structured, gamified VR tasks targeting memory, reasoning, and attention. Tasks were designed with progressively increasing complexity to induce varying levels of mental effort. To model the relationship between visual attention and task performance (used here as a proxy for cognitive load), we collected and analyzed eye-tracking data from users engaged in these tasks. Both feature extraction (including fixations, saccades, blinks, and gaze temporal dynamics) and deep learning on raw time-series data were employed. Among the methods evaluated, the best performance was achieved by a Random Forest classifier trained on extracted features with feature selection based on importance scores, achieving a cross-validation accuracy of 78.4% and a test accuracy of 81%. A Hybrid CNN-LSTM model using raw sequential eye-tracking data also performed competitively, with a test accuracy of 80.1% and validation accuracy of 80%. This work demonstrates the effectiveness of gaze-based behavioral features for real-time, scalable cognitive load assessment in VR and offers a novel dataset combining eye-tracking and performance data, addressing the lack of public benchmarks in this domain.
Benzer Tezler
- Examination of multimedia learning principles in augmented reality and virtual reality learning environments
Artırılmış gerçeklik ve sanal gerçeklik öğrenme ortamlarında çoklu ortam öğrenme ilkelerinin incelenmesi
BURÇ ÇEKEN
Doktora
İngilizce
2023
Eğitim ve ÖğretimBoğaziçi ÜniversitesiYönetim Bilişim Sistemleri Ana Bilim Dalı
DR. ÖĞR. ÜYESİ NAZIM TAŞKIN
- Visual verification using augmented reality in cockpit display systems
Kokpit görüntüleme sistemlerinin artırılmış gerçeklik ile görsel doğrulanması
CANER POTUR
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. GÖKHAN İNCE
- Psikomotor vijilans test bataryası geliştirme ve türk örneklem grubunda standardizasyonu ve geçerliliğinin saptanması: Psikomotor vijilans test bataryası geliştirme ve bilişsel iş yüküne bağlı vijilans değişimlerinin değerlendirilmesi
The development of a psychomotor vigilance test batary and its standardization and validation in the turkish polulation: The development of a psychomotor vigilance test batary and the assesment of vigilance change in reaction to mental work load
NUR EVİRGEN
Yüksek Lisans
Türkçe
2014
BiyofizikDokuz Eylül ÜniversitesiBiyofizik Ana Bilim Dalı
PROF. DR. MURAT ÖZGÖREN
- Psychophysiological and FMRI responses during various extended cognitive tasks: A comparison of initial and sustained activity
Çeşitli uzatılmış bilişsel görevlerde psikofizyolojik ve FMRI tepkileri: Başlangıçtaki ve sürekli aktivitenin karşılaştırılması
BERHAN FARUK AKGÜR
Doktora
İngilizce
2025
Mühendislik Bilimleriİhsan Doğramacı Bilkent ÜniversitesiNörobilim Ana Bilim Dalı
DR. ÖĞR. ÜYESİ AUSAF AHMED FAROOQUİ
- Düşme hikayesi olan ve olmayan postmenopozal kadınlarda bilişsel performans, fiziksel performans ve ikili görev performansının karşılaştırılması
The comparison of cognitive performance, physical performance, and dual-task performance in postmenopausal women with and without a history of falls
ÖZNUR GÜMÜŞ KAYRAN
Yüksek Lisans
Türkçe
2024
Fizyoterapi ve RehabilitasyonSağlık Bilimleri ÜniversitesiFizyoterapi ve Rehabilitasyon Ana Bilim Dalı
DOÇ. DR. DUYGU TÜRKER
DOÇ. DR. SENEM DEMİRDEL