Engaging human-robot interaction with batch reinforcement learning
Kayıtlı veriden pekiştirmeli öğrenme yoluyla insan robot etkileşiminde kullanıcı ilgisinin eniyilenmesi
- Tez No: 648848
- Danışmanlar: PROF. DR. ENGİN ERZİN, PROF. DR. YÜCEL YEMEZ
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Makine öğrenmesi, Robot tasarımı, Yapay zeka, Machine learning, Robot design, Artificial intelligence
- Yıl: 2020
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Sosyal robot bilimi alanında yaygın bir sorun, insan-robot etkileşimi (İRE) sırasında kullanıcı ilgisinin sürdürülebilmesidir. İlgi seviyesi etkileşimin başarısını ölçmek için sıklıkla kullanılan bir ölçüttür, ve sosyal robotların tasarımında evrensel bir amaç olarak kabul edilir. Bu tez çalışmasında, İRE için bir robota ait sözel olmayan gülümseme ve kafa sallama jestlerini içeren arka kanal davranışlarını üreten bir model eğitmeyi hedefliyoruz. Çevrimdışı olarak bir davranış politikası öğrenmek üzere, İRE verilerini pekiştirmeli öğrenme için kullanan bir formülasyon öneriyoruz. Bu formülasyon, ödül olarak tanımladığı kullanıcı ilgisini enbüyükleyen bir arka kanal politikası bulmaya çalışır. Bu eniyileme probleminin çözümü için veri kümesin deki örneklerin gradyan güncellemesini kayıtlı veriden pekiştirmeli öğrenen üç farklı algoritma öneriyoruz. Bu algoritmaları değerlendirmek için bağımsız politika ile politika değerlendirme ve Bellman kalıntısı gibi çevrimdışı değerlendirme yöntemlerini kullanıyoruz. Tezde ayrıca, insansı bir yüz robotu kullanarak bir İRE kullanıcı deneyinin tasarımını yaptık. Bu etkileşim deneyi bir hikaye şekillendirme senaryosu altında, öğrenilen arka kanal politikasının kafa sallama ve gülümseme davranışlarını kontrol ettiği üç boyutlu bir yüz robotu ile gerçeklenir. Robotun sosyal davranışlarının katılımcılar üzerindeki etkisinin değerlendirilmesi öznel anket sonuçları ve etkileşimde hesaplanan ilgi seviyesi değerleriyle yapılmıştır. Kural tabanlı referans bir davranış politikası ile karşılaştırıldığında pekiştirmeli öğrenme politikasının daha kabul edilebilir olduğu, istatistiksel olarak anlamlı değerlendirme skorlarıyla gösterilmiştir. Bu tezde sunduğumuz çalışma, sosyal etkileşim robotlarında yalnızca bir tür robot davranışını ele alıyor olsa da, öncü bir çalışma olarak, İRE tasarımında kullanılabilecek alternatif metriklerin eniyilenmesini hedefleyen birçok başka robot davranış türünün otomasyonunun da yolunu açmaktadır.
Özet (Çeviri)
A common issue in the field of social robotics is the need to maintain user engagement during human-robot interaction (HRI). Engagement has been used as a typical metric to gauge the success of HRI, and hence it is regarded as a universal goal in the design of social robots. In this thesis, we train a generation model of non-verbal behaviors, smiles and nods, as backchannels in a robot to engage humans during HRI. We propose a novel batch reinforcement learning (batch-RL) formulation for the task, where we take advantage of recorded human-to-human interaction data to learn a policy offline. The formulation treats user engagement as the reward and constructs a backchannel policy that maximizes it. We propose three value-based off-policy batch-RL algorithms to address the problem, which differ in the manipulation of the samples in the dataset to make the gradient updates. To evaluate the policies trained with these algorithms, offline evaluation methods are used such as off-policy policy evaluation (OPE) and Bellman residual. A final work presented in the thesis is the design and execution of a user study on HRI with a backchanneling robot. The interaction is designed with an expressive 3d robotic head in a story-shaping interaction scenario, where the learned backchannel policy controls the nod and smile behaviors. Subjective questionnaires and engagement values extracted from user's social signals are used to assess the impact of robot's social behavior on the participants. The higher acceptability of the RL policy versus a baseline policy is indicated by the statistically significant differences in the evaluation scores. The research work presented in this thesis addresses only one class of robot behavior towards socially engaging robots. As a pioneering work, it paves way for automation of numerous other desired robot behaviors that target other metrics used in the design of human-robot interaction systems.
Benzer Tezler
- Backchannel prediction in human-robot interaction for engaging agents
İnsan-robot etkileşiminde ilgi düzeyinin iyileştirilmesine yönelik arka-kanal sinyal kestirimi
BEKİR BERKER TÜRKER
Doktora
İngilizce
2023
Elektrik ve Elektronik MühendisliğiKoç ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
PROF. DR. ENGİN ERZİN
- Sözel olmayan insan-robot-biyomalzeme etkileşimi üzerine miselyum tabanlı işbirlikçi bir tasarım yaklaşımı
Non-verbal human-robot-biomaterial interaction a mycelium-based collaborative design approach
ŞEYMA BENGÜ ÖZMUTLU
Yüksek Lisans
Türkçe
2025
Mimarlıkİstanbul Teknik ÜniversitesiBilişim Ana Bilim Dalı
DOÇ. DR. AYŞEGÜL AKÇAY KAVAKOĞLU
- Design, control and evaluation of educational devices with series elastic actuation
Uygulamalı eğitim amaçlı seri elastik eyleyici tahrikli eğitim cihazlarının tasarımı ve denetimi
ATA OTARAN
Yüksek Lisans
İngilizce
2017
Mekatronik MühendisliğiSabancı ÜniversitesiMekatronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. VOLKAN PATOĞLU
- Dijital oyunlarda sahne tasarımında kullanılan unsurların tekinsiz vadi oluşumuna etkisi
The effect of elements used in stage design in digital games on the formation of the uncanny valley
DENİZ ŞAKAR
Yüksek Lisans
Türkçe
2026
Güzel Sanatlarİzmir Katip Çelebi ÜniversitesiTemel Sanat Eğitimi Ana Sanat Dalı
DOÇ. DR. UFUK BAKAN
- A tutoring framework with robotic and virtual agents for requirements elicitation interview training
Gereksinim belirleme mülakatı eğitimi için robotik ve sanal etmenlerle geliştirilmiş öğretim çerçevesi
BİNNUR GÖRER
Doktora
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ FATMA BAŞAK AYDEMİR
PROF. DR. HÜSEYİN LEVENT AKIN