VR和眼动控制集群机器人的方法

西安建筑科技大学信息与控制工程学院雷小康老师团队联合西北工业大学航海学院彭星光老师团队，基于虚拟现实（VR）和眼动追踪技术实现了人-集群机器人高效、灵活的交互控制。相关研究论文“基于虚拟现实和眼动的人-集群机器人交互方法” 发表于信息与控制科学领域期刊《信息与控制》。

NOKOV度量动作捕捉系统建立了真实机器人运动状态与其数字孪生主体之间的状态互联，在VR场景中实时更新机器人运动状态，提高操作员的沉浸感和机器人集群态势的感知效率。

引用格式

XU Mingyu, LEI Xiaokang, DUAN Zhongxing, XIANG Yalun, DUAN Mengyuan, ZHENG Zhicheng, PENG Xingguang. Human-Swarm Robots Interaction Approach Based on Virtual Reality and Eye Tracking[J]. INFORMATION AND CONTROL, 2024, 53(2): 199-210. DOI: 10.13976/j.cnki.xk.2023.2548

研究背景

集群机器人具有高鲁棒性、可扩展性及并行协同作业等优点，在大范围多目标任务的执行中具有独特优势，这种优势结合人类的决策智慧后，能够有效提高集群机器人系统的可靠性、适应性及智能化水平。然而，依靠手势、语音等媒介的传统人-集群机器人交互（HSI）方式在面对被控对象众多、群体态势感知困难等挑战时，存在效率低下、灵活性不足等问题。为解决这些问题，实现高效、便捷、沉浸感强的HSI方法，研究团队基于VR和眼动追踪技术展开相关研究。

本文贡献

1. 提出一种融合VR和眼动追踪的人-集群机器人交互方法，该方法具有沉浸感强、灵活、便捷的特点。

2. 基于VR的交互方法可克服机器人超视距及环境状况不佳的影响，同时返回机器人群体态势，实现集群机器人数字孪生。

交互流程

本研究提出的基于VR和眼动追踪的HSI方法流程涉及搭建虚拟场景、眼动数据采集与处理以及指令发送与执行三个环节。

搭建虚拟场景：构建集群机器人及环境的VR场景，并通过VR眼镜传输给操作员。利用NOKOV度量动作捕捉系统实现真实机器人运动状态与虚拟环境中数字孪生主体的实时同步。

眼动数据采集与处理：安装在VR眼镜上的眼动传感器实时捕捉操作员的眼动数据，并传输至处理计算机。经预处理和解析后，生成运动控制指令。

指令发送与执行：将眼动控制指令发送至集群机器人，机器人接收并执行相应的动作。
图片：人-集群机器人交互系统整体方案

控制规则

集群漫游交互规则：将眼球的上下左右运动直接映射为机器人的运动方向。
集群目标追踪交互规则：通过眼动射线锁定目标，驱动机器人朝向目标运动。
集群轨迹跟踪交互规则：利用眼动轨迹引导机器人集群沿预设轨迹运动。

现场试验

研究利用 SwarmBang 机器人组成小规模集群开展真实的人-集群机器人交互实验，以验证所提基于VR和眼动的HSI 方法的可行性和有效性。

图片-真实实验环境与 VR 交互场景

集群漫游实验

集群漫游实验：操作员通过眼球运动控制机器人向右、左、下、上依次运动，机器人响应迅速，运动轨迹与眼动指令高度一致

集群目标追踪实验

集群目标追踪实验：操作员注视不同目标，机器人快速切换并稳定朝向目标移动，目标激活顺序为1→2→1→2→1（左→右→左→右→左），轨迹清晰

集群轨迹跟踪实验

集群轨迹跟踪实验：操作员通过眼动预设轨迹，机器人沿轨迹平顺移动，成功避开障碍物，轨迹跟踪精准

实验结果表明，基于VR和眼动追踪的HSI方法实现了高效、灵活、强沉浸感的人-集群机器人交互控制。

NOKOV度量动作捕捉系统为实验提供了机器人在真实环境中的实时轨迹数据，用以建立真实机器人运动状态与其数字孪生主体之间的状态互联，从而帮助实现眼动控制指令。

作者简介

许明玉，西安建筑科技大学信息与控制工程学院硕士毕业生。主要研究方向: 人－集群机器人交互，虚拟现实技术

雷小康（通讯作者），西安建筑科技大学信息与控制工程学院副教授、研究生导师。主要研究方向：集群机器人及群体智能等

段中兴，西安建筑科技大学国际教育学院常务副院长，信息与控制工程学院教授。主要研究方向：智能系统与智能信息处理、智能检测与机器视觉、建筑环境控制与节能优化、嵌入式技术与智能系统

向雅伦，西安建筑科技大学信息与控制工程学院硕士毕业生。主要研究方向：集群机器人

段梦园，西安建筑科技大学信息与控制工程学院硕士毕业生。主要研究方向：集群机器人视觉定位

郑志成，西北工业大学航海学院博士在读。主要研究方向：群体智能、集群机器人

彭星光，西北工业大学航海学院教授、博士生导师。主要研究方向：群体智能、演化计算、机器学习及其在无人系统特别是无人集群中的应用