Unity制作3D场景的脑电运动想象范式（左右手抓握）

使用Unity制作3D场景中的运动想象范式

3D技术可以创建出立体的图像和环境，给用户带来更加真实和沉浸式的体验，本文介绍了一种可控的左右手运动的3D场景范式的设计流程，用于被试在3D场景下完成运动想象脑电信号数据的采集。

目录
1.制作动画
    1.1导入模型
    1.2记录关键帧
2.制作范式
    2.1 模型导入与设置
    2.2 代码相关
    2.3完整参数选择设置

1.制作动画

1.1导入模型

制作左右手运动想象的范式，想要在unity中得到会动的场景，当然要制作出有动画的模型。这里使用C4D完成对手掌的建模、动作的制作。关于肢体骨骼的绑定与建立，详细教程在我另一篇博客里有介绍，这里不在过多赘述：
https://wyz99666.blog.csdn.net/article/details/128507248?spm=1001.2014.3001.5502
本文使用的手掌模型这里给出：
链接：https://pan.baidu.com/s/124-XAsYDsobkvbn01bE7tg?pwd=7gok
提取码：7gok
选择文件中下面的.c4d模型，在C4D中打开左手或者右手的手掌原始静止模型，如下图所示：

打开模型后，C4D中右侧布局可以看到手掌的各个关节信息，需要使用这些关节来制作对应的动画。
制作动画需要使用到关键帧，也就是在两个帧中间C4D可以记录模型运动的轨迹或者角度，从而生成动画，当从C4D导出fbx格式或者其他格式的模型时，模型会包含我们设置的动画。接着就可以在unity或者别的场景搭建软件中使用这些动画，然后就可以制作范式啦。

1.2 记录关键帧

如下图所示，红圈圈住的地方有关键帧的字样，点击后C4D会自动记录你对当前模型操作的过程 ①首先点击红色按钮，点击后展示界面边框会变成红色，比如想要的效果是在0-20帧之间执行手掌的抓取动作，②则将帧数刻度移动到20的地方，③然后选中食指的根关节，并拖动关节某一个轴旋转一定的角度，具体操作如下图①②③所示：

①：

②：

③：

完成这步操作后，手指运动的过程就记录在0-20的关键帧中了，点击播放按钮，食指在0-20帧间就可以运动了。这里具体每个关节执行的步骤不再演示（可以根据自己所需的不同动作自行设置角度），最后得到完整的抓握动作如下图所示：

完成这步操作之后，导出文件为fbx格式就可以得到带有动画的手掌模型了，下一步就可以在unity中使用模型完成范式搭建啦。具体操作如下图

注意在导出设置中最好按下面的选项设置，特别是这个细分面，如果不勾选，在unity中得到的手臂边界会很带有锯齿、比较粗糙。

2.制作范式

2.1 模型导入与设置

在unity中新建一个3D项目，并导入刚刚导出的fbx模型。这里的带有动画的fbx模型不在给出，读者可以自行设计并得到自己的模型。结果如下图，这里我新建了Model文件夹，并导入四个带动画的model，分别是左手抓握、右手抓握、左手静止、右手静止，其中静止的模型也是带有动画的，这个动画中关节移动的角度非常小，所以忽略不计为静止状态，这么设置是为了后续的动作连贯。
将左右手的模型拖入场景中，在Hierarchy中可以看到两个模型。
接着针对每个模型，需要设置一个动画控制器Animator Controller，用来控制模型动画的执行，也就是使得手掌的抓握是可以控制的，如下图我新建了一个Control文件夹并右键新建两个Animator Controller，分别命名为right、left来控制左右手的动画。

双击Animator Controller，进入设置页面，这里我设置了一个参数left_offline用来控制手掌动画的执行，参数在新增的时候选择是bool类型的。

在Base layer栏，将左手静止模型和左手抓握模型中的animator都拖入Base layer栏中，分别命名为左手静止和左手抓握，并在这两个动画直接右键建立连接

建立完连接后，点击连接两个动画的线，如从左手静止到左手抓握，在inspector栏中的Conditions中添加刚刚新增的参数，并设置当left_offline为true时，左手抓握的动作执行。同理，从左手抓握到左手静止的Conditions设置成left_offline为false，具体设置如下图

同理也可以完成对右手控制器的设置。完成以上的设置后，我们通过程序控制模型执行动作的目的已经完成一半了，在动画控制器的帮助下我们已经完成了对模型的设置，也就是当参数left_offline为true时执行抓握动作，当left_offline为false时抓握动作结束，进而完成静止动作，这样就可以实现运动想象中手掌运动的cue效果了。最终我们的设置如下图所示。

将对应的Animator Controller绑定到对应的scene中模型上即可，如下图所示。

2.2 代码相关

在完成场景以及动画的控制设置后，如何通过来控制动画执行呢？ 这里使用C#脚本，在Asset文件夹下新建了Script文件，其中首先新建两个脚本，命名为left_offline.cs和right_offline.cs将这两个文件分别拖到场景的左手抓握和右手抓握模型下，如图所示： 这两个文件决定了手掌抓握动作的执行，这里我简单举例，具体实验所需的执行频率设置由另一个文件drop.cs设置决定。 如left_offline.cs：

using UnityEngine;
using System.Collections;public class left_offline : MonoBehaviour
{private Animator Anim;void Start(){Anim = GetComponent<Animator>();}public void UpdateAnimation(){if (Anim != null){Anim.SetBool("left_offline", true);StartCoroutine(ResetBoolAfterDelay(2f));}else{Debug.Log("Animator 未正确引用");}}IEnumerator ResetBoolAfterDelay(float delay){yield return new WaitForSeconds(delay);Anim.SetBool("left_offline", false);}
}

在start函数中获取了左手抓握模型的动画对象，并命名为Anim，在UpdateAnimation函数中对参数赋值，如对动画控制器中的left_offline赋值为true，并设置携程函数ResetBoolAfterDelay，当赋值完成2秒后再将参数left_offline设置为false，这个脚本每执行一次update即可完成一次左手动作的cue。右手的控制脚本同理，这里不再赘述，直接给出代码：

using UnityEngine;
using System.Collections;public class right_offline : MonoBehaviour
{private Animator Anim;void Start(){Anim = GetComponent<Animator>();}public void UpdateAnimation(){if (Anim != null){Anim.SetBool("right_offline", true);StartCoroutine(ResetBoolAfterDelay(2f));}else{Debug.Log("Animator 未正确引用");}}IEnumerator ResetBoolAfterDelay(float delay){yield return new WaitForSeconds(delay);Anim.SetBool("right_offline", false);}
}

2.3 完整参数选择设置

然而每次运动想象实验可能需要的试次和实验间隔都会不一样，这就需要设置一个开始的参数选择界面，在开始前设置好实验试次以及试次之间的间隔时间，这个时间包括cue、被试运动想象以及休息时间。所以这里需要在unity场景中设置一个选择界面，如下图所示：
这里在场景中新建了一个画布。画布中包括两个下拉框，分别为试次数量和试次间隔时间，通过此模块，用户可以根据自己实验需要设置不同参数，画布中包括的内容如下图：

其中包括两个黑色背景图、两个text（试次数量、试次时间）、两个下拉框、一个确认按钮
那么需要新建一个脚本用于获取确认按钮提交的下拉框内的数据，并执行相应数量和相应时间间隔的左右手抓取动作。这里给出drop.cs脚本如下，只需要将drop.cs拖动到画布的Inspector中即可

using System.Collections;
using System.Collections.Generic;
using UnityEngine;using UnityEngine.UI;
using System.Net;
using System.Net.Sockets;
using System.Text;
using System;public class test : MonoBehaviour
{public Dropdown trialDropdown;    // 绑定 Dropdown(Trial)public Dropdown internalDropdown; // 绑定 Dropdown(Internal)public Button submitButton;       // 绑定 SubmitButtonpublic bool gameEnded = false;CanvasGroup canvasGroup;private left_offline leftOfflineScript;private right_offline rightOfflineScript;void Start(){// 确保组件已绑定if (trialDropdown == null || internalDropdown == null || submitButton == null){Debug.LogError("Dropdowns or Button are not assigned in the Inspector.");return;}// 为按钮添加点击事件submitButton.onClick.AddListener(SubmitValues);canvasGroup = transform.GetComponent<CanvasGroup>();// 缓存 left_offline 和 right_offline 实例leftOfflineScript = FindObjectOfType<left_offline>();rightOfflineScript = FindObjectOfType<right_offline>();if (leftOfflineScript == null || rightOfflineScript == null){Debug.LogError("Missing left_offline or right_offline script instances in the scene.");}}void SubmitValues(){// 获取 Dropdown 的选定值string trialValue = trialDropdown.options[trialDropdown.value].text;string internalValue = internalDropdown.options[internalDropdown.value].text;// 调试信息Debug.Log($"Trial Selected: {trialValue}");Debug.Log($"Internal Selected: {internalValue}");int num = int.Parse(trialValue);int Internal = int.Parse(internalValue);canvasGroup.alpha = 0;canvasGroup.interactable = false;canvasGroup.blocksRaycasts = false;// 将值发送到后端StartCoroutine(DoTrials(num, Internal));}IEnumerator DoTrials(int num, int interval){for (int i = 0; i < num; i++){int hand = i % 2; // 0 for left, 1 for rightif (hand == 0){if (leftOfflineScript != null)leftOfflineScript.UpdateAnimation();}else{if (rightOfflineScript != null)rightOfflineScript.UpdateAnimation();}// 等待指定的间隔yield return new WaitForSeconds(interval);}gameEnded = true;}void Update(){// 检查游戏是否结束if (gameEnded){// 结束游戏Debug.Log("Game Ended.");Application.Quit();}}
}

这里drop.cs脚本给的是交替执行左右手抓取运动，读者可以自行改进改成随机执行，同时，考虑到打标签的需要，读者可以在这个脚本中添加socket通信给你，用于对其余设备通信左右手执行的信息，通知设备开始打标签。
最后只需要将摄像头移动到手臂上方调整角度，范式就搭建完成啦。
最后运行的视角是这样的：
开始界面：

左手运动：

右手运动：
更复杂的实验场景就需要读者自行设计并实现啦。