untiy mlagents 飞机大战 ai训练

前言

之前那个python源码的飞机大战bug过多，还卡顿，难以继续训练。可直接放弃的话又不甘心，所以找了个unity版本的飞机大战继续(终于不卡了)，这次直接使用现成的mlagents库。

过程

前前后后花了两周时间，甚至因此拖了好几个课的实验报告没写(大三好多报告啊！！！选修课都要写),然而训练出来的模型，甚至都没有python版本的好…

问题

第一次用untiy 代码与界面对应不及时 在代码里初始化了 却因为在界面改了而失效 有时就因为这个找了好久bug 后面发现在start函数里初始化靠谱点
mlagents 教程较少 只找到了关于官方教程项目的博客
需要考虑的因素过多 飞机 子弹 buff的个数加起来最多可达30(没有进行限制) 一开始直接使用camera sensor 这个组件将图像传进去 那时还想着同样都是输入图像，mlagents库可以同时训练多个并加速，效果肯定比python版本的好的多，结果证明想多了。

目前

状态空间
图像 灰度
敌人 子弹 buff 距离飞机最近的部分
血量 buff数。。。
原本还想加上消灭所有敌人可获得的分数的，但感觉与已有的重叠了
(已去除) 检测敌机和子弹的射线组件 不知道如何查看是否检测到了 只能删掉

动作空间
移动 上下左右 离散 (旧版本 连续 可变速 可转向)
使用buff

奖励
无事发生 0 试过惩罚，因为官方项目里为了快速完成任务会这样做。但是飞机大战里为了躲避子弹，无事发生是免不了的，盲目逼迫可能会起到负面效果，让ai无法理解。
击杀 根据增加分数奖励
获得buff 奖励
受伤 扣分
死亡 扣分
(想过) 敌人越过防线 惩罚 避免ai贪生怕死 尽可能的优雅而又高效率杀敌
(已注释掉)高度惩罚 静止惩罚

训练
1.先模拟学习 游戏苦手 为了演示的好一点 特意把游戏难度降低了 因为将全部敌人的数据输入给网络并不显示(输入的图像感觉毛用没有！！！),所以ai只能“看”到最近的x个对象。为了真实，我改成了真人玩时也只能看到ai能“看”的。例如3颗子弹(突然冒出的子弹有点吓人，因此暴毙过)，9个敌机。
2.不进行模拟学习
效果都不理想。不明白为啥python那里只有图像就表现得那么好(相对而言)。

辅助
第一周时每次开机都要进行

打开项目文件夹
conda命令行
转换环境
打开记录命令的文本文件
复制粘贴
这个繁琐的步骤

第二周实在忍不了了，写了个bat脚本来提高启动效率

放弃

两周了效果还是不好，为了考试和等着我的一堆实验报告，只能放弃了。代码太乱了就不放出来了，已经成shishan了,一堆不敢删掉只能注释的代码(尝试修改奖励函数的产物)。改着改着硬是堆到了1000多行代码。这炼丹师实在不好当啊。

参考

(参数调整)[https://www.cnblogs.com/gentlesunshine/p/12790103.html]
(unity飞机大战github)[https://github.com/Like-Hero/Air-War]