AI协助探索AI新构型的自动化创新概念

训练AI自生成输出模块化代码，生成元代码级别的AI功能单元代码，然后再由AI组织为另一个AI，实现AI开发AI的能力；用AI协助探索迭代新构型AI将会出现，并成为一种新的技术路线潮流。

有限结点，无限的连接形式，也是实现一种复杂性的方式。扩展结点、增加参数，是另一种外延式的实现复杂性的方式，这种方式，也可以看作是有限结点、动态连接形式，是等效的，当连接权重置值0，就相当于连接消除，连接构型中相当于没有这个连接。两者概念的区别是：后者这种形式的动态连接形式，是区域限定的，是在有限域上的动态，“有限域”的概念是，连接形式是在搭建模型时，初始连接形式作为一个域，是框架限定的，权重置0的连接，是在这个“有限域”的初始模型连接形式范围内的消除剪枝。进一步思考，当模型训练到一定程度后，能否引入一个迭代机制，重新跳到第一步，把模型的初始连接构型按某种规则，在训练到一定程度的模型基础上，扩展重置初始构型，这样设想的目的，把“有限域”扩展为模型自己探索的“动态域”，简单地说，预训练到一定程度的模型，按某种尝试、奖励机制，自动探索扩展初始连接构型，重新开始一轮新的训练。模型自己按某种尝试、奖励机制，自动化探索扩展初始连接构型，中间肯定会产生很多垃圾构型，那就自动淘汰，模型自动化探索扩展的初始连接构型，训练后的识别效果或收敛效率参照其前一个状态，如果退步则淘汰，如果更优则覆盖，也可以理解为AI模型自己探索设计AI模型，升级方向总是以自身效果为参照，如果AI自己会自动化升级，那是一种智能形式。AI自动化升级的一种形式是，在训练过程中调整参数的权重；现在思考，探索和扩展AI自动化升级的方式，AI自动化升级的另一种形式，除了调整参数，是否让模型可以自己探索新构型。

AI智能的参数或构型进化有两种模式，一种模式是通过外在干预调整，从外部给模型输入了进化方向，即各种监督学习机制的本质；另一种模式是通过设计“淘汰-选择”的规则，赋予模型在训练过程中的自进化方向，是模型内部自生成了进化方向。R1-Zero 的学习过程是按第二种模式进行进化的。这更接近实际生物大脑神经系统的智能进化的机制。让一个模型内部的两个子模型进行对话、多问题、多答案地输出-响应的博弈，进行自优化。设计一个单纯性模型，功能是单纯地对符号集进行形式化、自动化转换、形式最优化地选择与排除。

生物神经系统的进化，从最简单到人类复杂的大脑，这个进化是连接构型扩展的过程；而对一个既定的个体，则是连接构型框架定了以后，参数权重升级的过程。生物神经系统，就明显有两个升级模式，从最简单到人类复杂的大脑，既有结点的扩展，也有链接构型的扩展。比较大象、海豚、鲸鱼的大脑和人类大脑，神经元数量在一个量级，这里面的差别，主要是构型的差别，结点规模效应的差别不是主要，可以认为是一样的。

知识蒸馏的概念不同于模型蒸馏的概念，模型蒸馏是对模型进行压缩，而知识蒸馏是对训练数据资源进行压缩。知识蒸馏的预训练模型例子说明，知识A：人是会死的。知识B：苏格拉底是人。知识C：苏格拉底会死。三个知识，知识A、知识B、知识C可以压缩，进行知识压缩，即所谓知识蒸馏，压缩为知识A、知识B就包含了前面ABC的完整信息。互联网上的海量数据，进行知识蒸馏压缩，可以得到最核心的原子级知识，这个信息池也许不大，所以训练的计算量不需要很大，然后从这些元级数据可以形式化为无穷无尽的知识。设计一个压缩验证模型，就是给它一大堆的数据，让他输出尽可能小的数据集，这个小数据集可以包含输入的全部信息数据。比如，给它输入，知识A：人是会死的。知识B：苏格拉底是人。知识C：苏格拉底会死。三个知识，它会推出这里面内含的知识冗余，然后自动化的剪切掉冗余数据。