程序员要了解的AI基本知识

一.AI从业人员的三个层次

   AI从业人员的层次是不同的，所以需要的知识面也是不同的。下面大致给出了3个层面。

1.学术研究者

他们的工作是从理论上诠释机器学习的各个方面，试图找出“这样设计模型/参数为什么效果更好”，并且为其他从业者提供更优秀的模型，甚至将理论研究向前推进一步。能够做到这一步的人，可以说凤毛麟角，天赋是绕不过去的大山，机遇和努力也缺一不可。

2.算法改进者

他们也许无法回答出“我的方法为什么 work”，也许没有Hinton，LeCun 那样足以载入史册的重大成果，但是却能根据经验和一些奇思妙想，将现有的模型玩出更好的效果，或者提出一些改进的模型。这些人通常都是各个机器学习巨头公司的中坚力量或者成长中的独角兽，使用什么模型对他们来讲也不是问题，根据所处的环境，通常都有固定的几个选择。在这个层面，insight和idea才是重要的东西，各种工具的区别，影响真的没那么大。可能会让一个结果早得到或者晚得到几天或者几周，却不可能影响有没有成果”。

3.工业实现者

这些人基本上不会在算法领域涉入太深，也就是了解一下各个算法的实现，各个模型的结构。他们更多地是根据论文去复现优秀的成果，或者使用其他人复现出来的成果并且试图去在工业上应用它。对于大部分人来说，做到第三类，也就是工业实现这个层面，已经足够好了，已经击败了全国 99%的人了。

二.人工智能概念

多层的神经网络就是深度神经网络（Deep Neural Network，简称DNN,注意，这里的深度指的是层次多，而不是指神经元的数量多）；一般而言我们把两层或者两层以上的隐藏层的网络叫做深度网络。相反，只有一个隐藏层的网络通常被认为是“浅度网络”。

Transformer与神经网络的关系：从广义上讲，Transformer是神经网络的一种特殊类型。它采用了一种全新的表示学习方法，通过使用注意力机制来构建每个词的特征表示，而不是像传统RNN那样通过递归方式处理序列。因此，Transformer可以被视为一种基于注意力机制的神经网络架构。

总之，Transformer是神经网络领域的一个重要突破，它通过引入注意力机制和并行计算来提高序列处理的效率和准确性。在自然语言处理、语音识别等领域，Transformer已经逐渐取代了传统的RNN和CNN模型，成为了一种主流的神经网络架构。

注：当前主流的大模型都是用Transformer来实现的。

什么是监督学习?

判断是否是监督学习,就看输入数据是否有标签。输入数据有标签，则为有监督学习，没标签则为无监督学习。

    注：ChatGPT的训练过程主要基于无监督学习，但也结合了有监督学习的微调阶段来提高其生成和表现能力。

三.深度学习三大要素

数据，算力，算法，而算法在不断的被创新,训练数据不断在被收集,计算力 CPU、GPU不断在增强，所以深度学习会越来越强大。当然将来越来越多的算力需求还需要越来越多的能源支持。