机器学习基础入门（1）

最近也在努力的想要学习些机器学习的知识，目前正在了解各个概念及术语，下面就把学习到的概念都列出来。

• 人工智能 (AI) Artificial intelligence

• 人工智能生成内容（AIGC）

• 机器学习（ML） Machine Learning

是人工智能 (AI) 的一个分支，专注于使用数据和算法来模仿人类的学习方式，从而随着时间的推移逐渐提高准确性

Machine Learning 共分为四类，分别是：监督式 、非监督式 、半监督式学习和强化学习。

• 深度学习（DL）Deep Learning

1. 深度学习是机器学习的一个分支(最重要的分支)
2. 机器学习是人工智能的一个分支

• 自然语言处理（NLP）Natural Language Processing

• 语言模型（LM）Language Model

• 大预言模型（LLM）Large Language Model

• 小语言模型（SLM）Small Language Model

• 神经网络语言模型（NNLN）Neural Network Language Model

深度学习算法：

• 卷积神经网络（CNN）Convolutional Neural Network

        参考资料： CNN

• 循环神经网络（RNN）

        参考资料：  RNN

• 生成式对抗网络（GAN）

• 深度强化学习 （RL）

• Transformer架构

Transformer架构是大型语言模型背后的核心架构。它采用了自注意力机制来捕捉输入序列中的长距离依赖关系，避免了传统循环神经网络（RNN）中存在的梯度消失问题。Transformer包括编码器和解码器两个部分，其中编码器用于将输入序列编码为隐藏表示，而解码器则用于根据编码器的输出生成目标序列。

• 自注意力机制（Self-Attention）

自注意力机制是Transformer架构的核心之一。它允许模型在处理每个输入位置时都可以关注到其他位置的信息，并且可以动态地调整不同位置的重要性。通过计算每个位置与其他位置的相关性，自注意力机制可以有效地捕捉序列中的语义关系，从而提高模型在自然语言处理任务中的性能。

• 微调（Fine-tuning）

在预训练模型的基础上，通过在特定任务上进行少量训练以调整模型参数，以适应特定任务的需求。

• 泛化（Generalization）

模型在未见过的数据上表现良好的能力，避免过拟合于训练数据。

• 文本转语音（TTS）Text To Speech

将书面文字转换为可听见的语音的技术

• 语音转文字（STT）Speech To Text

算力单位：

OPS (operations per second)  

每秒处理次数，通常是默认对INT8整数型数据的处理次数（INT8省略不写）

TOPS（Tera Operations Per Second）

GPU每秒可以执行的深度学习推理操作次数，1TOPS=处理器每秒钟可进行一万亿次（10^12）操作。

FLOPS (Floating point number operations per second) 

每秒处理浮点数次数，加上FL后FLOPS指的是对FP32浮点数的处理次数

TFLOPS (Tera Floating point number operations per second) 

每秒处理浮点数的万亿次数

FLOPs （Floating point number operations）

模型参数的处理次数，注意s是小写

MOPS （Million Operation Per Second）  一百万次（10^6）   兆；百万

GOPS （Giga Operations Per Second）  十亿次     （10^9）   千兆；十亿（billion，B）

TOPS （Tera Operations Per Second）  一万亿次   （10^12） 兆兆

换算：

1 TOPS = 10^12 FLOPS  

1 GOPS = 10^9 FLOPS

1 MOPS = 10^6 FLOPS