机器学习简介--NLP(二)

机器学习简介

机器学习例子

问题： 2，4，6，8，？，？已知前面的数，求后面的数是什么？
机器学习解决方案 从前四个数，即前4个示例，找到一个函数（模型，公式）满足前四个数的规律；后面的数则使用这个函数去推理得到。

1.找到一个函数y=f(x)使得将其满足上面的已知数据
2.得到这个函数，去预测其他的未知的数
上面的函数为：y=2*x

引申：上面是简单的数字，这个数字可以变成复杂的向量、矩阵；这个函数也可以是多个公司拼接，从而就可以符合更加复杂任务的规律。其中2就是我们在数字中找到的规律，y=2x就是我们训练出来的模型。

机器学习概念： 通过观察有限数量的样本，去找到一个规律或者公式，满足已知样板的x、y的关系的过程。

数据的重要性： 上面的案例中，如果只给了2，4两个已知的数，那么规律就有可能是：y=2x;也可以是y=x^2 ;所以规律正确与数据有很大的关系。

困难点： 上面的规律是非常简单的，但是对于复杂的事情，我们人都很难去梳理出规律，所以我们希望把数据交给机器，让机器把规律找出来 。

机器学习分类

有监督学习

核心目标： 建立一个模型（函数），来描述输入（x）与输出（y）之间的关系；从而使新的输入来临时时，我们可以预测输出。
要求：需要一定输入与输出有关联关系并且能够数值化表示的训练样本。

有监督学习的应用

任务类型1：文本分类任务

输入：文本
输出：类别
关系：文本的内容决定着文本的类别

比如判断一句话是不是曹贼所说

任务类型2：机器翻译

输入：A语种文本
输出：B语种文本
关系：A语种表达的意思，在B语种中有对应得意思

比如太阳，英文就是son

无监督学习

**释义：**给与机器得数据是没有标注信息得，简单理解就是只有输入，这种情况也可以让机器进行一些分析
应用场景：聚类、降维、找特征值等等
聚类
**释义：**比如将一系列水果，按照大小、颜色、口味对应不同得数字，把水果转换为向量数子表示，这个时候通过空间向量得计算，可以判断那些向量比较接近，那么按照一定得算法就可以将它们分类，虽然我们不清楚分得是什么类

降维
释义： 我们在整理了1000个人的各项数据，包括用100个维度去表示他们各自的信息：身高、是否结婚、工作、胖瘦、年龄、手长、腰围等；但是对于我们某一个任务来说，某些维度的信息没有用，比如是否结婚不关注，那么我们通过一定的算法，将其中某些不用的维度去除掉，降低的数据的复杂性，这就是降维。

机器学习常见概念

数据集

1.训练集
释义：用于模型训练的数据集合
举例： 相当于一个孩子从白纸到成人需要的教训，只是这个教训在这里是提取准备好的

2. 验证集
释义：对于每一种任务一般都有多种算法可以选择，一般会使用验证集用于对比不同算法的效果差异
举例： 培养孩子时，我们需要进行中考、高考，测试这个孩子在某方面的天赋和培养效果，这里的验证集就是这个意思。

3.测试集
释义：最终用来评判算法模型效果的数据集合
举例： 相当于孩子成年了，放到社会上去经历毒打，如果表现得不错，就说明这个号成了，表现差，就重新练一个。

k折交叉验证

释义：初始采样分割成k个子样本，一个单独的子样本本保留作为验证模型的数据，其他的k-1个样本用来训练，交叉重复k次，每个子样本验证一次，平均k次的结果。就是需要训练K次。

过拟合

**释义：**模型失去泛化能力，如果模型在训练集和验证集上都有很好的表现，但是在测试集上表现很差，一般认为发生过拟合。
举例： 高考笔试成绩很好，读书的任务完成得很棒，但是出了社会实际做事不行，是书呆子，就是过拟合。

欠拟合

释义： 模型没能建立起合理的输入输出之间的映射，当输入训练集中的样本时，预测结果和标注结果依然相差很大。
举例 平时就学不进去，别说高考，从小学到初高中，成绩都很差，就是欠拟合，这个时候就看是不是没认真学习，学习方法不对；还是这个娃就是蠢，那么就重新生一个，看看有没有天赋。

评价指标

释义： 为了评价算法效果好坏，需要找到一种评价模型的计算指标例如：准确率、召回率、F1值、TopK、BLEU等
举例： 学生的评价，德智体美劳，高考成绩等