机器学习基础-机器学习的常用学习方法

半监督学习的概念

少量有标签样本和大量有标签样本进行学习；这种方法旨在利用未标注数据中的结构信息来提高模型性能，尤其是在标注数据获取成本高昂或困难的情况下。

规则学习的概念

基本概念

机器学习里的规则

        若......则......

• 解释：如果预测函数 h^(x) 的输出等于某个值 y^​，则实际输出 y 也应为 y

• 解释：如果预测函数 h(x) 的输出大于0，则样本属于正类（class = 1）；否则属于负类（class = -1）。

• 解释：如果样本 x 到中心点 ci​ 的距离小于到其他所有中心点的距离，则样本 x 被分配到簇 ci。

逻辑规则

规则集

• 如果西瓜的根蒂是缩缩的且肚脐是凹陷的，则该西瓜是好瓜。
• 如果西瓜的纹理是模糊的，则该西瓜不是好瓜。

充分性与必要性

• 充分性: 如果条件满足，则结论必然成立。
• 必要性: 如果结论成立，则条件必须满足。

冲突消解

• 顺序规则: 按照规则的顺序进行匹配和应用。
• 缺省规则: 在没有明确规则的情况下使用默认规则。
• 元规则: 用于处理规则之间的冲突或优先级问题。

命题逻辑 → 命题规则

• 原子命题:

      用大写字母表示，如 A,B,C,…

• 逻辑连词:

      包括：←,→,↔,∧,∨,¬,…
      eg：

  • 好瓜←(根蒂=蜷缩)∧(脐部=凹陷)

    这个规则可以读作：“如果西瓜的根蒂是蜷缩的且脐部是凹陷的，则该西瓜是好瓜。”
     

序贯覆盖

• 主要一个生成规则集的机器学习算法，主要用于分类任务。
• 在训练集上每学到一条规则，就将该规则覆盖的样例去除，然后以剩下的样例组成训练集重复上述过程（分治策略）

单条规则学习

• 目标：寻找一组最优的逻辑文字来构成规则体
• 本质：搜索问题
• 方法：
  • 自顶向下：一般到特殊（特化）
    eg：初始时假设“所有西瓜都是好瓜”，然后逐步增加条件，如“根蒂蜷缩且脐部凹陷”，以更精确地定义哪些西瓜是好瓜。
  • 
    
    
    
  • 自底向上：特殊到一般（泛化）
  • 
  • 
  • 

剪枝优化

• 预剪枝
  • 使用似然率统计量 (LRS) 来评估规则的有效性，并在规则生成过程中进行剪枝。
  • 目的是减少过拟合，提高模型的泛化能力。
• 
• 后剪枝
  • 在规则生成完成后，通过穷举所有可能的剪枝操作来优化规则集。
  • 减错剪枝（REP）
    • 用验证集反复剪枝直到准确率无法提高
    • 穷举所有可能的剪枝操作（删除文字，删除规则），复杂度非常高
• 两者结合
  • IREP：每生成一条新规则即对其进行REP剪枝
  • IREP*：对IREP的改进
  • RIPPER：具体过程如下

① 用IREP*生成规则集，但发现规则覆盖了两个负样本

② 选取该规则，找到其覆盖的样例，之后重新生成规则

③ 特化原规则后再泛化

④ 把新规则和原规则分别置入规则集进行评价，留下最好的

④ 反复优化直到无法进步

强化学习的概念

1. 强化学习对应了四元组

E=<X,A,P,R>

• X: 状态空间，表示智能体感知到的环境状态。
• A: 动作空间，表示智能体可以采取的动作。
• P: 状态转移概率函数，表示在给定当前状态 xx 和动作 aa 下转移到下一个状态 x′x′ 的概率。
• R: 奖赏函数，表示在给定当前状态 xx 和动作 aa 下获得的即时奖赏。

2. 强化学习的目标

• 目标: 机器通过在环境中不断尝试从而学到一个策略 π，使得长期执行该策略后得到的累积奖赏最大。

强化学习常用马尔可夫决策过程 (MDP) 描述

1. 机器所处的环境 F

• 描述: 机器所处的环境。
• 示例: 在种西瓜任务中，环境是西瓜生长的自然世界。

2. 状态空间 X

• 定义: x∈X 是机器感知到的环境的描述。
• 示例: 瓜苗长势的描述。

3. 机器能采取的行为空间 A

• 定义: 机器能采取的行为集合。
• 示例: 浇水、施肥等。

4. 策略 (policy) π

• 定义: π:X→A （或 π:X×A→R）
  • 策略 π 是一个从状态空间 X 到行为空间 A 的映射，表示在给定状态下智能体应采取的动作。
• 示例: 根据瓜苗状态是缺水时，返回动作浇水。

5. 潜在的状态转移 (概率) 函数 P

• 定义: P:X×A×X→R
  • P 描述了在给定当前状态 x 和采取动作 a 后，转移到下一个状态 x′ 的概率。
• 示例: 瓜苗当前状态缺水，选择动作浇水，有一定概率恢复健康，也有一定概率无法恢复。

6. 潜在的奖赏 (reward) 函数 R

• 定义: R:X×A×X→R 或 R:X×X→R
  • 表示在状态 x 下采取动作 a 并转移到状态 x′ 时获得的奖赏。
• 示例: 瓜苗健康对应奖赏 +1，瓜苗凋零对应奖赏 -10。

强化学习vs监督学习