机器学习_个人笔记_周志华(更新中......)

第1章 绪论

1.1 引言

形成优秀的心理表征，自然能成为领域内的专家。
系统1 & 系统2。

机器学习：致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。主要研究计算机从数据中产生model的算法，即“learning algorithm”。
“经验”通常的存在形式——“数据”。

1.2 基本术语

数据集
每天记录——示例——样本
属性值
属性空间——样本空间——输入空间
一个示例——特征向量（feature vector）
训练样本——训练示例（training instance）——训练例

学得模型亦称hypothesis，学习过程是为了逼近ground-truth。本书有时称模型为“学习器”(learner)。

标记空间(label space)——输出空间
分类(classificatioin)：离散值预测类的学习任务。
回归(regression): 连续值预测类任务。
binary classification任务：includes positive class & negative class。
multi-class classification

预测类任务是希望建立输入空间x到输出空间y的映射f

testing
testing sample
clustering
cluster

据training data是否拥有label information，划分为supervised learning & unsupervised learning。classification和regression是前者的代表，而clustering是后者的代表。

“泛化(generalization)”能力

1.3 假设空间

科学推理的两大基本手段：induction（归纳）& deduction（演绎）。
induction: 从特殊到一般。
deduciton: 从generalization到specialization。

inductive learning（归纳学习）——从样例中学习。分为广义和狭义。

version space

1.4 归纳偏好

inductive bias：机器学习算法在学习过程中对某种类型假设的偏好。任何一个有效的机器学习算法必有其归纳偏好，否则无法产生确定的学习结果。

Attention:

NFL定理：No Free Lunch Theorem！
NFL定理的重要前提：…
NFL Theorem的寓意：具体问题具体分析。学习算法自身的induction bias与problems是否相配，往往起决定性作用。

1.5 发展历程

20世纪50年代到70年代初：AI研究处于“推理期”。
20世纪70年代中期开始，”知识期“。
20世纪80年代，ML成为一个独立的学科领域，各种ML技术百花初绽——学习期。

本书大部分内容均属于广义的induction learning范畴，涵盖supervised learning and unsupervised learning等等。

ILP：

1.6 应用现状

1.7 阅读材料

第2章 模型评估与选择

第3章 线性模型

第4章 决策树

第5章 神经网络

第6章 支持向量机