机器学习入门介绍

各位大佬好 ，这里是阿川的博客 ， 祝您变得更强

个人主页：在线OJ的阿川

大佬的支持和鼓励，将是我成长路上最大的动力

阿川水平有限，如有错误，欢迎大佬指正

机器学习

• 计算机 从数据中学习规律并改善自身进行预测的过程

三大方向

其中深度学习为重点

机器学习产生的原因

• 人与计算机理解方式不同
• 规律系统不够用
• 逻辑判断专家参与耗时耗力

机器如何学习

注意：我们期望机器在没有见过的数据集中表现良好，所以在训练中会采用28原则

• 80%的历史数据用来训练
• 20%的数据用来测试

模型评价

模型要进行模型评价

应用层

• 商品画像
• 用户画像
• 商品推荐
• 搜索算法
• 以画搜画
• 商品排序
• 人脸检测
• 活体检测
• 人脸识别

适用条件

• 问题存在某种模式
  • 一般是人能够解决的，若人解决不了的，作为强人工智能领域
• 难以人工总结定义
• 有足够样本数据
  • 小数据下会失效

学习要弄清楚

学习机器学习要弄清楚

数据什么样

• 常用的公开数据集
• 典型实例
• 如何使用数据
• 高维特征空间
• 结构化与非结构化数据

研究哪些问题

• 任务地图

• 分类任务（重点）

  • 特征

    • 已知样本特征
    • 判断样本类别
    • 二分类，多分类，多标签分类

  • 二分类

  • 多分类

  • 多标签分类

    • 标签间不互斥
    • 概率和不为1

  • 更多实例

• 回归任务（重点）

  • 特征

    • 用于预测

  • 线性回归

  • 多项式回归

    • 一个因变量
    • 一个或多个自变量
    • 任何函数都可以用多项式逼近

  • 逻辑回归

    • 实际上是分类
    • 细节很多，求法不同，导致在回归类

不管是分类还是回归，都属于监督学习

• 类别标记
• 直接反馈

无监督学习

• 无标准答案，去探索某种规律或结构

强化学习

• 研究环境与行动之间的互动，以获取最大化结果

如何分门别类

划分依据

• 监督学习

  • 训练数据有标记
  • 基础而重要

• 无监督学习

  • 训练数据未有标记
  • 聚类
  • 降维
    • 主成分分析
      • K均值算法
      • 密度聚类
      • 最大期望算法
    • 核方法

• 半监督学习

  • 少量标记，大量无标记

• 强化学习

  • 观测环境
  • 估计状态
  • 执行操作
  • 获得回报或惩罚

• 批量学习

  • 先训练再使用
  • 需要大量的时间和计算资源
  • 通常都是高线完成

• 在线学习

  • 循序渐进
  • 边学边用

• 基于实例的学习

• 基于模型的学习

常见误区与局限

• 数据越多越好吗

  • 数据质量是关键
  • 多不意味着准确
  • 传统方法依然有用

• 模型真的可信吗

  • 可解释性难题
  • 深度学习是个黑盒子
  • 深层学习有具优势

• 随机和确定性哪个更好

  • 机器学习本质上是统计
  • 确定性依然十分重要
  • 随机与确定性间的平衡

• 小样本集怎么办

  • 机器学习适合大数据
  • 很多问题是天然小数据
  • 小样本学习是机器学习的挑战

• 推理而不只是判断

  • 机器学习尚在判断阶段
  • 抽象思维和逻辑思维推理远未实现
  • 数学依旧是汪洋大海

• 机器学习是机会

  • 深度学习局限性凸显
  • 本质上是几何空间变换
  • 具体问题应具体分析

工具栏

四大必备工具

Anaconda

Jupyter notebook

• 基础使用
  • 基础操作
    • 快捷键
    • markdown
• 高级使用
  • %%writefile
  • %pycat
  • %run
  • %timeit
  • %time
  • %%timeit
  • %%time
  • %whos
  • %lsmagic
  • %magic

Numpy（重点）

• 基础知识

  • 性能对比

• 数组创建

  • 常用属性
    • ndim\shape\size

• 创建数组

  • np.array（）
  • ones/ones_alike
  • zeros/zeros_like
  • full/full_like 指定数值
  • empty/empty_like 实数组
  • arange/linspace 等量数组
  • random/rand/randint/randn/nomal/uniform/seed 随机数组
  • reshape 改变形状
  • help/? 查看文档

• 基础索引

• 数据合并与拆分

  • 合并
    • concatnade/vstack/hstack
  • 拆分
    • split/vsplit/hsplit

• 矩阵运算

  • 一元运算
    • abs/sqrt/square/exp/log/ceil/floot/round/sincostan
  • 二元运算
    • dot/加速乘除/取余/幂运算
  • 矩阵运算
    • 加速乘除/dot/转查/逆矩阵/行列式

• 统计运算

  • min/max
  • sum/mean/median/std/var
  • ptp/percentile/cumsum/diff/prod

• arg运算

  • argmin/argmax/argsort/argpartition

• 补齐索引和布尔索引

Matplotlib

• 数据可视化基础
  • 拆线
  • 散点
  • 绘制设置

好的，到此为止啦，祝您变得更强

道阻且长 行则将至

个人主页：在线OJ的阿川大佬的支持和鼓励，将是我成长路上最大的动力