数据分析笔记1

数据分析概述：数据获取--探索分析与可视化--预处理--分析建模--模型评估
数据分析含义：利用统计与概率的分析方法提取有用的信息，最后进行总结与概括

一、数据获取
实用网站：kaggle 阿里云天池
·数据仓库：将所有业务数据汇总处理，构成数据仓库（DW）
          ·全部事实记录
          ·部分维度与数据的整理（数据集市（DM））
·监测与抓取：爬虫
·填写、埋点、日志
          ·用户填写信息
          ·APP或网页埋点（特定流程的信息记录点）（页面统计、统计操作行为）
          ·操作日志
·计算
           ·通过已有数据计算

二、探索分析与可视化
单因子和可视化
·理论基础
···集中趋势：均值、中位数与分位数、众数
····四分位数计算方法：Q1的位置=（n+1）*0.25    （n为数据的个数）
                                                                 Q2的位置=（n+1）*0.5
                                                                 Q3的位置=（n+1）*0.75
···离中趋势：标准差、方差--σ的值越大表示数据越离散，σ越小表示数据越聚拢
···数据分布：偏态与峰态、正态分布与三大分布
····偏态系数S与峰态系数K--均值>中位数-->正偏反之为反偏
···抽样理论：抽样误差、抽样精度
·数据分类
··定类（类别）
··定序（顺序）
··定距（间隔）
··定比（比率）
·单属性分析
··异常值分析
···连续异常值
···离散异常值
···知识异常值
··对比分析
···绝对数比较
···相对数比较--结构相对数、比例相对数、比较相对数、强调相对数
···对比维度--时间维度、空间维度、经验与计划
··结构分析
···静态
···动态
··分布分析
···直接获得概率分析
···是不是正态分布
···极大似然