01.hadoop上课笔记之hadoop介绍

1.大数据介绍

1. 可以对未来数据预测 google通过搜索预测流感,足球球员有一 定关联…
2. caict可以得到数据
3. hbase hive林子雨mooc
4. 数据要进行挖掘(推断更多信息)

2.大数据是非结构化数据多:声音,图片…

3.大数据影响因素 大多快低 tb pb eb zb

1.硬件
2.网络带宽

4.大数据的特征

1. 数据量大
2. 数据格式多样
3. 速度快 秒级实时响应
4. 低价值密度

5.大数据的影响

1. 数据多,抽样不能表达所有全样(全部数据) 如灯泡检测,用以前灯泡检测数据,进行分析它的 趋势
2. 效率而非精确(数据中不一定是准确的,预测一瞬间的数据)
3. 相关而非因果(相关性,有关联, 啤酒和尿布,因为因果很难知道去发现…)

6.大数据的应用领域

银行 做信贷风险分析(贷不贷款给他)
汽车 无人驾驶 判断是否遇到障碍
零售 商品推荐
餐饮 麦当劳的选址 我们的手机通讯商发现人流量多,卖信息给麦当劳
上海迪士尼 发手环,定位你,送餐给你避免餐厅拥挤

7.hadoop是他孩子的黄色的小象

hadoop 2008年出名 10亿数据排序 打破世界纪录 雅虎 腾讯 阿里(使用商业版) facebook 百度 淘宝使用
hadoop特性 高可靠性高效性 高可扩展性 高容错性 成本低 (加社区,面试有用) (如 spark在内存里面计算)