【人工智能】大数据平台技术及应用

---

前言

• 掌握大数据平台的基本概念和特征
• 了解大数据平台架构
• 了解大数据平台技术发展趋势
• 了解大数据的应用场景
• 掌握大数据的应用框架

一、大数据平台基本概念及发展趋势

1、数据量爆发式增长，发数据蓬勃发展

• 我国网民数量居世界之首，每天产生的数据量也位于世界前列。

• 中央政府多次指出数据的重要性。

2、大数据到底是什么？

• 维基百科定义：
• 大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。

3、大数据处理与传统数据处理的差异

4、为什么要建立大数据平台？

5、大数据平台开源架构-Hadoop

6、华为云大数据平台架构

大数据基本概念：（1）大数据4V特征（2）与传统数据处理区别大数据平台概念及意义：打通数据壁垒，提升数据价值大数据平台典型架构及产品：（1）开源Hadoop平台架构（2）华为云大数据平台架构

二、大数据技术框架及应用

1、大数据的应用场景

2、大数据应用流程框架

3、大数据技术平台框架

4、从数据供应到数据应用消费是一项系统性的工程

5、大数据的应用举例：导航软件红绿灯倒计时引导

6、大数据的应用举例：千人千面内容推荐

大数据的应用包括了5级应用场景。大数据应用流程框架包括了数据采集、数据存储、数据计算、数据消费应用、数据的治理。大数据的应用从供应到消费，涉及技术、能力、标准、流程、制度、管理等等环节，是一项系统性工程。