大数据开发（日志离线分析项目）

一、项目需求

1、使用jquery+echarts的方式调用程序后台提供的rest api接口，获取json数据，然后通过jquery+css的方式进行数据展示。工作流程如下：

2、七大角度

1、用户基本信息分析模块

1、用户分析
分析新增用户、活跃用户以及总用户的相关信息。
2、会员分析
分析新增会员、活跃会员以及总会员的相关信息。
3、会话分析
分析会话个数、会话长度和平均会话长度相关的信息。
4、Hourly分析
分析每天每小时的用户、会话个数以及会话长度的相关信息。

2、浏览器信息分析模块

1、用户分析
2、会员分析
3、会话分析
4、浏览器pv分析
pv：访问页面的数量pageview

3、地域信息分析模块

1、活跃访客地域分析
分析各个不同地域的活跃访客数量
2、跳出率分析
分析各个不同地域的跳出率情况。（没有进行二次浏览行为，直接退出网站）

4、用户浏览深度分析模块

用户在一次会话中访问页面的数量。pv/uv（uv：cookie中的uuid数量）

5、外链数据分析模块

1、外链偏好分析
分析各个外链带来的活跃访客数量
2、外链会话（跳出率）分析

6、订单分析模块

7、事件分析模块

二、系统架构

1、数据流程设计

2、如何确定集群规模？

1、考虑自己单台服务器的配置
2、其次要考虑的是每日的数据规模：每日活跃用户、用户平均每日数据量
3、副本策略：一般2~3个副本
4、扩容周期：半年不扩容
5、预留空间：一般20%~30%

3、测试服务器规划

三、JS SDK

1、概述

不采用ip来标识用户的唯一性，通过在cookie中填充一个uuid来标识用户的唯一性。
埋点：在页面（jsp或html）中植入js代码。

2、执行工作流

3、数据参数说明

在各个不同事件中收集不同的数据发送到nginx服务器。

4、事件分析

4.1 概述

用户基本信息：pageview事件+launch事件
浏览器信息分析：在用户基本信息分析的基础上添加浏览器这个维度信息，pageview事件
地域信息：通过nginx服务器来收集用户的ip地址来进行分析，pageview事件
外链数据分析、用户浏览深度分析：在pageview事件中添加访问页面的当前url和前一个页面的url，pageview事件
订单信息分析：chargeRequest
自定义事件分析：需要一个pc端发送一个新的事件数据，定义为event。还需要设置一个launch事件来记录新用户的访问。event事件+launch事件

4.2 launch事件

用户第一次访问网站的时候触发该事件

4.3 pageview事件

当用户访问页面/刷新页面的时候触发该事件

4.4 chargeRequest事件

用户下订单的时候触发该事件

4.5 event事件

当访客/用户触发业务定义的事件后，前端程序调用该方法。

四、JAVA SDK

发送支付成功/退款成功的信息给nginx服务器。

1、执行工作流

2、程序后台事件分析

发送订单支付成功的信息给nginx服务器。

2.1 chargesuccess事件

支付成功

2.2 chargerrefund事件

订单退款

五、数据来源设计

埋点的使用，js相关方法以及java的相关方法

1、项目搭建

2、配置tomcat

3、代码分析

3.1 js代码分析

3.2 java代码分析

1、订单支付成功事件
AnalyticsEngineSDK.onChargeSuccess(…）方法
触发订单支付成功事件，发送事件数据到Nginx服务器
param orderId 订单支付id
param memberId 订单支付会员id
如果发送数据成功(加入到发送队列中)，那么返回true；否则返回false(参数异常&添加到发送队列失败)。
2、订单退款成功事件
触发订单退款事件，发送退款数据到服务器
param orderId 退款订单id
param memberId 退款会员id
如果发送数据成功，返回true。否则返回false。

六、nginx和flume应用

1、添加nginx服务与开机启动

2、Nginx日志格式配置

3、项目中flume的配置

项目当中如何收集Nginx产生的日志？
监控日志文件/opt/data/access.log，将采集到的日志存放到hdfs文件系统的/log/目录下，并以yyyyMMdd为子目录分别存放每天的数据。

七、ETL

1、解析思路

1、通过^A进行拆分，不足四部分的数据不符合要求，过滤掉。
2、?后面的内容按照 & 进行拆分
3、在按照=进行拆分
4、判断参数en的值如果不是6种事件类型的过滤掉。
5、192.168.20.1 换算成地域
6、1642391346.792 时间
7、浏览器相关信息提取处理

八、新增用户数据处理

1、数据库和表

2、维度相关类

1、维度类图
浏览器维度、时间维度、KPI维度、平台维度
通过以上四个维度的各种组合，计算它的新增用户指标
2、BaseDimension类
3、BrowserDimension类
唯一标识id、名称、版本
4、PlatformDimension类
id、platformName
5、KpiDimension类
id、kpiName
6、DateDimension类
id、year、season、month、week、day、type、calendar
7、StatsDimesion类
8、StatsCommonDimesion类
9、 StatsUserDimesion类
10、KpiType类

3、Mapper和Reducer输出Value类

1、BaseStatsValueWritable类
获取当前value对应的kpi值
2、TimeOutputValue类
Mapper类输出的Value对应类型的类
id、time
3、MapWritableValue类
Reducer输出要写入mysql的表中，那么就存在以下两个问题：
1.把数据写入到哪个表中？比如new_install_user->query-mapping.xml中找namenew_install_user插入sql语句
2.对应表中一行记录的数据内容

4、添加写入MySQL表相关类

5、Runner开发

Job流程：
1、从hbase的eventlog表中读取数据
2、Mapper中对数据列表进行纬度的组合
3、Reducer聚合操作
4、数据放到MySQL对应的表中
hbase表查询：
en,s_time,pl,u_ud,browser,browser_v,kpi
条件 lanuch en=e_l （条件）和 时间范围
注意：kpi 模块 new_install_user,browser_new_install_user
通过List来完成如下操作：
1、scan添加过滤器,startKey stopKey
2、指定en=e_l的查询条件
3、指定要获取的列名MultipleColumnPrefixFilter
4、指定表名

6、Mapper开发

四个纬度：时间、浏览器、平台、模块
组合四个纬度，向输出外键值对信息。
维度组合有多少种？
各个维度的种类相乘得到结果
修改EventLogConstants类，添加两个常量：new_install_user、browser_new_install_user

7、Reducer开发

由于统计的是用户的数量，需要对log进行uuid的过滤，因为同一个人有可能点击了多次。

九、活跃用户数据处理

只要在指定的日期中出现过一次PageView的用户便被称为活跃用户。
查询哪些列？
en,s_time,browser_name,browser_version,platform,uuid
查询的过滤条件？
事件类型：en=e_pv
指定日期：>=yyyy-MM-dd 00:00:0 并且 < yyyy-MM-dd+1
00:00:00

1、ActiveUserRunner开发提示

1、创建日志记录对象
2、声明配置文件对象
3、设置Reducer相关参数、设置OutputFormat类、提交作业
4、处理日期参数
从传入的参数中获取日期，如果日期不合法或没有，则使用当前系统时间的昨天，将日期添加配置文件对象，设置相关参数，加载三个配置文件，配置文件处理

2、Mapper开发提示

声明并实例化输出的key和value对象
声明并实例化Kpi维度对象
声明日期维度对象
声明平台维度集合对象
声明浏览器维度集合对象
从value获取服务器时间
从value获取用户id
从value获取平台
从value获取浏览器名称
从value获取浏览器版本
构建单一维度对象或集合对象 日期、平台、浏览器
构建组合维度对象
循环遍历输出

3、Reducer开发提示

声明并实例化输出的value对象
去重，定义Set集合
清空集合，排除上一组数据的干扰
遍历values，将获取出的uuid添加到Set集合对象中
声明并实例MapWritable对象 mapw
将获取用户的数量添加到mapw中
并将mapw封装到Reduce输出的value对象中
kpi维度处理

十、Sqoop

将关系数据库（oracle、mysql、sqlserver等）数据与hadoop、hive、hbase等数据进行转换的工具。同类产品DataX（阿里顶级数据交换工具）
MR中通过InputFormat和OutputFormat配置MR的输入和输出

十一、用户浏览深度分析

通过hive和hbase的整合，编写hql分析语句，将分析后的结果
放入到hive的结果表中，然后通过sqoop导出到mysql的结果表中。

1、hql编写

2、Hive中创建表

3、hql行转列

4、完善hql

5、编写UDF类

6、Hive创建函数

7、sqoop脚本编写