大数据课程L1——网站流量项目的概述整体架构

文章作者邮箱：[e-mail]              地址：广东惠州

 ▲ 本章节目的

⚪ 了解网站流量项目的案例概述；

⚪ 了解网站流量项目的数据埋点和采集；

⚪ 了解网站流量项目的整体架构；

一、网站流量项目概述

1. 背景说明

网站流量统计是改进网站服务的重要手段之一，通过获取用户在网站的行为，可以分析出哪些内容受到欢迎，哪些页面存在问题，从而使网站改进活动更具有针对性。

2. 统计指标说明

常用的网站流量统计指标一般包括以下情况分析：

1. 按在线情况分析

在线情况分析分别记录在线用户的活动信息，包括：来访时间、访客地域、来路页面、当前停留页面等，这些功能对企业实时掌握自身网站流量有很大的帮助。

2. 按时段分析

时段分析提供网站任意时间内的流量变化情况.或者某一段时间到某一段时间的流量变化，比如小时段分布，日访问量分布，对于企业了解用户浏览网页的的时间段有一个很好的分析。

3. 按来源分析

来源分析提供来路域名带来的来访次数、IP、独立访客、新访客、新访客浏览次数、站内总浏览次数等数据。这个数据可以直接让企业了解推广成效的来路，从而分析出那些网站投放的广告效果更明显。

二、数据的埋点和采集

1. 概述

所谓埋点就是在应用中特定的流程收集一些信息，用来跟踪应用使用的状况，后续用来进一步优化产品或是提供运营的数据支持，即通过数据埋点来采集数据，比如采集：访问（Visits），访客（Visitor），停留时间（Time On Site），页面查看（Page Views，又称为页面浏览）和跳出率（Bounce Rate 又可称为蹦失率）。

一个典型的数据平台，对于数据的处理，是由如下的5个步骤组成的：

其中，我们人为第一个步骤，也即数据埋点和采集是最基础的问题。数据采集是否丰富，采集的数据是否准确，采集是否及时，都直接影响整个数据平台的应用的效果。

埋点的两种方式：

1. 自己公司研发在产品中注入埋点代码进行采集。将埋点代码比如写道一个js里，然后放到某个应用网站上。

2. 使用第三方统计工具，如友盟、百度移动、魔方、App Annie、talking data等。

本项目的埋点实现：

我们是通过js代码来实现埋点。编写特定的js脚本，然后嵌入到需要做日志分析的web页面上（实际是通过<script>标签来嵌入js文件）。

三、日志数据采集模块说明

1. 概述

日志收集的目的最终是把用户对目标网站的访问日志汇聚到HDFS文件系统中的特定目录，以便提供给下一步的数据清洗模块进行处理。要完成这一工作，需要分为如下几个步骤去做：

1. JS埋点

2. 日志服务器搭建

3. 日志收集

2. JS埋点

我们需要收集某个网页的访问情况，通用的做法是在这个网页上嵌入一个JS脚本，这样当用户访问该页面时，页面上的JS脚本会在页面上动态加入一个<image/>标签，并且<image/>的src属性指向日志服务器下的一个透明图片的URL地址。

在该URL参数上会附带一些用户的访问信息（如被访问页面的URL、识别用户身份的cookie等），这样通过分析日志服务器（一般是nginx或apache）的access日志文件就能获取到这些信息。这个JS埋点的脚本可以自己编写来实现，代码片断如下：

js主函数代码：

function ar_main() {

//收集完日志 提交到的路径