Python大数据可视化：基于Python对B站热门视频的数据分析与研究_flask+hive+spider

1. 开发语言：Python
2. 框架：flask
3. Python版本：python3.7.7
4. 数据库：mysql 5.7
5. 数据库工具：Navicat11
6. 开发软件：PyCharm

系统展示

管理员登录

管理员功能界面

排行榜界面

系统管理界面

看板展示

摘要

本项目以对B站热门视频的数据分析与研究为研究背景，采用的框架为 Django和python开发了对B站热门视频的数据分析与研究。本文通过分析对B站热门视频的数据分析与研究的需求，建立起了相关的开发模型，构建出相关的系统需要的开发环境。通过调研，明确了对B站热门视频的数据分析与研究的需求，最后开发实现了系统并进行了测试。

研究背景

随着互联网时代的普及，有非常多的产业可以借助于网络使用其方便的优势飞速发展，对B站热门视频的数据分析与研究也在快速发展之中。随着时间越来越可贵的今天，对于用户来说，对B站热门视频的数据分析与研究的吸引之处在于它的方便，同时对B站热门视频的数据分析与研究具有多样化的选择，用户可以通过网络的方式使用系统的功能。有了对B站热门视频的数据分析与研究的话，管理员可以提高工作效率和用户可以提升体验感。

关键技术

Python是解释型的脚本语言，在运行过程中，把程序转换为字节码和机器语言，说明性语言的程序在运行之前不必进行编译，而是一个专用的解释器，当被执行时，它都会被翻译，与之对应的还有编译性语言。

同时，这也是一种用于电脑编程的跨平台语言，这是一门将编译、交互和面向对象相结合的脚本语言（script language）。

Django用Python编写，属于开源Web应用程序框架。采用（模型M、视图V和模板t）的框架模式。该框架以比利时吉普赛爵士吉他手詹戈·莱因哈特命名。该架构的主要组件如下：

1.用于创建模型的对象关系映射。

2.最终目标是为用户设计一个完美的管理界面。

3.是目前最流行的URL设计解决方案。

4.模板语言对设计师来说是最友好的。

5.缓存系统。

Vue是一款流行的开源JavaScript框架，用于构建用户界面和单页面应用程序。Vue的核心库只关注视图层，易于上手并且可以与其他库或现有项目轻松整合。

Hadoop是一个由Apache基金会维护的开源大数据处理框架。它允许分布式处理大数据集，通过在计算机集群中并行处理数据来加快数据处理速度。Hadoop的核心设计哲学是将应用程序带到数据所在的位置，而不是将大量数据传输到应用程序所在的位置。它主要由两个组件组成：Hadoop Distributed File System（HDFS）和MapReduce。HDFS是一个高度可靠、高吞吐量的分布式文件系统，用于存储大规模数据。MapReduce则是一个编程模型，用于处理和生成大型数据集。Hadoop的强大之处在于其可扩展性和容错性，能够处理PB级别的数据，并在硬件故障时继续运行而不丢失数据。此外，Hadoop生态系统还包括其他工具，如Hive、Pig和HBase等，这些工具为数据分析、存储和处理提供了更多功能。总的来说，Hadoop是一个强大的大数据解决方案，适用于需要处理海量数据的企业和应用。

MYSQL数据库运行速度快，安全性能也很高，而且对使用的平台没有任何的限制，所以被广泛应运到系统的开发中。MySQL是一个开源和多线程的关系管理数据库系统，MySQL是开放源代码的数据库，具有跨平台性。

B/S（浏览器/服务器）结构是目前主流的网络化的结构模式，它能够把系统核心功能集中在服务器上面，可以帮助系统开发人员简化操作，便于维护和使用。

系统分析

对系统的可行性分析以及对所有功能需求进行详细的分析，来查看该系统是否具有开发的可能。

系统设计

功能模块设计和数据库设计这两部分内容都有专门的表格和图片表示。

系统实现

当游客打开系统的网址后，首先看到的就是首页界面。在这里，游客能够看到对B站热门视频的数据分析与研究的导航条显示首页、排行榜、通知公告、投诉举报、个人中心等。管理员登录进入对B站热门视频的数据分析与研究可以查看系统首页、排行榜管理、系统管理、我的信息等功能，进行详细操作。对B站热门视频的数据分析与研究展示图

系统测试

本系统首先在本地服务器上进行了安装和测试,之后鉴于对系统的结构和处理方法的充分熟悉和对系统特性的充分了解，对系统进行了白盒测试和黑盒试验。

为了制定出合理的测试计划,根据以下原则开始了测量；任何测试都要追溯到客户需要；当确定了客户使用模型后就要着手制定测试计划,并在编码以前就对整个软件测试工作做出规划和制定；御用Pareto原理,主要对占出了百分之八十九以上的最易于出错的约百分之二十的模板实施了检测,并从小规模开始逐步实施大量检测,范围一般从主要检测单编程模板再到完全集成的模板;同时精心设计了检测方法,尽可能地全面覆盖所有程序逻辑并使其满足要求的能力。

结论

系统的设计与实现，是经过了很长时间的分析、观察、调研和研究分析并整理资料实施的。对B站热门视频的数据分析与研究采用 python开发语言、 Django框架以及MySQL数据库等技术开发与设计。该系统主要分为用户和管理员两个角色。该对B站热门视频的数据分析与研究分为前台和后台两大部分。前台的主要功能为用户排行榜、通知公告、投诉举报等，并对一些数据进行记录。后台的主要任务是对数据的一些准备处理的工作，对于管理员的数据属性的添加、维护和修改。每个功能在完成各自任务的同时也相互合作，一起来处理各个任务以及进程。