毕业设计选题：基于Python的招聘信息爬取和可视化平台

1. 开发语言：Python
2. 框架：django
3. Python版本：python3.7.7
4. 数据库：mysql 5.7
5. 数据库工具：Navicat11
6. 开发软件：PyCharm

系统展示

采集的数据列表

招聘数据大屏

摘要

本系统通过对网络爬虫的分析，研究智通人才网站数据，尝试使用Python技术进行开发，将智通人才网招聘信息尽可能的爬取出来，并对结果进行检测判断，最后可视化分析出来，为用户提供精确的查询结果。基于Django框架的面向IT行业的求职推荐系统旨在提高数据挖掘的效率，便于科学的管理和分析招聘数据。

本文先分析基于Django框架的面向IT行业的求职推荐系统的背景和意义；对常见的爬虫原理，获取策略，信息提取等技术进行分析；本系统使用python进行开发，MySQL数据库进行搭建，实现了招聘的数据爬取；对数据库的查询结果进行检测并可视化分析，对系统的前台界面进行管理，分析爬取的结果，并对招聘数据结果进行大屏显示；最后通过测试实现了数据爬取，存储过滤和数据可视化分析，以及系统管理等功能。

研究背景

本课题所研究的基于Django框架的面向IT行业的求职推荐系统也广泛存在于互联网中，通过智通人才网搜索引擎，我们可以获取到对应的招聘数据，然而这些方法大多比较零碎，没有进行专门的分类，甚至存在一些假冒的和带广告性质的宣传，严重影响了招聘数据的获取体验。

智通人才网目前是国内比较大的专业招聘平台，拥有大量的招聘信息和求职者。使用爬虫技术，对智通人才网招聘数据进行抓取，得到海量的信息，然后对数据进行处理和分析，最终将分析的招聘数据数据可视化展现出来，可以服务大众。因此，本选题将招聘数据信息的收集置于具体的智通人才网平台，从而进行研究招聘情况和岗位偏向。

关键技术

Python是解释型的脚本语言，在运行过程中，把程序转换为字节码和机器语言，说明性语言的程序在运行之前不必进行编译，而是一个专用的解释器，当被执行时，它都会被翻译，与之对应的还有编译性语言。

同时，这也是一种用于电脑编程的跨平台语言，这是一门将编译、交互和面向对象相结合的脚本语言（script language）。

Django用Python编写，属于开源Web应用程序框架。采用（模型M、视图V和模板t）的框架模式。该框架以比利时吉普赛爵士吉他手詹戈·莱因哈特命名。该架构的主要组件如下：

1.用于创建模型的对象关系映射。

2.最终目标是为用户设计一个完美的管理界面。

3.是目前最流行的URL设计解决方案。

4.模板语言对设计师来说是最友好的。

5.缓存系统。

Vue是一款流行的开源JavaScript框架，用于构建用户界面和单页面应用程序。Vue的核心库只关注视图层，易于上手并且可以与其他库或现有项目轻松整合。

MYSQL数据库运行速度快，安全性能也很高，而且对使用的平台没有任何的限制，所以被广泛应运到系统的开发中。MySQL是一个开源和多线程的关系管理数据库系统，MySQL是开放源代码的数据库，具有跨平台性。

B/S（浏览器/服务器）结构是目前主流的网络化的结构模式，它能够把系统核心功能集中在服务器上面，可以帮助系统开发人员简化操作，便于维护和使用。

系统分析

对系统的可行性分析以及对所有功能需求进行详细的分析，来查看该系统是否具有开发的可能。

系统设计

功能模块设计和数据库设计这两部分内容都有专门的表格和图片表示。

系统实现

启动项目，运行爬虫程序，首先通过指定的URL进行过滤，然后将待抓取的URL放入抓取队列中。接着读取URL，解析DNS，下载网页内容，将文本内容通过BeautifulSoup进行存储。分析HTML，获取对方文本，通过BeautifulSoup. find_all方法查找a链接下的信息，样式为post-item-title。读取到所有a链接，并且样式名称为post-item-title的内容。该内容就是本系统需要的爬取内容，包括了招聘数据的标题、URL地址和内容。再通过for语句循环爬取到的对象结果，使用MySQL的cursor.execute方法进行数据保存，最后commit提交方法把数据插入到数据库。大屏板块信息包括了工作地点统计、学历统计、职位统计、公司类型统计、薪资统计。

系统测试

测试阶段的目的是尽可能的发现系统缺陷并进行修正，软件测试是软件开发中最后的一个流程，也是必不可少的。在测试阶段，如果没有发现问题，也不可忽略这一过程，因为即便在开发阶段完成的较为完整，但是没有测试这一过程，也不能证明系统的可靠性和功能完整性。但是在大多数情况下，一个系统不可能不存在错误的可能。通过测试阶段发现一些问题可以尽早的进行解，如果部署系统后，当客户运行系统，并使用一段时间后再进行错误的修复，势必会造成时间的浪费和其它未知的后果。无论是从安全性、功能性等方面都具有测试的必要性，也可以通过专业的测试工具进行系统测试，模拟并发用户的登录，对系统进行压力测试查看数据响应的时间，并由此来购置相应的服务器软硬件配置。

结论

本系统使用Python进行开发，实现了基于Django框架的面向IT行业的求职推荐系统完整功能。该面向对象的设计语言具有良好的可移植性和可重复性。在性能和安全方面，也具有良好的表现。本基于Django框架的面向IT行业的求职推荐系统投入使用后，可以满足管理者高效管理的需求，也使得更多的用户参与进来。系统通过MySQL数据库进行数据处理，提高了数据查询的高效性。系统使用的技术可以完全满足本系统的开发需求，本人通过对技术的探索和动手实践也提升了自己的编程能力，并在此过程也查阅了许多查看资料，更进一步提升了编程能力和理论基础。

我们有专业的团队，咨询就送开题报告，并且是免费的！
大家可以来留言 或 点击文末卡片。
免费的开题报告活动 截止到25年1月1号！