【开题报告】海洋多源数据质量控制应用服务的WebServer设计与实现

开 题 报 告 内 容

论文选题的意义、主要研究内容和文献资料调研情况

一、选题意义 在当今世界研究自然环境的大背景下，计算机技术与各学科、各领域的综合应用逐渐增多。作为地球上最广阔的水体，同时也是地球上决定气候发展的主要的因素之一，海洋方面的研究具有很高的科学价值。海洋环境监测数据质量对于海洋环境“数字化”、海洋科学的研究和海洋经济的发展，都具有十分重要的意义。首先，海洋环境监测数据作为海洋环境“数字化”的重要基础，其可视化程度以及查找和分析的便捷程度，都影响着海洋环境“数字化”工作的进行；其次，海洋监测数据质量控制影响着海洋环境管理决策的科学性，海洋环境监测部门必须高度重视数据质量控制。 为了提高海洋多源数据的可视化程度，以及数据处理和分析的效率，借助计算机领域的WebServer技术，针对合作课题组设计开发的一套海洋多源数据质量控制程序，设计并提供在线的质量控制数据分析和可视化展示在线服务，使其具有随时随地在浏览器上进行海洋数据查看与质控操作的功能，具有轻量化、便捷易用的优点。 基于上述背景，本选题为海洋多源数据质量控制应用服务的WebServer设计与实现。 二、主要内容 本程序研究与设计的目的是，针对海洋多源数据，通过WebServer形式实现在线质量控制分析和展示，主要实现以下业务和功能： 按照前后端业务划分，前端主要负责输入的导入/导出、廓线展示、参数修改、交互操作等业务，后端服务器则源源不断地接收和处理来自前端的请求并返回相应的页面和数据，在本业务中主要包括批量数据的暂存与数据质控操作。 整个程序的主要结构如下图所示：       三、设计思路 本课题计划通过充分的需求分析、合理的技术路线设计、详尽实施方案设计及实现来完成课题研究内容。 需求分析 根据对海洋多源数据质量控制分析应用服务未来用户的调研及需求沟通分析，在线应用服务需要实现以下需求：导入\导出需求、采样点展示需求、廓线参数展示需求、廓线图像展示需求、质控参数展示需求、交互需求、质控需求等。初步需求分析文档附后。 技术路线 Web开发分为前端和后端两部分，前端开发拟采用Vue.js技术框架，后端开发拟采用Spring或Springboot技术框架。在本地进行前后端开发工作后，后续可通过Docker构造容器并部署应用，容器化的封装增强系统的可移植性，便于迁移部署。此外，后续的工作中，还可以考虑通过echarts等插件工具进行可视化展示。 研究内容框图：     图注：前后端技术及容器技术等共同构建应用服务程序；应用服务程序为各项需求提供技术支持；通过应用服务程序，针对各项需求进行各项相关操作。      技术栈部分： 图注：应用服务程序的技术方面主要涉及前端、后端和容器部署三方面。 设计思路为，通过前端和后端设计技术，先进行本地的应用程序的构建和实现，后续再通过容器化部署进行封装和移植，并辅以可视化展示、安全维护等，进行海洋多源数据质量控制应用服务的webserver设计与实现。 场景流程： 四、文献资料调研 根据参阅的文献，海洋多源数据质量控制程序可通过C/S（Client/Server或客户/服务器模式）或B/S（Browser/Server或浏览器/服务器模式）模式来设计实现。程序分为前端和后端，前端为客户实现操作与展示的功能，后端为管理员实现数据存储和数据质控的功能。本程序选择B/S模式，便于架构建立在广域网上，便于各地的研究人员进行数据的查看和管理，此外B/S模式的系统运行速度较快、便于维护、建立在浏览器上、 有更加丰富和生动的表现方式与用户交流. 并且开发与使用难度减低,节约开发成本。 初步需求分析： 导入\导出需求：数据导入和数据导出作为程序的输入端和输出端，支持导入/导出数据格式：txt，netCDF。导入文件大小要求：单文件大小不超5MB, 多文件需排队上传，支持断点续传，整体数据量不超500MB，批量暂存于后端服务器。导出要求：支持txt，netCDF格式导出，导出的数据包含原始的导入数据，修改后的数据，以及质控标记位。 采样点展示需求：导入数据后，依据采样位点的经纬度显示全球采样图，每个采样位点显示为蓝色，参考Client 服务中世界地图展示。提取的关键业务数据：国家、经纬度信息。 廓线参数展示需求：导入数据后，显示详细的数据统计信息，如观测日期，站点位置、航次、站好、国家、记录系统、仪器类型、数据个数、Access Number等内容。其中，单廓线信息包括：观测日期，站点位置、航次、站好、国家、记录系统、仪器类型、数据个数(指温度/深度数据点数)、Access Number等内容。多条廓线信息包括：观测范围、站点范围、采样点个数、Access Number、仪器类型等内容。 廓线图像展示需求：质控前或质控后均可切换显示廓线图像，廓线图像包括单廓线与多廓线，横坐标温度，纵坐标深度，其中，单廓线数据为一个采样点的温度/深度数据，表现形式为一个曲线，多廓线为多个采样点数据，表现形式为多条曲线。 质控参数展示需求：对采样点质控，需要根据质控参数完成具体的质控过程，质控包括13个check步骤（接入质控程序脚本完成各步处理），可分项选择独立进行质控，展示质控参数并提供用户选择。 交互需求：本任务中交互需求主要包括点击采样点，显示相应参数及廓线展示交互需求。前者需求较为简单明确，着重描述廓线展示交互需求。经由质控程序质控后，廓线需要标注出合格点与不合格点，以不同颜色区分，以散点形式呈现，点击每个采样点上的数据后，该采样点数据可以连接成线表示。对于多廓线交互，默认显示100个采样点数据，多采样点数据分页显示。 质控需求：任务的核心即是数据的质控过程，数据质控通过调用质控程序完成，前端需要根据用户选择的质控参数，通过HTTP请求发送到后端，调度质控程序完成具体的质控操作并将修改的文本文件返回前端。 参考文献： [1] 许自舟, 宋德瑞, 赵辉, 等. 海洋环境检测数据质量计算机控制方法研究[J]. 海洋环境科学, 2009,28(03):320-323. [2]向先全, 路文海, 杨翼, 等. 海洋环境监测数据集质量控制方法研究[J]. 海洋开发与管理, 2015,32(01):88-91. [3]冯翔宇. 面向云计算的海洋环境监测系统访问控制方法研究[J]. 舰船科学技术, 2016(8x):136-138. [4]黄海燕, 路文海, 付瑞全, 等. 基于质控数据库的海洋环境监测生物名质量控制方法研究[J].应用海洋学学报, 2014, 33(3):434-439.

整体思路

一、引言

随着海洋数据获取技术的不断发展，海洋数据量日益庞大，涉及的来源也日益增多。这些数据对于海洋科学研究、环境监测、渔业管理等领域具有重要意义。然而，由于不同来源的数据质量参差不齐，如何对这些数据进行有效质量控制成为一个重要问题。因此，本文旨在设计和实现一个基于Java的海洋多源数据质量控制应用服务的Web Server，以提高海洋数据的质量控制能力。

二、系统需求分析

本系统需要满足以下需求：

1. 数据接收：能够从不同的数据源接收海洋数据。
2. 数据预处理：对接收到的数据进行清洗、格式转换等预处理操作，以确保数据的一致性和完整性。
3. 数据质量评估：利用一定的算法和模型对数据进行质量评估，识别和纠正错误数据。
4. 数据可视化：将处理后的数据以图表等形式呈现给用户，以便用户直观地了解数据的质量状况。
5. 用户管理：能够对不同用户进行权限管理，确保数据的安全性和保密性。
6. 日志管理：能够对系统的操作过程进行记录和监控，以便追踪和排查问题。
7. 可扩展性：系统应具备良好的扩展性，能够适应未来数据源的增加和数据处理需求的变化。

三、系统设计

本系统采用Java Web技术进行开发，利用Spring Boot框架实现。系统主要包括以下几个模块：

1. 数据接收模块：采用Socket通信或HTTP请求等方式从不同的数据源接收数据。
2. 数据预处理模块：对接收到的数据进行清洗、格式转换等操作，以确保数据的一致性和完整性。
3. 数据质量评估模块：利用一定的算法和模型对数据进行质量评估，识别和纠正错误数据。
4. 数据可视化模块：采用前端框架如React或Vue等，将处理后的数据以图表等形式呈现给用户。
5. 用户管理模块：采用Spring Security框架实现用户认证和授权管理，确保数据的安全性和保密性。
6. 日志管理模块：采用Log4j或Logback等日志框架记录系统的操作过程和监控信息。
7. 可扩展性设计：采用微服务架构，将各个模块解耦，方便未来扩展和维护。同时，采用Docker容器化技术，使得系统能够轻松地在不同的环境中部署和运行。

四、系统实现

本系统的实现主要包括以下几个步骤：

1. 环境搭建：安装Java开发工具包JDK和开发平台Eclipse或IntelliJ IDEA，安装Maven或Gradle构建工具，安装Tomcat或Jetty等Servlet容器。
2. 数据库设计：根据需求分析，设计数据库表结构，包括用户表、日志表、数据源表、数据处理任务表等。使用MySQL或PostgreSQL等关系型数据库存储和管理数据。
3. 模块开发：根据系统设计，分别开发各个模块的代码。采用Java语言和Spring Boot框架进行开发，利用Maven或Gradle构建项目。
4. 接口设计：定义RESTful API接口，用于前端页面和后端服务之间的交互。使用Spring Data JPA或MyBatis等ORM框架实现数据的增删改查操作。
5. 测试与调试：进行单元测试、集成测试和系统测试，确保系统的稳定性和可靠性。同时，利用调试工具如IntelliJ IDEA的调试器或Eclipse的调试器进行代码调试和问题排查。
6. 部署与运行：将系统部署到服务器上，配置相应的环境变量和启动参数。运行系统并观察运行结果是否符合预期。