数据治理工具项目投标书技术部分-V1.6

本资料来源公开网络，仅供个人学习，请勿商用，如有侵权请联系删除

项目背景

二、项目目标

提供一套后勤数据治理工具部署文件及配套文档，主要技术指标如下：

（1）具备数据抽取转换装载、元数据管理、数据标准管理和数据质量管理四项功能。

（2）采用B/S模式，浏览器端兼容Chrome、FireFox等主流浏览器，服务器端可运行在Linux、Windows系统上，应用服务器兼容Tomcat7.0以上，JDK版本为1.7以上，数据库为Oracle或MySQL。

（3）支持集群模式。保证 7×24 小时不间断持续运行，且计划外宕机时间控制在全年的0.2%以内、计划外宕机次数控制在全年4次以内，系统有效工作时间要求≥99.8%。

（4）支持高并发。页面查询不高于2秒，复杂查询不高于5秒，一般页面数据更新处理时间不高于3秒，复杂数据更新不高于5秒。

（5）数据抽取速率高。数据库到数据库不低于1000条/秒，文件到数据库不低于1000条/秒。

（6）根据以上性能指标要求提出硬件及网络的性能及规模配套的方案。

三、技术服务要求

3.1 集成要求

投标产品需具有与国内自主成熟的数据交换共享平台和大数据基础平台软件有良好的集成兼容性。

3.2 成熟度要求

投标产品或者模块是国内投产的成熟品牌，并且经过多个版本迭代，提供至少两个版本的产品著作权证书。

近五年内，在多个行业有成功应用案例，且至少有一个为政府或军队应用案例。

3.3 技术要求

3.3.2元数据管理功能。

l 元数据采集

Ø 支持连接到源数据库系统，把元数据抽取到统一的元数据库；

Ø 提供多种采集适配器，支持从主流关系型数据库、Hadoop大数据平台(hdfs、hive、hbase)、Excel模板等源头采集；

Ø 支持采集任务配置，可实现一次性和定时采集，支持采集任务的执行、监控和日志。

l 元数据模型管理

Ø 可通过界面进行元数据的增、删、改、查操作；

Ø 可通过界面创建、维护元数据模型，支持业务模型和技术模型的定义；

Ø 支持通过界面创建并维护元数据模型间关系，包括组合关系、依赖关系等；

Ø 提供将常用建模工具（包括PowerDesigner等）设计的数据模型导入的功能

l 元数据版本管理

Ø 支持元数据版本管理，包括：版本号的设置，历史版本的查询与恢复，任意版本之间整体比对，批量版本发布等。

l 数据关联分析

Ø 提供数据地图功能，用于展示元数据间关系，支持系统、数据库、表、字段等多层级关系，支持逐级向下钻取；

Ø 提供库级、表级、列级血缘分析、作业级血缘分析功能，提供血缘影响分析结果展示。

l 其他功能

Ø 将元数据以系统为单位导出到Excel；

Ø 提供多维度的元数据检索查询功能。

3.3.3数据标准管理功能。

l 数据标准维护

Ø 支持数据元/信息项的模型定义与标准维护，包括业务属性、技术属性和管理属性；

Ø 支持通过Excel模板导入数据标准模型；

Ø 支持代码标准的元模型定义与标准维护，包括代码和代码项；

Ø 支持数据标准的导出。

l 数据标准映射

Ø 支持标准映射到具体元数据和质量规则。

3.3.4数据质量管理功能。

l 质量规则管理

Ø 提供页面新增、通用规则模板、SQL脚本等规则定义方式；

Ø 默认提供预置空值、值域、规范、一致性、数据集比对、非空判断、主键唯一性等规则校验。

l 质量规则检核

Ø 支持根据质量规则生成质量检核计划；

Ø 支持质量检核任务的手动和定时自动执行。

l 质量分析报告

Ø 支持考核算法和策略配置，对质量规则执行结果进行量化打分；

Ø 支持质量分析结果的查询和可视化展现。

四、 数据治理方案

4.1 设计原则

系统在设计过程中除考虑满足当前招标书建设要求外，还应当满足后续系统平滑扩展升级要求，因此总方案设计遵循如下设计原则。

1) 开放性

引入业界开放的、成熟的标准，从而保证系统成为符合标准又不失灵活性的开放平台，为未来的系统的灵活开放奠定基础。

2) 先进性

各工具基于统一的整体架构，采用先进的、成熟的、可靠的技术与软硬件平台，保证基础数据平台系统易扩展、易升级、易操作、易维护等特性。 

3) 可扩展性

随着新的业务需求的不断产生，支持基础数据模型、应用分析模型、前端应用的扩展性；支持在统一系统架构中服务器、存储、I/O设备等的可扩展性。

4) 安全性

按国家标准、行业标准、安全规范等实现数据安全管理。 

5) 可维护性

建立统一化可视化的运维体系，数据处理各个环节，能对系统进行相应的性能管理和日志监控。

4.2工具包组成

星环科技提供数据处理工具包是一款基于大数据技术的专业数据治理工具，可以有效提高后勤数据分析能力、规范核心数据开发过程，提升后勤数据质量管理水平。结合后勤业务需求，为后勤保障大数据平台建设打下坚实基础。

通过对客户数据治理工具及服务需求的理解，建议客户采用本公司数据治理工具包（工具包组成见下图），来满足客户数据治理及服务建设的要求。

篇幅有限，无法完全展示，喜欢资料可转发+评论，私信了解更多信息。