企业统一任务调度平台MoiaControl介绍

1、批量作业调度的现状当前批量作业调度软件普遍面临着一些问题调度方式原始落后时至今日仍然有一些系统使用人工调度或操作系统的crontab方式调度。在如今追求自动化甚至智能化的时代已显得非常原始和低效容易出错且难以监控已成为这类系统的致命性问题。使用开源软件如XXL-JOB、Airflow调度系统若使用开源软件则面临学习成本高、无商业服务保障、Bug修复不及时以及软件生命周期不确定等风险。调度自主研发调度系统伴随项目自主研发软件质量也难以保证需求扩展性差。系统间协调交互困难各系统独立建设没有统一的标准和规范无法简单有效地实现系统间的交互。当一个系统出现问题可能需要运维人员逐个联系上游系统确认问题根源运维效率低下。作业规模变大随着ODS、BIG DATA的建设批量处理作业规模越来越大相对应的调度场景更加多样系统调度逻辑也更加复杂系统开发人员很大一部分精力花费在了调度逻辑的控制而非业务处理本身。另外随着作业规模的增长对调度性能和稳定性、扩展性提出了更高要求一些现有系统已经逐渐不能满足要求。系统越来越多带来管理和运维困难系统越来越多不同系统技术要求不同批处理作业管理越来越复杂IT技术异构风险变大。一个技术人员很难同时熟悉多个系统导致需要大量的技术人员分别管理和运维夜间值班人员同时开着十几个甚至更多监控屏幕也成为常态和痛点。这些问题很显然造成了运维投入的增加。不符合信创要求随着信创对服务器、操作系统、数据库的要求越来越普遍国外的部分软件越来越难以达到国内信创的要求。定制化要求即使一款成熟的软件在特定场景下也需要和客户现有的运行环境进行对接如客户自有的监控系统自有的单点登录系统自有的OA系统告警通知短信/邮件/钉钉等开源或国外软件往往缺乏良好的扩展框架导致与现有系统对接困难。2、产品介绍MoiaControl是北京先进数通完全自主研发的企业级调度与监控管理系统多年来一直专注于调度领域产品用户覆盖银行、证券、保险、制造等十余个行业。在业界也具有良好的口碑被中国软件行业协会评选为优秀软件产品。MoiaControl秉承稳定、高效、安全、易用的设计理念将多年实施积累的业务场景需求和调度核心技术有效结合开箱即用为企业量身打造统一任务调度平台。MoiaControl广泛应用于企业级数据与业务处理场景能够构建统一的数据处理流水线实现从数据采集、处理到输出的全流程自动化。在数据仓库建设中平台可高效支撑ETL调度完成数据抽取、转换与加载任务的自动执行确保数据链路稳定可靠。在大数据领域MoiaControl提供完善的大数据作业调度与大数据任务调度能力支持对Spark、Hive等计算任务的统一管理适用于复杂的数据分析与处理场景。同时针对周期性数据处理需求平台可实现高效的离线计算调度保障批量计算任务按时、稳定执行。在数据集成方面系统支持灵活的数据同步任务调度可实现多系统之间的数据交换与整合支撑企业数据中台与数据治理体系建设。此外针对企业日常业务处理需求MoiaControl可调度各类批处理任务如账务处理、订单清算等关键业务流程。在运维层面平台通过统一调度能力实现运维自动化减少人工干预提升系统运行效率与稳定性。通过任务编排、依赖控制及自动重试机制企业可以构建高效、可靠的一体化调度体系。3、产品历史先进数通MOIA产品研发走过十多年研发了多个版本直至今日的MoiaControlV6。其间产品用户覆盖银行、证券、保险、制造、零售、通讯等多个行业的用户。MoiaControl在今后也会持续投入研发不断优化和丰富产品功能为用户提供更好的产品。4、客户规模目前中国市场含港、澳客户规模已经超过100家单一集群规模超过了1200多个节点单一客户作业规模超过400000个。5、产品定位MoiaControl定位为企业级调度平台位于从硬件设施到业务数据展现的中间层通过集群管理功能对下层物理节点进行管理、控制及监控通过作业调度功能对批量作业进行有效调度最终将业务数据展现给用户。6、功能架构MoiaControl分为界面层、计算层和执行层。MoiaControl采用先进的微服务架构设计将调度中心、执行引擎、任务管理、监控告警等核心模块进行解耦实现系统的高内聚与低耦合便于灵活扩展与独立升级。在此基础上平台全面支持云原生调度能力可无缝运行于Kubernetes等容器环境具备弹性伸缩、高可用部署及资源动态调度能力满足企业在不同规模下的调度需求。系统内置完善的多租户机制支持不同业务域、部门或项目之间的资源隔离与权限控制通过细粒度的访问控制RBAC与租户隔离策略保障数据安全与系统稳定运行适用于大型组织及集团化场景。在扩展能力方面MoiaControl采用灵活的插件化架构设计支持任务类型、调度策略、执行器及告警方式的插件扩展用户可根据业务需求快速接入自定义任务类型如Spark、Shell、SQL、Python等实现系统能力的持续演进与生态扩展。同时平台提供标准化的REST API/SDK接口支持与企业现有系统如数据治理平台、指标平台、统一调度平台等进行无缝集成方便开发者进行二次开发与自动化接入构建统一、高效的调度与数据处理体系。7、全面兼容信创全面支持国产化生态满足信创要求✔ 国产主流服务器鲲鹏/龙芯/海光/兆芯/飞腾/申威等✔ 国产主流操作系统银河麒麟/统信 UOS/欧拉等✔应用服务器东方通/金蝶/普元/中创/宝兰德等✔ 国产主流数据库达梦DM金仓KingbaseOceanBaseTDSQLGaussDB/OpenGaussGoldenDBGBase等8、核心优势8.1 调度稳定1高可用设计调度Server及代理Agent支持分布式集群模式避免单点故障风险为高可用提供有力保障。2故障恢复通过完善的事务控制、队列数据持久化、Agent数据临时本地缓存并自动补发等设计保障在发生系统灾难、系统重启等场景下无需人工干预即可自动恢复调度。3众多成功的实际应用案例十几年来MoiaControl在多个行业积累了大量用户拥有众多的成功案例。在产品的容错、高可用、异常处理机制等方面积累了丰富的经验。8.2调度高效依托微服务架构的优势采用全事件驱动摒弃传统的轮循扫描机制使用资源抢占模式去中心化的作业分配策略从而提高调度效率。随着作业量的增长调度效率不会出现明显变化保障在百万级作业量情况下的稳定调度使依赖的作业间触发时间低至毫秒级。引入redis内存式数据库提高系统处理效率并降低对资料库的资源消耗。8.3便捷的开发方式1图形化点选拖拽式开发2Excel批量开发提供各类配置数据的Excel批量开发方式在Excel模板中填写后导入即可。3一键智能布局智能布局前智能布局后8.4 丰富的监控运维手段1多维度监控视角2血缘分析可分析所选对象的上下游所有依赖关系包括跨流程跨系统依赖。可用于问题快速定位和影响分析。血缘分析图示例3生命周期查询可查询作业当次及历史的完整生命周期便于作业异常分析及调优分析。生命周期示例4多种人工干预功能系统提供丰富的人工干预手段在保障自动化调度的同时也为各种人工运维场景预留了人工干预的功能。运维人员仅需要在页面进行人工干预操作即可完成干预动作避免登录后台操作所带来的风险。8.5完善的对外接口提供RESTFUL方式的完善的开发接口包含调度开发配置、配置信息查询、配置信息删除、监控、人工干预等完善的接口便于与第三方系统对接。通过MoiaControl提供的服务接口可以在完全不使用MoiaControl界面的情况下完成调度信息的配置、运行状态和日志的获取以及人工运维。8.6应用数据隔离在统一调度场景下各项目/系统调度配置数据有隔离需求时系统提供以应用为单位隔离应用数据的功能。8.7系统热扩展系统具良好的扩展性设计。支持不停机热扩展即时生效可以在不影响现有调度运转的情况下任意扩展server和agent节点。8.8AI智能运维系统支持提供基于大模型的AI智能问答服务为用户提供覆盖产品安装、功能介绍、操作指引、作业配置的多场景自然语言智能化解答。系统支持AI智能数据分析用户通过自然语言输入查询意图AI可自动识别自然语言意图生成基于运行数据的趋势分析、异常分析及优化建议报告。9、客户收益从大量客户反馈信息来看使用MoiaControl后相较于原来的调度方式有大幅度提升1调度效率提升50%2运维成本降低60%3故障恢复时间缩短80%4实现了多活的部署架构要求