定  位

金蝶Apusic大数据集成套件(以下简称套件)高性能海量数据集成、交换、传输的专业软件,通过强大的数据处理能力,可以便捷地将大数据环境下的各种数据资源和各个异构系统存储的大量的数据整合成完整的、一致的、准确的、可集中存取的高质量数据,协助用户实现数据资源整合和数据价值挖掘,有效促进数据资源的开发利用。

用户面临的挑战

近些年来,我国的信息化进程大大加快,大量的基础业务系统在不断的被搭建起来。新老业务系统不断融合,支撑着整个业务系统的运转。随着业务规模逐年扩大,应用系统之间数据交换的需求越来越强烈。数据集成业务的数据量、交换频度、复杂度都在随业务规模成倍的增长,导致数据交换暴露出的问题也越来越多。这对现有的集成业务建设与管理带来的巨大的挑战。

接入系统越来越多,接入难度越来越大,接入速度越来越慢

由于业务系统种类繁多,必然出现不同的技术实现,导致组织内存在多个完全异构业务系统。上级部门和下级部门采用不同的管理软件,部门和部门各自采用适合本身业务特点的信息系统等情况随处可见,使获取不同业务系统数据的工作变得困难和复杂。

大数据环境下集成技术多样性与复杂性

业务系统数据交换与集成需求的特点是复杂且具有多样性。
集成方式:面临数据集成,文件交换,服务集成多种集成方式
资源形态多样性:需要支持关系数据库表、NoSQL、结构化半结构化文件、HDFS、流式数据、Web服务,特定应用适配器等多种数据介质存储和数据管道
数据抽取方式:支持全量数据和变化增量数据抽取捕获,
交换时效性:支持间隔调度、定时任务、实时交换、消息事件触发、手工执行多种
数据转换的复杂性:需要对异构数据转换处理、清洗过滤、脚本处理

数据集成交换规模逐步扩大,性能与可靠性无法保障

随着集成工作的开展,交换规模逐步扩大。小范围、单业务系统之间的数据交换,越来越少,而跨地域、跨业务领域、跨部门的大量数据共享与交换逐步则成为常态。之前针对于点对点或小规模数据交换的产品在功能与性能方面均难以满足这样的变化。

业务对交换管理提出了更高的要求,但现有的运维管理工具无法支撑

业务要求运维与管理人员同时监管数十种业务并行运行的情况,上百个节点的运行状态,以保证系统运行的稳定性与可靠性。但由于现有的支撑工具对大规模数据交换业务的监控能力非常薄弱,系统中出现的数据交换问题难以被即时发现、评估以及处理,给业务运行带来了很大的不确定因素。

产品的核心价值

丰富的数据适配能力

  • 套件包含强大的数据适配能力,提供上百种适配器能适配连接各种数据源和数据格式
  • 支持大数据平台适配,提供Hive,Hbase,Hdfs,Kafka,MongoDB适配组件
  • 支持关系数据库,平文件、Web服务、以及主流应用协议如JMS\TCP&UDP\HTTP\FTP的接入适配

高性能处理复杂数据转换

  • 提供大量可视化组件,包括数据校验、连接、查询、分割、合并(聚集)、映射、排序、过滤、去重、替换、条件分发、行列转换等功能完成复杂转换操作。
  • 基于流程和转换组件的多线程并发处理架构,可在单位时间内进行大批量级数据转换处理,性能卓越。

API服务集成和治理

  • 随着微服务架构的普及,越来越多的应用之间轻量级的业务协同采用Rest服务集成方式实现数据传输和交换。ADI大数据集成套件实现对各种数据源封装为标准API服务,并实现发布、代理、编排等功能实现跨系统的数据流转;同时提供API服务目录、发布订阅、流量限制、安全管控、服务水平等服务治理功能,实现平台API服务的统一精细化管控。

稳定可靠的数据交换传输

  • 针对跨区域、跨层级、跨部门的网络环境下的数据集成,需要提供高性能的传输通道以实现数据的跨网传输交换。大数据套件提供高性能的分布式消息队列作为底层传输管道,提供稳定可靠的数据和文件传输服务,有效支撑千万级表数据记录和TB级文件交换传输。

资源统一管理和业务集中配置

  • 套件提供完整的资源目录功能,帮助用户编制信息资源目录实现共享信息资源的管理,方便各部门用户及时完整的了解部门所有的可集成共享的信息资源,为数据集成和交换共享提供依据。
  • 同时提供数据交换集成的业务集中配置管理功能,提供向导式帮助用户快件配置集成交换任务流程并自动部署到远程交换节点,有效提高业务配置和集中管控效率。

统一资源监控管理

  • 大数据集成套件的管控平台可实现分布式多个运行服务器的统一监控和管理。用户只需要将运行服务器注册到监控平台,即可实现转换和作业流程资源的部署,调度,并实时监控各个服务器节点的运行状态信息,以及部署在运行服务器节点上的流程的运行状态以及数据处理效率和处理细节,包括处理成功数,失败数等等,同时提供各种可视化图表展现运行状况。

高可用架构保障数据业务处理不间断运行

  • 支持集群部署,可以启动多个运行服务端节点,作业任务可以配置集群运行模式,使得需要处理的数据可以在多个运行JVM的服务端节点上行处理,并且其中一个运行服务节点宕机也不影响整个任务的执行。

平台扩展与开放

  • 提供标准的产品API SDK,将平台的数据ETL处理能力集成到三方应用系统中
  • 支持自定义插件开发,用户可实现自定义的数据处理组件以及支持特定数据库类型

产品架构及特点

应用场景

数据库表同步、异构数据集成、数据跨层级、跨部门、跨区域数据交换传输、API服务集成、API服务管理、文件交换

典型案例

证监会数据交换系统是为了建立证券期货行业统一的数据共享机制,支持中央监管信息平台与其他部委或监管机构的数据交换。主要是完成互联网、证联网、涉密内网之间的文件交换,具备数据交换、数据共享、文件交换、统计监控、系统管理等功能。

苏州工业园区政务信息资源共享交换平台是为满足人口库的建立过程中的数据交换而设置的专项项目,在满足人口库建设需求的基础上,为园区提供面向三大库(企业法人库、空间地理信息库、人口库)的资源共享交换服务,为园区电子政务建设提供稳定、可靠的资源共享交换服务。

在国家统计局企业一套表项目中,通过大数据集成平台实现北京云万峰和清华同方两套统计联网直报平台32个省的月报,季报,年报等数据双向同步。数据同步涉及交换处理流程500多条,年数据同步量千万级,同步效率达1万条/秒。

平台采用全表同步和基于日志的异步CDC增量高效及时同步整合数据,有效支撑两套直报平台数据的一致性和完整性,为数据分析和数据比对提供高质量高精准的数据内容。