定  位

Apusic大数据分析与建模工具(ADAM)是一套面向大数据应用的数据分析和算法流程建模的工具集。它能够面向大数据分析场景,对数据进行特征化处理,使用机器学习算法对业务场景进行建模,通过集成化的评估工具对模型进行验证。同时,ADAM还具备数据可视化的能力,可针对数据的统计分布、算法的处理过程等提供可视化的数据展现功能。

用户面临的挑战

随着大数据资源的不断丰富,基于大数据的智能应用场景需求逐渐增多。应用机器学习、深度学习等人工智能技术对大数据进行分析的过程包含了数据的特征化、模型的流程设计、算法的训练优化以及模型的验证等过程。这一过程对于普通的开发者和用户来说,理论和技术门槛较高,实现难度较大。

基于人工智能的大数据分析场景需要与具体的业务场景进行关联,通过不断的调整数据特征、算法、流程以及相关的参数,以获取最优的结果,这一过程既需要具有一定的开发基础,也需要对算法模型的知识积累,同时,还需要对业务场景有深入的了解。

因此,以传统的方式开展大数据分析对于人员的要求较高,通常在一个场景中,既需要业务人员的参与,也需要技术人员和具有一定理论基础的算法专家的参与。

产品的核心价值

ADAM是一个能够支撑大数据分析应用建模的“实验床”。它提供了一套友好的可视化界面,使用户可以通过交互式的拖拽操作,对数据集进行操作,利用主流的统计学和机器学习算法对数据进行分析,并对算法、参数和分析流程进行调整和优化,从而以可视化的方式帮助用户建立并验证大数据分析应用的模型。同时,ADAM还能够支持大数据分析应用模型从“实验床”向支持大数据分析处理的主流计算平台过渡,使模型能够直接导出为大数据分析服务或应用中的分析模块或任务,从而帮助用户快速释放大数据的价值。

产品特性:

支持可视化、交互式的大数据分析流程的建模

  • 用户可通过组件的拖拽,完成大数据的特征处理与预处理、分析和展现等操作,不需要编写程序或脚本,即可完成从特征数据集到分析结果的过程。

提供对用户透明的数据分析组件

  • 数据分析组件具有统一数据输入输出接口,用户在使用过程中,不需要过多的理解分析算法的原理和构成,可以以“黑盒”的方式使用数据分析组件,在基于不同算法的分析组件之间切换和测试,选取最优的算法。

支持主流的机器学习算法

  • ADAM包含了主流的分类、回归和无监督学习算法,并提供开放的编程接口。开发人员可使用ADAM的接口开发兼容的算法组件,扩展ADAM的算法组件,以及针对特定需求定制组件。

支持大数据分析模型的导出

  • 用户可将其建立的大数据分析模型中的主要功能导出为可在主流的大数据并行计算平台上执行的作业,用户可将作业直接部署到支持大数据服务和应用的大数据计算平台上,做为大数据分析服务的功能模块。

产品架构及特点

应用场景

数据分析模型的建立与验证,构建基于历史数据的回归模型和分类模型,基于无监督学习发现数据内的隐含关系

典型案例

中船物贸是中船重工负责物资集中采购的单位,需要管理上百家成员单位3000多个品类物资的采购、供应的流程。为实现物资采购及管理的过程,中船物贸建设了物料采购平台,用于处理集团成员单位的采购需求、审批流程以及与供应商对接的过程。

在执行物资采购申请的过程中,成员单位需要在物资的3000多个类别中查找到当前所申请物料的类别,按类别相应的模板填写物料申请。由于物资种类繁多,物资的申请过程容易出错,且处理效率较低,大量的时间花费在了物资类别的查找过程中。

基于Apusic数据分析与建模工具,我们对中船物贸积累的60多万条物资申请的历史数据进行了特征化处理,从中提取了用户申请物资过程中对物资描述的行为特征,形成特征数据集。通过对机器学习算法的训练,我们得到了面向物资描述用户习惯的物资分类模型,能够根据用户输入物资描述的特征,智能的生成用户所需物资的类别。在中船物贸的物资自动分类识别系统中,物资类别的识别率可达92%。通过物资自动分类识别模型与物资采购平台的集成,我们实现了物资的智能自动归类,用户只需在填报物资申请时提供物资的描述信息,即可提交物资申请,系统能够自动实现物资类别的识别,使集团成员单位的物资申请处理效率大幅提高。