爱游戏体育

爱游戏体育数据组织管理一体机（VGMind）针对数据适用价值不高、数据不统一、不规范等问题，采用大数据处理和分析技术，通过对异构数据智能加载、数据采集、数据标签分类、数据质量管理，打通数据孤岛、构建数据资源体系、数据共享交互和管理、数据汇聚及收据质量管理等数据组织管理功能、满足全域引接、融合、开放、共享的数据需求。

图 1 上海爱游戏体育数据组织管理一体机

图 2 上海爱游戏体育数据组织管理一体机截图

随着大数据、云计算、物联网等技术的广泛应用和深入发展，信息数据规模呈现爆炸式增长，数据结构特征及存储形式日益多样化，数据资产在业务系统中的重要性大幅提升，对数据存储系统在容量、性能、可靠性等方面提出更高要求。

上海爱游戏体育数据组织管理一体机（VGMind）针对针对数据使用价值不高、数据不统一、不规范等问题，采用大数据处理和分析技术，通过对异构数据智能加载、数据采集、数据标签分类、数据质量管理，打通数据孤岛、构建数据资源体系、数据共享交互和管理、数据汇聚及数据质量管理等数据组织管理功能、满足全域引接、融合、开放、共享的数据需求。

数据组织管理一体机为开发大数据分析应用提供良好的数据生态环境，以充分挖掘数据价值，使数据既能发挥其传统效能、又能为业务系统建设实现数据共享及数据价值，基于这一目标，建设分布式大数据基础支撑环境，在基础支撑环境上构建大数据存储、处理、挖掘、分析、可视化等平台，并在这些平台上提供相应的大数据服务应用。

从数据流转出发，大数据基础软件平台的建设内容包括：数据采集、数据组织管理、数据处理支撑、数据挖掘分析、数据可视化、数据应用，业务架构如下图所示：

图 3 数据组织管理一体机框架图

数据组织管理一体机根据数据生命周期分为五个不同的阶段，包括数据采集、数据预处理、数据存储管理、数据计算分析、数据建模/挖掘、数据可视化、数据应用。其中，数据采集、数据预处理、数据存储管理的依据是数据标准规范体系。

数据组织管理一体机平台主要涵盖数据收集、数据预处理、数据存储、数据管理与计算分析等数据处理环节，其中数据标准管理贯穿于全流程，数据采集、数据预处理、数据存储等环节都需要依据相关标准规范进行。

数据标准管理：在数据组织管理前，对数据进行指定统一标准，包括引接标准、数据集成标准、数据存储标准、数据共享标准等。

数据组织管理数据采集处理：针对信息管理系统、仿真推演系统等业务系统产生的存储于关系型数据库中的结构化数据，采用Informatica及Sqoop等技术进行采集管理，针对各种office文档、txt文本、照片、图片、音视频文件等半结构化和非结构化数据，采用FTP、HDFS等技术进行采集，针对实时数据，采用日志采集、Kafka等技术实现实时采集。

数据组织管理数据预处理：将采集到的数据经过数据质量校验、数据清洗转换、去噪、数据聚合、数据一致性检验、数据质量分层提升等数据预处理后存储到对应的数据仓库中，确保经过处理后的数据定义更规范、一致性和使用价值更高，为数据分析、数据挖掘、装备应用服务提供基础数据支撑。

数据组织管理数据存储：数据存储到对应的仓库之前要进行数据管理，确保数据仓库中的数据标准规范统一，包括质量管理、标签管理、元数据管理和标准管理。根据不同的数据类型和应用需求分别建立结构化数据库、非结构化数据库、图库、全文库、实时数据库。

数据处理支撑引擎：分布式计算引擎向上为数据模型和处理流程提供计算资源，向下对接云计算平台，借助云平台提供的虚拟云主机运行计算任务。

数据挖掘分析平台：结合数据挖掘算法，使用回归、聚类、分类、关联规则分析、深度学习等经典算法，从而为用户提供数据探 索、特征工程、模型建立、模型评估及模型发布的完整知识发现和应用流程，通过可视化界面定义业务数据模型。

数据可视化平台：数据挖掘分析之后，数据的价值需要通过图表等更直观的形式呈现给用户，数据可视化平台是对海量数据进行可视化呈现及统计分析的工具，通过内置多种报表把数据通过图表直观展示出来，为辅助决策提供依据。