大数据基础服务 DManager

基于开源大数据技术深度优化、高度适配中国架构PK体系的企业级一站式大数据基础平台,提供包含数据存储、离线计算、实时计算、数据加速服务等大数据全栈能力支撑。支持大数据相关组件一站式安装、管理、配置、监控服务。

核心优势

  • 开放兼容

    开放性、兼容性,基于开源深度优化,保留与Hadoop生态对接接口,支持个性化适配接口定制。

  • 交互友好

    简单操作与管理,支持产品一键安装、一键升级和图形化运维,并提供了预警和健康检测功能,帮助用户简化运维过程。

  • 一站集成

    提供多样化数据采集能力、离线计算、实时计算、数据加速服务。

  • 弹性扩展

    良好的可扩展性,节点规模从50到千级别,动态伸缩、普惠实用。

  • 安全隔离

    统一安全多租户隔离,通过社区Ranger、Yarn Resource Pool、Kerberos 整合实现多租户和安全。

  • 国产适配

    适配麒麟等主流国产操作系统、适配飞腾等主流国产芯片,助力国产化应用创新生态发展。

核心功能

  • 运维服务

    集大数据安装、管理、配置、监控为一体的一站式大数据管理监控服务。

  • 安全服务

    保障集群用户的数据安全,实现不同粒度的权限控制,实现集群多租户策略。

  • 调度服务

    组件Xjob,自研轻量级分布式任务调度平台,高并发、轻量级、易扩展、开箱即用。

  • 在线分析服务

    主要提供各种类型、各种结构数据的查询加速服务。

  • 大数据计算服务

    对离线和实时数据根据实际业务需求进行处理、分析、运算、加工。

  • 数据存储服务

    对结构化、半结构化和非结构化数据文件,进行线性能力扩容的分布式存储管理。

  • 数据接入服务

    主要提供异构数据同步、实时数据采集及非结构化文件(视频、音频)导入功能。

应用场景

数据中台场景
场景举例
数据集成体系:基于分布式集群部署的异构数据集成引擎,提供异构数据源之间全方位的集成服务。 数据开发体系:离线计算平台是一款高效的大数据离线任务开发、调度、运维管理工具,支持对大数据处理过程进行可视化管理与控制。实时计算平台是针对实时数据采集、计算、监控预警一站式开发平台。 数据资产体系:资产集约化管理。由数据标准、标签管理、数据质量、资产管理四个子产品构成。 数据服务体系:数据资产敏捷服务化。由API服务平台、订阅推送平台、数据脱敏平台、AI开放服务四个部分构成。
政务共享交换场景
场景举例
面向政府各委办局,通过可视化配置界面,实现跨部门、跨层级、跨地域的信息资源交换共享。提供多类型的资源共享通道、统一的数据资源目录和标准的对外接口服务,打通各交换节点之间的数据壁垒,保证各交换节点业务系统之间互联互通,满足客户方对数据共享交换的需求。提供基础配置、资源维护、资源目录、任务调度等服务,提供数据资源订阅、资源申请单处理功能,使用支持库表类、文件类和接口类三种数据资源传输的数据交换引擎,实现交换任务的高效稳定运行。建立任务管控体系,查看调度任务运行状态和进度,控制调度任务的启停。
通用典型场景
场景举例
数据仓库 CDW:基于Apache Hive+Apache Hadoop 深度优化的数据仓库,具备更好扩展性以及更强容错性。 分析型数据库 SuperBase:是以Apache HBase为基础,融合了多项创新技术的分布式数据库,可以实现千亿数据秒级响应。 实时计算引擎 StreamEngine:基于Flink10优化的实时流处理组件,具有低延迟、可扩展和高容错的优点。 分布式搜索引擎EasySearch:简单易用的大数据搜索引擎,支持PB量级数据的秒级延迟搜索。

帮助中心

联系我们