离线计算服务 DStudio

是一款高效的大数据离线任务开发、调度、运维一体化管理平台,支持对大数据处理过程进行可视化管理与控制,屏蔽底层复杂的分布式计算引擎,快速创建离线计算任务,缩短开发周期,提升开发效率。

核心优势

  • 高可用调度引擎

    分布式任务调度引擎,集群部署,支持动态扩展、故障转移,支持任务超时控制、失败重试配置,支持根据时间、依赖关系,进行任务触发的机制。

  • 多任务模式

    支持离线同步、Shell、类SQL、MR等多种节点类型,通过节点之间的相互依赖,对复杂的数据进行计算处理。

  • 开源生态兼容

    兼容Hadoop等主流开源存储与计算引擎、兼容市面上常见商用大数据基础平台。

  • “零”编程

    将常用的ETL处理规则进行组件化封装,用户只需通过进行拖拽、连线和简单的配置,即可完成一个数据开发任务,有效的降低了开发门槛。

  • 在线开发

    屏蔽底层复杂的分布式计算引擎,基于Web界面的数据开发平台,提高数据开发效率。

核心功能

  • 预警监控

    针对单个或多个任务可自定义预警项目,按触发预定规则推送预警信息。

  • 运维中心

    针对平台发布的全局任务进行查看与管理,包括任务的类型、完成、运行、时长、趋势等。

  • 任务流

    由多个节点和节点间的依赖关系所组成的一套业务逻辑和规则,形成一张有向无环图。

  • 数据同步任务

    可视化的数据同步配置功能,用于将加工结果集向目标数据库的单次/周期推送。

  • DAG模式任务

    “拖拉拽”将系统内置常用的数据输入、数据处理、数据输出组件封装,零编程低门槛。

  • 脚本模式任务

    在线编辑SQL,提供代码高亮、列块编辑、主题切换、自定义函数、在线调试等功能。

  • 项目管理

    项目空间、列表和配置管理实现对计算引擎、调度资源池、数据源、数据资源的有效隔离。

应用场景

报表与BI的数据准备
场景举例
使用离线计算平台,定制化的开发数据加工任务,为报表与BI提供数据。
数据清洗与入库
场景举例
针对源端数据进行重新审查和校验,删除重复信息、纠正存在的错误,实现数据上云,并提供数据一致性,为后续的数据应用做准备。

帮助中心

联系我们