• 文档
  • 控制台
  • 登录
  • 立即注册
    目前不支持用户自主注册,如需注册账号,请联系400-080-1100
数据湖探索CDL用户指南
最近更新时间:

1 产品简介

1.1 什么是数据湖探索

    数据湖探索(CECDataLake,简称 CDL)是新一代大数据解决方案,采取计算与存储分离的架构,提供弹性的 Spark、Flink 和 SQL 引擎能力,满足在线交互式查询、流处理、批处理、机器学习等诉求,也是传统 Hadoop 方案上云的有竞争力的解决方案。


1.2 产品优势

弹性能力

目前产品只支持 64CUs、256CUs、512CUs 的规格,未来会支持按照作业实际使用资源,只对实际运行的资源进行计费,比传统方案节约 60%+的成本。

易于运维

传统的自建 Hadoop 系统组件复杂且繁多,需要较高的学习成本,包括搭建、配置、运维等。采用CDL 的新一代大数据解决方案,无需关注底层组件,开箱即用,零运维成本。

业务流

CDL 业务流如下:

• 用户通过 CDL 产品实例列表页面开通湖实例,进行资源池(包含 Spark/Flink)的开通动作。

• Spark 引擎页面用户创建测试脚本,修改默认脚本的参数指向用户上传到 S3 的应用 jar、jar包中的 main 类及参数。

• 保存、运行 Spark 作业脚本,在当日作业列表中可以查看到当日提交的作业运行情况。单击日志可查看提交日志。历史查询页面可以看到作业历史记录。

• Flink 引擎页面用户创建测试脚本,修改默认脚本的参数指向用户上传到 S3 的应用 jar、jar 包中的 main 类及参数。

• 保存、运行 Flink 作业脚本,在当日作业列表中可以查看到当日提交的作业运行情况。单击日志可查看提交日志。历史查询页面可以看到作业历史记录。


1.3 使用限制

        应用实例数及配额限制

同一用户最多可以开通三个实例,实例默认配额为 512cu。如果需要扩充资源,请联系客服人员。

依赖限制

本产品依赖于对象存储 OSS 产品作为数据湖底层存储。

规格限制

• 目前数据湖产品支持 64cu、256cu 和 512cu 三种规格,支持包周期和按需两种计费方式。

• 仅开通 op 实例时可以指定 x86 或 arm 服务器架构,开通实例时指定的服务器架构无效。

任务限制

目前仅支持通过 Jar 包提交任务,不支持使用 sql 或客户端提交任务。

续费保留期说明

电子云为您到期的产品设定了宽限期和保留期。在宽限期和保留期,您可对产品进行续费,不同云资源会有不同的限制。

• 宽限期:是指您的包周期资源到期未续费时,提供给您进行续费的时间,宽限期内您可正常访问及使用云资源。

• 保留期:是指宽限期到期后您的包周期资源仍未续费,将进入保留期。保留期内您不能访问及使用云资源,但您存储在云服务中的数据仍会予以保留。

• 若您在宽限期或保留期内对资源续费,包周期资源在此阶段产生的相关费用将在您续费时一并收取。

       image.png


意见反馈

文档内容是否对您有帮助?

如您有其他疑问,您也可以通过在线客服来与我们联系探讨 在线客服

联系我们
回到顶部