文档中心

数据湖探索CDL用户指南

最近更新时间：

4 使用数据湖探索

4.1 实例管理

4.1.1 实例查询

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“实例列表”，进入实例列表页面。

(4) 在页面中可以查看当前租户下开通的湖实例，包括 Spark、Flink 实例。

4.2 数据探索

数据探索功能支持用户按不同引擎进行脚本创建、运行、停止和查询。

4.2.1 Spark 引擎

1. 设置默认输出位置

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Spark 引擎”，进入 Spark 引擎页面。

(4) 单击页面右上角的“设置默认输出位置”进行设置。

(5) 在弹出的设置输出结果位置窗口中，单击下拉列表选择一个路径作为 Spark 引擎的输出路径。

(6) 单击“确定”，完成设置默认输出位置操作。

2. 前提条件

用户已经向 S3 目录中上传过数据、jar 包文件。

• Spark jar 包和数据目录

• 数据文件

3. 添加 Spark 脚本

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Spark 引擎”，进入 Spark 引擎页面。

(4) 在 Spark 脚本编辑器页面，单击“添加脚本”，弹出添加脚本窗口。

(5) 输入脚本名称（脚本名称唯一，不可重复），单击“确定”，完成添加 Spark 脚本操作。

4. 修改 Spark 脚本

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Spark 引擎”，进入 Spark 引擎页面。

(4) 添加脚本后，新创建的脚本内容与单击示例按钮后生成的内容相同。

(5) 修改脚本内容为 jar 实际内容并指定运行时参数。

(6) 在脚本列表中，选择要修改的脚本，单击脚本名称后，弹出修改脚本名称窗口，可修改Spark 脚本名称。

5. 保存 Spark 脚本

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Spark 引擎”，进入 Spark 引擎页面。

(4) 添加脚本或修改脚本完成后，选择要保存的 Spark 脚本，单击上方的“保存”，完成保存Spark 脚本操作。

6. 删除 Spark 脚本

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Spark 引擎”，进入 Spark 引擎页面。

(4) 在脚本列表中，选择要删除的 Spark 脚本，单击操作列的，弹出删除确认提示窗口。

(5) 单击“确定”，完成删除 Spark 脚本操作。

7. 运行 Spark 脚本

限制与指导

修改脚本尚未保存时无法运行。

操作步骤

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Spark 引擎”，进入 Spark 引擎页面。

(4) 在脚本列表中，选择要运行的脚本，单击上方的“运行”，提示“作业运行中”；当日作业列表会显示提交的作业，执行状态为“正在提交”。

(5) 作业运行完成后，当日作业列表中执行状态变为“已完成”，并显示结束时间。

8. 停止 Spark 脚本

限制与指导

只有运行中的脚本才可以进行停止脚本操作。

操作步骤

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Spark 引擎”，进入 Spark 引擎页面。

(4) 在脚本列表中，选择要停止的脚本，单击上方的“停止”，完成停止 Spark 脚本操作。

9. 查询 Spark 脚本

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Spark 引擎”，进入 Spark 引擎页面。

(4) 在脚本列表上方，可以通过脚本名称查询已添加的 Spark 脚本。

10. 脚本示例

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Spark 引擎”，进入 Spark 引擎页面。

(4) 在脚本列表中，选择要示例的脚本，单击上方的“示例”，脚本内容变为示例脚本内容。

11. 查看当日作业列表及日志

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Spark 引擎”，进入 Spark 引擎页面

(4) 在脚本列表中，选择要查看的脚本，在脚本内容下方可查看当日作业列表及日志，执行状态反映作业的状态。

(6) 搜索 application 可以找到提交到 yarn 上的 applicationId。

12. 历史查询

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Spark 引擎”，进入 Spark 引擎页面。

(4) 单击“历史页面”，进入历史查询页面，即可查看提交作业的历史记录。

4.2.2 Flink 引擎

1. 设置默认输出位置

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据湖探索 CDL > 数据探索 > Flink 引擎”，进入 Flink 引擎页面。

(4) 单击页面右上角的“设置默认输出位置”进行设置。

(5) 在弹出的设置输出结果位置窗口中，单击下拉列表选择一个路径作为 Flink 引擎的输出路径。

(6) 单击“确定”，完成设置默认输出位置操作。

2. 前提条件

用户已经向 S3 目录中上传过数据、jar 包文件。

• Flink jar 包和数据目录

• 数据文件

3. 添加 Flink 脚本

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择 “产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Flink 引擎”，进入 Flink 引擎页面。

(4) 在 Flink 脚本编辑器页面，单击“添加脚本”，弹出添加脚本窗口。

(5) 输入脚本名称（脚本名称唯一，不可重复），单击“确定”，完成添加 Flink 脚本操作。

4. 修改 Flink 脚本

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Flink 引擎”，进入 Flink 引擎页面。

(4) 添加脚本后，新创建的脚本内容与单击示例按钮后生成的内容相同。

(5) 修改脚本内容为 jar 实际内容并指定运行时参数。

(6) 在脚本列表中，选择要修改的脚本，单击脚本名称后，弹出修改脚本名称窗口，可修改脚本名称。

5. 保存 Flink 脚本

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Flink 引擎”，进入 Flink 引擎页面。

(4) 添加脚本或修改脚本完成后，选择要保存的 Flink 脚本，单击上方的“保存”，完成保存Flink 脚本操作。

6. 删除 Flink 脚本

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Flink 引擎”，进入 Flink 引擎页面。

(4) 在脚本列表中，选择要删除的 Spark 脚本，单击操作列的，弹出删除确认提示窗口。

(5) 单击“确定”，完成删除 Flink 脚本操作。

7. 运行 Flink 脚本

限制与指导

修改脚本尚未保存时，脚本无法运行。

操作步骤

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Flink 引擎”，进入 Flink 引擎页面。

(4) 在脚本列表中，选择要运行的脚本，单击上方的“运行”，提示“您尚未保存当前作业，请先保存作业”；当日作业列表会显示提交的作业，执行状态为“正在提交”。

8. 停止 Flink 脚本

限制与指导

只有运行中的脚本才可以进行停止脚本操作.

操作步骤

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Flink 引擎”，进入 Flink 引擎页面。

(4) 在脚本列表中，选择要停止的脚本，单击上方的“停止”，完成停止 Flink 脚本操作。

9. 查询 Flink 脚本

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Flink 引擎”，进入 Flink 引擎页面。

(4) 在脚本列表上方，可以通过脚本名称查询已添加的 Flink 脚本.

10. 脚本示例

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Flink 引擎”，进入 Flink 引擎页面。

(4) 在脚本列表中，选择要示例的脚本，单击上方的“示例”，脚本内容变为示例脚本内容。

11. 查看当日作业列表及日志

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Flink 引擎”，进入 Flink 引擎页面。

(4) 在脚本列表中，选择要查看的脚本，在脚本内容下方可查看当日作业列表及日志，执行状态反映作业的状态.

(5) 单击“日志”，弹出日志窗口，可查看提交日志。

(6) 搜索 application 可以找到提交到 yarn 上的 applicationId。

12. 历史查询

(1) 登录 CECSTACK 专属云控制台。

(2) 单击左侧菜单栏，选择“产品与服务 > 数据湖探索 CDL”，进入数据湖实例列表页面。

(3) 在左侧导航栏，选择“数据探索 > Flink 引擎”，进入 Flink 引擎页面。

(4) 单击“历史页面”，进入历史查询页面，即可查看提交作业的历史记录.

意见反馈

文档内容是否对您有帮助？

如您有其他疑问，您也可以通过在线客服来与我们联系探讨在线客服