• 文档
  • 控制台
  • 登录
  • 立即注册
    目前不支持用户自主注册,如需注册账号,请联系400-080-1100
产品优势
良好的兼容性
兼容Hadoop等主流开源存储与计算引擎、兼容市面上常见商用大数据基础平台,最大化兼容政府及行业客户已有的大数据平台体系,充分利旧、保护投资。节点规模从3节点到万节点级别,动态伸缩、普惠实用。用户可以通过增加集群节点数量,线性提高系统的处理能力。
国产化适配
适配麒麟等主流国产操作系统、适配飞腾等主流国产芯片,助力国产化应用创新生态发展。
专门为 AI 设计的数据基建
支持 PyTorch、TensorFlow 等主流AI框架,特殊优化的湖格式,文件读写速度更快。
多租户
Web化的多租户模型确保用户数据被安全隔离,实现以租户为单位进行统一的权限管控、数据管理、调度资源管理和成员管理工作。
产品功能
分布式消息队列
消息队列服务提供分布式、高吞吐、可扩展的消息队列服务。用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域。
分布式存储
数据存储服务支持存储PB级以上海量数据存储,支持分布式对象存储系统、分布式文件系统HDFS,实现计算与存储分离,发挥计算弹性伸缩能力,对存储冷热分层,降低大数据分析成本,同时,支持扩容后的数据均衡,新的节点加入集群之后,所有的数据可以在集群内部均衡,发挥每个节点的最大价值。
批量及内存计算
批量及内存计算服务支持分布式离线计算框架,包括MR、YARN、Spark,满足大数据量离线分析和运算。
实时计算
实时计算服务支持增加数据处理节点水平扩展;支持透明和标准化API或标准SQL流式计算过程;支持内建字符串处理、时间、统计等各类计算函数;支持流批一体化的计算引擎。支持使用流处理引擎开发复杂的实时应用。
交互分析查询
交互分析查询组件支持基于内存的并行计算,分布式SQL交互式查询引擎;支持秒级查询效率,适用于交互式分析查询,并且支持跨数据源的级联查询。
湖仓一体
提供流批一体存储、湖内元数据管理、湖内数据治理、湖内数据探索的能力。解决传统数仓的痛点难点,无缝对接不同的计算引擎,为数据价值挖掘提供统一的数据基础。
产品架构
产品特性
多模态元数据管理能力
提供平台级别的资源管控、作业管理、日志分析等能力,通过统一元数据实现多个集群间的数据互访。 通过独立服务Gravitino提供统一元数据服务和权限管控服务,实现跨源查询分析能力,支持多种开放湖仓格式
一站式AI数据平台服务能力
提供多模态数据统一存储能力,并且实现在湖文件中存储和检索向量;支持RAY/Lance等新一代AI数据湖组件,兼容Dask等传统并行计算组件,从而提供从数据入湖、数据清洗、AI数据集构建、到AI计算框架适配的一站式AI数据平台能力。
一站式安全管理
提供完备的用户管理和权限管控能力,支持Kerberos、LDAP身份认证
运维管控服务
运维管控服务主要是针对大数据集群提供监控告警,运维等服务。主要服务内容包含监控报警服务,主机管理服务,组件自恢复服务,日志服务,权限管理以及用户管理服务。
产品规格
应用场景
湖仓一体,批流统一
RAG知识库构建
物联网
场景特点

优化大数据存储方案:解决离线、实时、分析三大场景的存储分离问题,统一存储降低运维成本。并且减少数据流转环节,提高各端输出数据的一致性优化大数据计算方案:新的存储方案解决原离线数仓的数据更新、表结构变更等关键痛点;解决原流式数仓的数据不落地、易丢失等关键痛点;

场景特点

RAG 知识库构建的核心是实现多源数据的高效整合与精准检索,而多模态数据湖是其关键支撑。首先,数据湖打破文本、图像、音频、视频等数据的形态壁垒,将分散的多模态数据统一归集存储,解决了传统存储 “数据孤岛” 问题,为知识库提供丰富且全面的数据源。其次,数据湖提供多模态数据预处理能力,将非结构化数据转化为可检索的向量或结构化信息,降低数据处理复杂度。同时,其灵活的存储架构与索引机制,支持对多模态数据建立统一检索索引,保障检索的高效性。最后,基于数据湖的Lance,让 RAG 在检索时可联动不同类型数据(如文本搭配相关图像、音频片段),输出更全面的答案,大幅提升知识库的响应质量与场景适配性,成为多模态 RAG 知识库构建的核心基础设施。

场景特点

随着数据通讯成本的急剧下降,以及各种传感技术和智能设备的出现,从手环、共享出行、智能电表、环境监测设备到电梯、数控机床、汽车、工业生产线等都在源源不断的产生海量的实时数据并发往云端。 物联网数据有两大特点,一是时序,二是海量。由于数据记录条数巨大,导致数据的实时写入成为瓶颈,查询分析极为缓慢,成为新的技术挑战。传统的关系型数据库、NoSQL 数据库以及流式计算引擎由于没有充分利用物联网数据的特点,性能提升极为有限,只能依靠集群技术,投入更多的计算资源和存储资源来处理,系统的运营维护成本急剧上升。 通过时序数据库,分布式内存数据库,流式处理,内存计算等技术手段,助力物联网业务生根开花。

联系我们
回到顶部