文档中心

消息队列Kafka用户指南

最近更新时间：

1 产品介绍

1.1 什么是CMQ-Kafka

消息队列 CMQ-Kafka（CECloud Message Queue Kafka）是高吞吐、高可用、全托管的分布式消息队列 Kafka 服务，提供高效、可靠的消息传递，适用于应用解耦、日志收集、数据同步、流计算处理等业务场景。

1.2 为什么选择CMQ-Kafka

CMQ-Kafka 作为系统间相互协作的通信机制，通过高效、可靠的消息传递，降低应用之间的耦合性，实现高效的数据交换，保障了分布式网络环境下的高可用和一致性。

1.3 主要功能

实例管理

- 支持查看实例详情、申请新的实例，退订、续订已有实例。

- 实例详情包含实例名称、实例 ID、运行状态、Topic 数量、消费组数量、实例规格、创建时间、磁盘容量/类型、分区数量、可用区、消息保留时长。

- 接入点信息包含接入协议、接入点 IP/端口，SASL 用户名和密码、SSL 证书下载。

Topic 管理

- 支持 Topic 的查看、创建与删除。

- Topic 查看包含 Topic 运行状态、Topic 名称、标签、创建时间、在线消费组数量、当前消息总量、分区数、对应的实例名称、实例 ID 和实例类型。

- 订阅关系查看包含消费组 ID。

消费组管理

- 支持消费组的状态查看、申请与删除。

- 消费组查看包含消费组 ID、创建时间、订阅 Topic 数量、消息堆积总量，对应实例 ID、实例名称。

消息查询

支持按照消息位点、时间、Topic、分区，起始位点的查询条件，进行消息的查询。查询结果包含分区、位点、Key、Value、消息创建时间信息。

监控

- 支持对实例状态、Topic 状态、消息的消费状态的监控。

- 实例监控可通过配置时间条件，查询实例的消息生产流量（bytes/s）、实例消息消费流量（bytes/s）。

- Topic 监控可通过配置时间条件，查询 Topic 的消息生产流量（bytes/s）、Topic 的消息消费流量（bytes/s）。

- 消费组监控可通过配置时间条件，查询消费组未消费消息总数（个）。

Access Point 接入点

接入点能力可支持您选择多个网络地址同时访问 Kafka 实例。

1.4 产品优势

全托管、免运维

开箱即用，开通实例即自动完成部署，支持一键升降配、订阅关系可视化、消息查询、实例和 Topic状态监控等服务。

兼容开源

100%兼容开源社区 Kafka SDK，业务代码无需改造，即可快速迁移上云。

安全防护

不同租户、实例资源之间网络隔离，支持 SASL_SSL 身份认证和数据通道加密传输机制，确保数据传输过程中不被窃取或篡改。

高效稳定

深度优化内核，实现线程读写分离，解决开源版本性能瓶颈，支持秒级扩容和大流量写入。

1.5 实现原理

1.5.1 产品架构/逻辑架构

CMQ-Kafka 主要包括以下核心组件：

- Monitor：主要提供监控功能，提前感知服务状态。

- Console：CMQ 控制台提供消息队列的管理功能、部署资源调度及对内 IaaS、容器资源孵及服务部署等功能。设计上统一对外接口，抽象适配不同消息队列组件差异。

- Health Inspection：主要提供健康巡检功能，实现业务级的功能可用性巡查。

- Alert Manager：主要提供告警功能，基于监控数据、集群状态，配置各类租户关心的告警策略。

1.6 业务流

开通实例后，请求通过 soul 网关转发，proxy 接到请求后通过 IAM 鉴权，通过控制台调用 CCOS通用 OP 接口完成实例创建，您可登录云管控制台访问实例。

1.7 关键指标

CMQ-Kafka 产品按照实例售卖，实例类型分为标准版、专业版、铂金版。

1.8 关联服务

关联服务：VPC 服务。

1.9 应用场景

日志分析平台

您在搭建日志分析平台时，可以通过开通消息队列 CMQ-Kafka 服务，将采集的日志聚合到消息队列 Kafka 实例中，通过日志分析等客户端平台消费并形成图形化展示。

消息中心

消息队列 CMQ-Kafka 服务可用于建立消息中心，用于日志处理、微服务请求、大数据分析、流数据处理等场景中并满足消息转储的需求。

1.10 使用限制

您需要先创建 VPC 服务，才可以创建 Kafka 实例。

意见反馈

文档内容是否对您有帮助？

如您有其他疑问，您也可以通过在线客服来与我们联系探讨在线客服