跳转到主要内容
Apache Kafka 是一个开源的分布式事件流平台,被数千家公司用于构建高性能数据管道、流式分析、数据集成以及关键业务应用。ClickHouse 提供了多种方案,可 Kafka 和其他兼容 Kafka API 的消息代理 (如 Redpanda、亚马逊 MSK) 读取数据,也可向其写入数据

可选方案

为你的使用场景选择合适的方案取决于多种因素,包括 ClickHouse 的部署类型、数据流向以及运维要求。 如需更详细地比较这些方案,请参见如何选择方案

ClickPipes for Kafka

ClickPipes 是一个托管式集成平台,只需点击几个按钮,就能轻松从多种来源摄取数据。由于它是全托管的,并专为生产环境工作负载打造,ClickPipes 可显著降低基础设施和运维成本,无需依赖外部数据流处理和 ETL 工具。
如果你是 ClickHouse Cloud 用户,这是推荐选项。ClickPipes 是全托管的,并专为在 Cloud 环境中提供最佳性能而打造。

主要功能

  • 针对 ClickHouse Cloud 优化,提供极致性能
  • 支持横向和纵向扩展,适用于高吞吐量工作负载
  • 内置容错能力,支持可配置副本和自动重试
  • 可通过 ClickHouse Cloud UI、Open APITerraform 进行部署和管理
  • 提供企业级安全保障,支持云原生授权 (IAM) 和私有连接 (PrivateLink)
  • 支持广泛的数据源,包括 Confluent Cloud、亚马逊 MSK、Redpanda Cloud 和 Azure Event Hubs
  • 支持大多数常见的序列化格式 (JSON、Avro、Protobuf)

入门

要开始使用 ClickPipes for Kafka,请参阅参考文档,或前往 ClickHouse Cloud UI 的 Data Sources 选项卡。

Kafka Connect Sink

Kafka Connect 是一个开源框架,可充当集中式数据枢纽,用于在 Kafka 与其他数据系统之间进行简单的数据集成。ClickHouse Kafka Connect Sink connector 提供了一种可扩展且高度可配置的方案,可从 Apache Kafka 和其他兼容 Kafka API 的消息代理中读取数据。
如果你更看重高度可配置性,或已经在使用 Kafka Connect,推荐选择此方案。

主要特性

  • 可配置为支持精确一次语义
  • 支持大多数常见序列化格式 (JSON、Avro、Protobuf)
  • 持续针对 ClickHouse Cloud 进行测试验证

快速开始

要开始使用 ClickHouse Kafka Connect Sink,请参阅参考文档

Kafka 表引擎

Kafka 表引擎 可用于从 Apache Kafka 和其他兼容 Kafka API 的消息代理读取数据,也可向其写入数据。此选项随开源 ClickHouse 一同提供,适用于所有部署类型。
如果你是自托管 ClickHouse,且需要一个入门门槛低的方案,或者需要向 Kafka 写入数据,那么推荐选择此选项。

主要特性

  • 可用于读取写入数据
  • 随开源 ClickHouse 一同提供
  • 支持大多数常见的序列化格式 (JSON、Avro、Protobuf)

快速开始

要开始使用 Kafka 表引擎,请参阅参考文档

选择一种方案

其他选项

最后修改于 2026年7月2日