跳转到主要内容
本指南将介绍如何创建你的首个 Kafka ClickPipe。
Kafka ClickPipes 既可以通过 ClickPipes UI 手动部署和管理,也可以通过 OpenAPITerraform 以编程方式进行部署和管理。
1

前往数据源

在左侧菜单中选择 Data Sources 按钮,然后点击 “Set up a ClickPipe”。
2

选择数据源

从列表中选择你的 Kafka 数据源。
3

配置数据源

填写表单,为 ClickPipe 填写名称、描述 (可选) 、凭证以及其他连接信息。
4

配置 Schema Registry (可选)

对于 Avro 和 Protobuf topic,需要提供有效的 schema。有关如何配置 Schema Registry 的更多信息,请参阅 Schema registries
5

配置反向专用终结点 (可选)

配置反向专用终结点,使 ClickPipes 能够通过 AWS PrivateLink 连接到您的 Kafka 集群。 如需了解更多信息,请参阅我们的 AWS PrivateLink 文档
6

配置 SSH 隧道 (可选)

如果你的 Kafka broker 无法通过公网访问,可以使用 SSH 隧道。ClickPipes 不会直接连接到 Kafka broker,而是先与堡垒机 (你网络中可通过公网访问的服务器) 建立 SSH 连接,再通过该堡垒机将流量转发到私有网络中的 Kafka broker。
  1. 打开“SSH Tunnel”开关。
  2. 填写 SSH 连接信息:
    • SSH Host:堡垒机的主机名或 IP 地址,即可通过公网访问、作为私有网络入口网关的服务器。
    • SSH Port:堡垒机上的 SSH 端口 (默认 22) 。
    • SSH User:用于在堡垒机上进行身份验证的用户名。
  1. 若要使用基于密钥的身份验证,请点击“Revoke and regenerate key pair”生成新的密钥对,并将生成的公钥复制到 SSH 服务器上的 ~/.ssh/authorized_keys 中。
  2. 点击“Verify Connection”验证连接。
请确保在 SSH 堡垒机的防火墙规则中将 ClickPipes IP addresses 加入白名单,以便 ClickPipes 能够建立 SSH 隧道。
7

选择你的 topic

选择 topic 后,UI 将显示该 topic 中的一个示例文档。
8

配置目标端表

在下一步中,您可以选择将数据摄取到新的 ClickHouse 表中,或使用现有表。按照界面上的说明修改表名、schema 和设置。您可以在顶部的样本表中实时预览这些更改。您还可以使用提供的控件自定义高级设置
9

配置权限

ClickPipes 会创建一个专用用户,用于将数据写入目标表。你可以为该内部用户选择一个角色,可使用自定义角色或某个预定义角色:
  • Full access:对集群拥有完全访问权限。如果你在目标表上使用 materialized view 或字典,这可能会很有帮助。
  • Only destination table:仅拥有对目标表的 INSERT 权限。
10

完成设置

点击 “Create ClickPipe” 后,系统将创建并运行您的 ClickPipe。随后,它会显示在“数据源”部分。
最后修改于 2026年7月2日