本指南将介绍如何创建你的首个 Kafka ClickPipe。Kafka ClickPipes 既可以通过 ClickPipes UI 手动部署和管理,也可以通过 OpenAPI 和 Terraform 以编程方式进行部署和管理。
1
前往数据源
在左侧菜单中选择Data Sources 按钮,然后点击 “Set up a ClickPipe”。2
选择数据源
从列表中选择你的 Kafka 数据源。3
配置数据源
填写表单,为 ClickPipe 填写名称、描述 (可选) 、凭证以及其他连接信息。4
配置 Schema Registry (可选)
对于 Avro 和 Protobuf topic,需要提供有效的 schema。有关如何配置 Schema Registry 的更多信息,请参阅 Schema registries。5
配置反向专用终结点 (可选)
配置反向专用终结点,使 ClickPipes 能够通过 AWS PrivateLink 连接到您的 Kafka 集群。 如需了解更多信息,请参阅我们的 AWS PrivateLink 文档。6
配置 SSH 隧道 (可选)
如果你的 Kafka broker 无法通过公网访问,可以使用 SSH 隧道。ClickPipes 不会直接连接到 Kafka broker,而是先与堡垒机 (你网络中可通过公网访问的服务器) 建立 SSH 连接,再通过该堡垒机将流量转发到私有网络中的 Kafka broker。- 打开“SSH Tunnel”开关。
- 填写 SSH 连接信息:
- SSH Host:堡垒机的主机名或 IP 地址,即可通过公网访问、作为私有网络入口网关的服务器。
- SSH Port:堡垒机上的 SSH 端口 (默认
22) 。 - SSH User:用于在堡垒机上进行身份验证的用户名。
- 若要使用基于密钥的身份验证,请点击“Revoke and regenerate key pair”生成新的密钥对,并将生成的公钥复制到 SSH 服务器上的
~/.ssh/authorized_keys中。 - 点击“Verify Connection”验证连接。
请确保在 SSH 堡垒机的防火墙规则中将 ClickPipes IP addresses 加入白名单,以便 ClickPipes 能够建立 SSH 隧道。
7
选择你的 topic
选择 topic 后,UI 将显示该 topic 中的一个示例文档。8
配置目标端表
在下一步中,您可以选择将数据摄取到新的 ClickHouse 表中,或使用现有表。按照界面上的说明修改表名、schema 和设置。您可以在顶部的样本表中实时预览这些更改。您还可以使用提供的控件自定义高级设置9
配置权限
ClickPipes 会创建一个专用用户,用于将数据写入目标表。你可以为该内部用户选择一个角色,可使用自定义角色或某个预定义角色:Full access:对集群拥有完全访问权限。如果你在目标表上使用 materialized view 或字典,这可能会很有帮助。Only destination table:仅拥有对目标表的INSERT权限。
10