Conectar o Apache NiFi ao ClickHouse

​

Reúna as informações de conexão

​

Baixe e execute o Apache NiFi

​

Baixe o driver JDBC do ClickHouse

1. Acesse a página de releases do driver JDBC do ClickHouse no GitHub e procure a versão mais recente do JDBC
2. Na release, clique em “Show all xx assets” e procure o arquivo JAR que contenha a palavra-chave “shaded” ou “all”, por exemplo, clickhouse-jdbc-0.5.0-all.jar
3. Coloque o arquivo JAR em uma pasta acessível ao Apache NiFi e anote o caminho absoluto

​

Adicione o Controller Service DBCPConnectionPool e configure suas propriedades

1. Para configurar um Controller Service no Apache NiFi, acesse a página NiFi Flow Configuration clicando no botão de “engrenagem”
2. Selecione a aba Controller Services e adicione um novo Controller Service clicando no botão + no canto superior direito
3. Procure por DBCPConnectionPool e clique no botão “Add”
4. O DBCPConnectionPool recém-adicionado ficará no estado Invalid por padrão. Clique no botão de “engrenagem” para iniciar a configuração
5. Na seção “Properties”, insira os seguintes valores

6. Na seção Settings, altere o nome do Controller Service para “ClickHouse JDBC” para facilitar a identificação
7. Ative o Controller Service DBCPConnectionPool clicando no botão de “raio” e depois no botão “Enable”
   
8. Verifique a aba Controller Services e confirme que o Controller Service está ativado

​

Ler dados de uma tabela usando o processador ExecuteSQL

1. Adicione um processador ExecuteSQL, junto com os processadores upstream e downstream apropriados
2. Na seção “Properties” do processador ExecuteSQL, insira os seguintes valores

   Propriedade	Valor	Observação
   Serviço de pool de conexões com o banco de dados	ClickHouse JDBC	Selecione o Controller Service configurado para o ClickHouse
   consulta SQL SELECT	SELECT * FROM system.metrics	Insira sua consulta aqui

3. Inicie o processador ExecuteSQL
4. Para confirmar que a consulta foi processada com sucesso, inspecione um dos FlowFile na fila de saída
5. Mude a visualização para “formatted” para ver o resultado do FlowFile de saída

​

Grave em uma tabela usando o processador MergeRecord e PutDatabaseRecord

1. Para gravar várias linhas em um único insert, primeiro é necessário mesclar vários registros em um único registro. Isso pode ser feito usando o processador MergeRecord
2. Na seção “Properties” do processador MergeRecord, insira os seguintes valores

   Property	Value	Remark
   Leitor de registros	JSONTreeReader	Selecione o leitor de registros apropriado
   Gravador de registros	JSONReadSetWriter	Selecione o gravador de registros apropriado
   Número mínimo de registros	1000	Altere para um número maior para que o número mínimo de linhas seja mesclado em um único registro. O padrão é 1 linha
   Número máximo de registros	10000	Altere para um número maior que “Número mínimo de registros”. O padrão é 1.000 linhas

3. Para confirmar que vários registros foram mesclados em um só, examine a entrada e a saída do processador MergeRecord. Observe que a saída é um array com vários registros de entrada Entrada Saída
4. Na seção “Properties” do processador PutDatabaseRecord, insira os seguintes valores

   Property	Value	Remark
   Leitor de registros	JSONTreeReader	Selecione o leitor de registros apropriado
   Tipo de banco de dados	Generic	Mantenha o valor padrão
   Tipo de instrução	INSERT
   Serviço de pool de conexões do banco de dados	ClickHouse JDBC	Selecione o serviço de controlador do ClickHouse
   Nome da tabela	tbl	Insira aqui o nome da sua tabela
   Traduzir nomes de campos	false	Defina como “false” para que os nomes dos campos inseridos correspondam ao nome da coluna
   Tamanho máximo do lote	1000	Número máximo de linhas por insert. Esse valor não deve ser menor que o valor de “Número mínimo de registros” no processador MergeRecord

5. Para confirmar que cada insert contém várias linhas, verifique se a contagem de linhas na tabela está aumentando em pelo menos o valor de “Número mínimo de registros” definido em MergeRecord.
6. Parabéns - você carregou seus dados no ClickHouse com sucesso usando o Apache NiFi !