Comment interroger un serveur ClickHouse distant

Dans ce guide, nous allons voir comment interroger un serveur ClickHouse distant depuis chDB.

Préparation

Commençons par créer un environnement virtuel :

python -m venv .venv
source .venv/bin/activate

Et maintenant, nous allons installer chDB. Assurez-vous d’utiliser la version 2.0.2 ou une version ultérieure :

pip install "chdb>=2.0.2"

Maintenant, nous allons installer pandas et ipython :

pip install pandas ipython

Nous allons utiliser ipython pour exécuter les commandes dans la suite de ce guide ; vous pouvez le lancer en exécutant :

ipython

Vous pouvez également utiliser ce code dans un script Python ou dans votre notebook préféré.

Une introduction à ClickPy

Le serveur ClickHouse distant que nous allons interroger est ClickPy. ClickPy suit tous les téléchargements des paquets PyPI et vous permet d’explorer les statistiques des paquets via une interface utilisateur. La base de données sous-jacente peut être interrogée à l’aide de l’utilisateur play. Vous pouvez en apprendre davantage sur ClickPy dans son dépôt GitHub.

Interroger le service ClickHouse de ClickPy

Importons chDB :

import chdb

Nous allons interroger ClickPy à l’aide de la fonction remoteSecure. Cette fonction requiert au minimum un nom d’hôte, un nom de table et un nom d’utilisateur. Nous pouvons écrire la requête suivante pour renvoyer le nombre de téléchargements quotidiens du paquet openai sous forme de Pandas DataFrame :

query = """
SELECT
    toStartOfDay(date)::Date32 AS x,
    sum(count) AS y
FROM remoteSecure(
  'clickpy-clickhouse.clickhouse.com', 
  'pypi.pypi_downloads_per_day', 
  'play'
)
WHERE project = 'openai'
GROUP BY x
ORDER BY x ASC
"""

openai_df = chdb.query(query, "DataFrame")
openai_df.sort_values(by=["x"], ascending=False).head(n=10)

               x        y
2024-10-02  1793502
2024-10-01  1924901
2024-09-30  1749045
2024-09-29  1177131
2024-09-28  1157323
2024-09-27  1688094
2024-09-26  1862712
2024-09-25  2032923
2024-09-24  1901965
2024-09-23  1777554

Faisons de même pour obtenir les téléchargements de scikit-learn :

query = """
SELECT
    toStartOfDay(date)::Date32 AS x,
    sum(count) AS y
FROM remoteSecure(
  'clickpy-clickhouse.clickhouse.com', 
  'pypi.pypi_downloads_per_day', 
  'play'
)
WHERE project = 'scikit-learn'
GROUP BY x
ORDER BY x ASC
"""

sklearn_df = chdb.query(query, "DataFrame")
sklearn_df.sort_values(by=["x"], ascending=False).head(n=10)

               x        y
2024-10-02  1793502
2024-10-01  1924901
2024-09-30  1749045
2024-09-29  1177131
2024-09-28  1157323
2024-09-27  1688094
2024-09-26  1862712
2024-09-25  2032923
2024-09-24  1901965
2024-09-23  1777554

Fusion de DataFrames Pandas

Nous avons maintenant deux DataFrames, que nous pouvons fusionner sur la date (qui correspond à la colonne x) comme ceci :

df = openai_df.merge(
  sklearn_df, 
  on="x", 
  suffixes=("_openai", "_sklearn")
)
df.head(n=5)

            x  y_openai  y_sklearn
2018-02-26        83      33971
2018-02-27        31      25211
2018-02-28         8      26023
2018-03-01         8      20912
2018-03-02         5      23842

Nous pouvons ensuite calculer le rapport entre les téléchargements d’Open AI et ceux de scikit-learn, comme ceci :

df['ratio'] = df['y_openai'] / df['y_sklearn']
df.head(n=5)

            x  y_openai  y_sklearn     ratio
2018-02-26        83      33971  0.002443
2018-02-27        31      25211  0.001230
2018-02-28         8      26023  0.000307
2018-03-01         8      20912  0.000383
2018-03-02         5      23842  0.000210

Interroger des DataFrames Pandas

Ensuite, supposons que nous voulions trouver les dates présentant les meilleurs et les pires ratios. Nous pouvons revenir à chDB et calculer ces valeurs :

chdb.query("""
SELECT max(ratio) AS bestRatio,
       argMax(x, ratio) AS bestDate,
       min(ratio) AS worstRatio,
       argMin(x, ratio) AS worstDate
FROM Python(df)
""", "DataFrame")

   bestRatio    bestDate  worstRatio   worstDate
0   0.693855  2024-09-19    0.000003  2020-02-09

Si vous souhaitez en savoir plus sur l’interrogation de Pandas DataFrames, consultez le guide du développeur sur l’interrogation de Pandas DataFrames.

​Préparation

​Une introduction à ClickPy

​Interroger le service ClickHouse de ClickPy

​Fusion de DataFrames Pandas

​Interroger des DataFrames Pandas

Préparation

Une introduction à ClickPy

Interroger le service ClickHouse de ClickPy

Fusion de DataFrames Pandas

Interroger des DataFrames Pandas