Esta guía proporciona a los equipos empresariales que evalúan ClickHouse de código abierto información exhaustiva sobre las capacidades de monitorización y observabilidad para implementaciones en producción. Los clientes Enterprise preguntan con frecuencia por las funciones de monitorización integradas, la integración con las pilas de observabilidad existentes, incluidas herramientas como Datadog y AWS CloudWatch, y cómo se compara la monitorización de ClickHouse con la de las implementaciones autogestionadas.
Arquitectura de integración basada en Prometheus
ClickHouse expone métricas compatibles con Prometheus a través de distintos endpoints según el modelo de despliegue, cada uno con características operativas diferentes:
ClickHouse autogestionado/OSS
Endpoint de Prometheus del servidor, accesible directamente mediante el endpoint estándar /metrics de su servidor de ClickHouse. Este enfoque proporciona:
- Exposición completa de métricas: toda la gama de métricas disponibles de ClickHouse, sin filtrado integrado
- Métricas en tiempo real: se generan directamente a partir de las tablas del sistema cuando se recopilan
Acceso directo al sistema
Consulta las tablas del sistema de producción, lo que añade carga de monitorización e impide estados inactivos de ahorro de costes
La integración externa permite a las organizaciones mantener flujos de trabajo de monitoreo ya establecidos, aprovechar la experiencia existente de los equipos con herramientas conocidas e integrar el monitoreo de ClickHouse con la observabilidad más amplia de la infraestructura sin interrumpir los procesos actuales ni requerir inversiones significativas en capacitación adicional.
Los equipos pueden aplicar las reglas de alertas y los procedimientos de escalado existentes a las métricas de ClickHouse, al tiempo que correlacionan el rendimiento de la base de datos con el estado de la aplicación y de la infraestructura dentro de una plataforma de observabilidad unificada. Este enfoque maximiza el ROI de los sistemas actuales de monitoreo y permite resolver problemas con mayor rapidez mediante dashboards consolidados e interfaces de herramientas conocidas.
Monitorización con Grafana Cloud
Grafana ofrece monitorización de ClickHouse tanto mediante la integración directa del plugin como a través de enfoques basados en Prometheus. La integración del endpoint de Prometheus mantiene la separación operativa entre la monitorización y las cargas de trabajo de producción, a la vez que permite la visualización dentro de la infraestructura existente de Grafana Cloud. Consulta la documentación de ClickHouse de Grafana para obtener instrucciones de configuración.
Datadog está desarrollando una integración específica de API que proporcionará una supervisión adecuada del servicio en la nube, respetando al mismo tiempo el comportamiento de idling del servicio. Mientras tanto, los equipos pueden usar el enfoque de integración con OpenMetrics a través de los endpoints de Prometheus de ClickHouse para mantener la separación operativa y una supervisión rentable. Para obtener orientación sobre la configuración, consulta la documentación de Datadog sobre la integración de Prometheus y OpenMetrics.
ClickStack es la solución de observabilidad recomendada por ClickHouse para el análisis profundo y la depuración del sistema, y ofrece una plataforma unificada para logs, métricas y trazas que utiliza ClickHouse como motor de almacenamiento. Este enfoque se basa en HyperDX, la UI de ClickStack, que se conecta directamente a las tablas del sistema de su instancia de ClickHouse.
HyperDX incluye un dashboard centrado en ClickHouse con pestañas para Selects, Inserts e Infrastructure. Los equipos también pueden usar sintaxis Lucene o SQL para buscar en las tablas del sistema y los logs, así como crear visualizaciones personalizadas mediante Chart Explorer para un análisis detallado del sistema.
Este enfoque es ideal para depurar problemas complejos, analizar el rendimiento y realizar una introspección profunda del sistema, más que para alertas de producción en tiempo real.
Tenga en cuenta que este enfoque activará servicios inactivos, ya que HyperDX consulta directamente las tablas del sistema.
Opciones de implementación de ClickStack
- Helm: Recomendado para entornos de depuración basados en Kubernetes. Permite una configuración específica del entorno, límites de recursos y escalado mediante
values.yaml.
- Docker Compose: Implementa cada componente (ClickHouse, HyperDX, OTel collector, MongoDB) por separado.
- Solo HyperDX: Contenedor independiente de HyperDX.
Para consultar todas las opciones de implementación y los detalles de la arquitectura, vea la documentación de ClickStack y la guía de ingestión de datos.
Integración directa del plugin de Grafana
El plugin de fuente de datos de ClickHouse para Grafana permite visualizar y explorar datos directamente desde ClickHouse mediante las tablas del sistema. Este enfoque resulta útil para monitorizar el rendimiento y crear dashboards personalizados para un análisis detallado del sistema.
Para obtener información sobre la instalación y configuración del plugin, consulte el plugin de fuente de datos de ClickHouse. Para una configuración de monitorización completa con el mix-in de Prometheus-Grafana, dashboards preconfigurados y reglas de alerta, consulte Supervise ClickHouse con el nuevo mix-in de Prometheus-Grafana.
Integración directa con Datadog
Datadog ofrece un plugin de Monitoring de ClickHouse para su agente que consulta directamente las tablas del sistema. Esta integración proporciona una supervisión integral de la base de datos con reconocimiento del clúster mediante la funcionalidad clusterAllReplicas.
Esta integración no se recomienda para implementaciones de ClickHouse Cloud debido a su incompatibilidad con el comportamiento de inactividad orientado a optimizar costes y a las limitaciones operativas de la capa de proxy de Cloud.
Uso directo de las tablas del sistema
Puede realizar un análisis exhaustivo del rendimiento de las consultas conectándose directamente a las tablas del sistema de ClickHouse, en particular a system.query_log, y consultándolas de forma directa. Con la consola SQL o clickhouse client, los equipos pueden identificar consultas lentas, analizar el consumo de recursos y seguir los patrones de uso en toda la organización.
Análisis del rendimiento de las consultas
Puede usar los logs de consultas de las tablas del sistema para realizar análisis del rendimiento de las consultas.
Consulta de ejemplo: encuentre las 5 consultas de mayor duración en todas las réplicas del clúster:
La comunidad de ClickHouse ha desarrollado soluciones integrales de monitorización que se integran con stacks de observabilidad populares. ClickHouse Monitoring proporciona una configuración completa de monitorización con dashboards preconfigurados. Este proyecto de código abierto ofrece una forma rápida de empezar para los equipos que buscan implementar la monitorización de ClickHouse con prácticas recomendadas consolidadas y configuraciones de dashboards ya probadas.
Al igual que otros enfoques de monitorización directa de bases de datos, esta solución consulta directamente las tablas del sistema de ClickHouse, lo que impide que las instancias queden inactivas y afecta a la optimización de costes.