Мониторинг журналов Systemd с помощью ClickStack

КраткоСобирайте и визуализируйте логи из журнала systemd в ClickStack с помощью приёмника journald в OpenTelemetry Collector. Включает демо-набор данных и преднастроенный дашборд.

Интеграция с существующими системами

Отслеживайте записи journald в существующей Linux-системе, запустив OpenTelemetry Collector с приёмником journald, чтобы собирать системные журналы и отправлять их в ClickStack через OTLP. Если вы хотите сначала протестировать эту интеграцию, не изменяя текущую конфигурацию, перейдите к разделу о демо-наборе данных.

Предварительные требования

Запущенный экземпляр ClickStack
Система Linux с systemd (Ubuntu 16.04+, CentOS 7+, Debian 8+)
Docker или Docker Compose, установленные на системе, за которой ведётся мониторинг

Получите ключ API ClickStack

OpenTelemetry Collector отправляет данные в конечную точку OTLP ClickStack, для которой требуется аутентификация.

Откройте HyperDX по URL-адресу ClickStack (например, http://localhost:8080)
Создайте учётную запись или войдите в систему, если требуется
Перейдите в Team Settings → API Keys
Скопируйте свой ключ API для приёма данных

Задайте его как переменную окружения:

export CLICKSTACK_API_KEY=your-api-key-here

Проверьте, что systemd journal работает

Убедитесь, что в системе используется systemd и доступны логи journal:

# Проверить версию systemd
systemctl --version

# Посмотреть последние записи journal
journalctl -n 20

# Проверить использование диска journal
journalctl --disk-usage

Если хранилище journal находится только в памяти, включите постоянное хранение:

sudo mkdir -p /var/log/journal
sudo systemd-tmpfiles --create --prefix /var/log/journal
sudo systemctl restart systemd-journald

Создайте конфигурацию OpenTelemetry Collector

Создайте файл конфигурации для OpenTelemetry Collector:

cat > otel-config.yaml << 'EOF'
receivers:
  journald:
    directory: /var/log/journal
    priority: info
    units:
      - sshd
      - nginx
      - docker
      - containerd
      - systemd

processors:
  batch:
    timeout: 10s
    send_batch_size: 10000
  
  resource:
    attributes:
      - key: service.name
        value: systemd-logs
        action: insert
      - key: host.name
        from_attribute: _HOSTNAME
        action: upsert
  
  attributes:
    actions:
      - key: unit
        from_attribute: _SYSTEMD_UNIT
        action: upsert
      - key: priority
        from_attribute: PRIORITY
        action: upsert

exporters:
  otlphttp:
    endpoint: ${CLICKSTACK_ENDPOINT}
    headers:
      authorization: ${CLICKSTACK_API_KEY}

service:
  pipelines:
    logs:
      receivers: [journald]
      processors: [resource, attributes, batch]
      exporters: [otlphttp]
EOF

Разверните с помощью Docker Compose

Приёмнику journald требуется бинарный файл journalctl для чтения файлов journal. Официальный образ otel/opentelemetry-collector-contrib по умолчанию не включает journalctl.Для контейнерных развёртываний вы можете либо установить collector непосредственно на хосте, либо собрать собственный образ с утилитами systemd. Подробнее см. в разделе устранения неполадок.

В этом примере показано развёртывание OTel collector вместе с ClickStack:

services:
  clickstack:
    image: clickhouse/clickstack-all-in-one:latest
    ports:
      - "8080:8080"
      - "4317:4317"
      - "4318:4318"
    networks:
      - monitoring
  
  otel-collector:
    image: otel/opentelemetry-collector-contrib:0.115.1
    depends_on:
      - clickstack
    environment:
      - CLICKSTACK_API_KEY=${CLICKSTACK_API_KEY}
      - CLICKSTACK_ENDPOINT=http://clickstack:4318
    volumes:
      - ./otel-config.yaml:/etc/otelcol/config.yaml:ro
      - /var/log/journal:/var/log/journal:ro
      - /run/log/journal:/run/log/journal:ro
      - /etc/machine-id:/etc/machine-id:ro
    command: ["--config=/etc/otelcol/config.yaml"]
    networks:
      - monitoring

networks:
  monitoring:
    driver: bridge

Запустите сервисы:

docker compose up -d

Проверьте логи в HyperDX

После настройки войдите в HyperDX и убедитесь, что логи поступают:

Перейдите в представление Search
Установите source в Logs
Отфильтруйте по service.name:systemd-logs
Вы должны увидеть структурированные записи логов с такими полями, как unit, priority, MESSAGE, _HOSTNAME

Демо-набор данных

Для пользователей, которые хотят протестировать интеграцию журналов systemd перед настройкой своих систем в продакшн, мы предоставляем пример набора заранее сгенерированных журналов systemd с реалистичными паттернами.

Скачайте пример набора данных

Скачайте пример файла журнала:

curl -O https://datasets-documentation.s3.eu-west-3.amazonaws.com/clickstack-integrations/systemd/systemd-demo.log

Создайте конфигурацию демо-коллектора

Создайте файл конфигурации для демо:

cat > systemd-demo.yaml << 'EOF'
receivers:
  filelog:
    include:
      - /tmp/systemd-demo/systemd-demo.log
    start_at: beginning
    operators:
      - type: regex_parser
        regex: '^(?P<timestamp>\S+) (?P<hostname>\S+) (?P<unit>\S+?)(?:\[(?P<pid>\d+)\])?: (?P<message>.*)$'
        parse_from: body
        parse_to: attributes
      - type: time_parser
        parse_from: attributes.timestamp
        layout: '%Y-%m-%dT%H:%M:%S%z'
      - type: add
        field: attributes.source
        value: "systemd-demo"

service:
  pipelines:
    logs/systemd-demo:
      receivers: [filelog]
      processors:
        - memory_limiter
        - transform
        - batch
      exporters:
        - clickhouse
EOF

Запустите ClickStack с демо-данными

Запустите ClickStack с демо-журналами:

docker run -d --name clickstack-demo \
  -p 8080:8080 -p 4317:4317 -p 4318:4318 \
  -e CUSTOM_OTELCOL_CONFIG_FILE=/etc/otelcol-contrib/custom.config.yaml \
  -v "$(pwd)/systemd-demo.yaml:/etc/otelcol-contrib/custom.config.yaml:ro" \
  -v "$(pwd)/systemd-demo.log:/tmp/systemd-demo/systemd-demo.log:ro" \
  clickhouse/clickstack-all-in-one:latest

В демо используется приёмник filelog с текстовыми журналами вместо journald, чтобы не требовать journalctl внутри контейнера.

Проверьте журналы в HyperDX

После запуска ClickStack:

Откройте HyperDX и войдите в свою учётную запись
Перейдите в представление Search и установите источник Logs
Установите временной диапазон 2025-11-14 00:00:00 - 2025-11-17 00:00:00

Отображение часового поясаHyperDX отображает временные метки в локальном часовом поясе вашего браузера. Демо-данные охватывают период 2025-11-15 00:00:00 - 2025-11-16 00:00:00 (UTC). Благодаря широкому временному диапазону вы увидите демо-журналы независимо от своего местоположения.

Панели мониторинга и визуализация

Чтобы вам было проще начать мониторинг журналов systemd с помощью ClickStack, мы предоставляем базовые визуализации для данных журнала systemd.

конфигурацию панели мониторинга

Импортируйте преднастроенный дашборд

Откройте HyperDX и перейдите в раздел Dashboards
Нажмите Import Dashboard в правом верхнем углу в меню с многоточием

Загрузите файл systemd-logs-dashboard.json и нажмите Finish Import

Просмотрите панель мониторинга

Панель мониторинга включает визуализации для:

Объёма журналов во времени
Наиболее активных юнитов systemd по числу записей в журнале
Событий аутентификации SSH
Сбоев сервисов
Уровня ошибок

Для демо-набора данных установите диапазон времени 2025-11-15 00:00:00 - 2025-11-16 00:00:00 (UTC) (с учётом вашего локального часового пояса).

Устранение неполадок

В HyperDX не отображаются журналы

Проверьте, доходят ли журналы до ClickHouse:

docker exec clickstack clickhouse-client --query "
SELECT COUNT(*) as log_count
FROM otel_logs
WHERE ServiceName = 'systemd-logs'
"

Если результатов нет, проверьте журналы collector:

docker logs otel-collector | grep -i "error\|journald" | tail -20

ошибка «journalctl not found»

Если вы видите exec: "journalctl": executable file not found in $PATH: Образ otel/opentelemetry-collector-contrib не содержит journalctl. Вы можете:

Установить collector на хосте:

wget https://github.com/open-telemetry/opentelemetry-collector-releases/releases/download/v0.115.0/otelcol-contrib_0.115.0_linux_amd64.tar.gz
tar -xzf otelcol-contrib_0.115.0_linux_amd64.tar.gz
sudo mv otelcol-contrib /usr/local/bin/
otelcol-contrib --config=otel-config.yaml

Используйте подход с экспортом в текстовый формат (как в демо), где приёмник filelog читает экспортированные данные journald

Следующие шаги

Настройте оповещения для отслеживания критически важных системных событий (сбоев сервисов, ошибок аутентификации, завершения процессов из-за OOM)
Создайте дополнительные панели мониторинга для конкретных сценариев использования (мониторинга безопасности SSH, состояния сервисов)
Фильтруйте по конкретным юнитам systemd, чтобы уменьшить шум и сосредоточиться на важных сервисах

Выход в продакшн

В этом руководстве используется отдельный OpenTelemetry Collector для чтения журналов systemd и отправки их в конечную точку OTLP ClickStack — это рекомендуемый вариант для продакшна. Для продакшн-сред с несколькими хостами рассмотрите следующие варианты:

Развертывание коллектора в виде ДемонСет в Kubernetes
Запуск коллектора как сервиса systemd на каждом хосте
Использование OpenTelemetry Operator для автоматического развертывания

Сведения о шаблонах развертывания для продакшна см. в разделе Приём данных через OpenTelemetry.

​Интеграция с существующими системами

Предварительные требования

​Получите ключ API ClickStack

​Проверьте, что systemd journal работает

​Создайте конфигурацию OpenTelemetry Collector

​Разверните с помощью Docker Compose

​Проверьте логи в HyperDX

​Демо-набор данных

​Скачайте пример набора данных

​Создайте конфигурацию демо-коллектора

​Запустите ClickStack с демо-данными

​Проверьте журналы в HyperDX

​Панели мониторинга и визуализация

​ конфигурацию панели мониторинга

​Импортируйте преднастроенный дашборд

​Просмотрите панель мониторинга

​Устранение неполадок

​В HyperDX не отображаются журналы

​ошибка «journalctl not found»

​Следующие шаги

​Выход в продакшн

Интеграция с существующими системами

Получите ключ API ClickStack

Проверьте, что systemd journal работает

Создайте конфигурацию OpenTelemetry Collector

Разверните с помощью Docker Compose

Проверьте логи в HyperDX

Демо-набор данных

Скачайте пример набора данных

Создайте конфигурацию демо-коллектора

Запустите ClickStack с демо-данными

Проверьте журналы в HyperDX

Панели мониторинга и визуализация

конфигурацию панели мониторинга

Импортируйте преднастроенный дашборд

Просмотрите панель мониторинга

Устранение неполадок

В HyperDX не отображаются журналы

ошибка «journalctl not found»

Следующие шаги

Выход в продакшн