Разработка на ClickHouse с использованием Moose OLAP

Moose OLAP — это ключевой модуль Moose Stack, набора инструментов для разработчиков с открытым исходным кодом, предназначенного для создания аналитических backend-систем реального времени на TypeScript и Python. Moose OLAP предоставляет удобные для разработчиков абстракции и ORM-подобную функциональность, изначально разработанные для ClickHouse.

Ключевые возможности Moose OLAP

Схемы как код: Описывайте таблицы ClickHouse на TypeScript или Python с типобезопасностью и автодополнением в IDE
Типобезопасные запросы: Пишите SQL-запросы с проверкой типов и поддержкой автодополнения
Локальная разработка: Разрабатывайте и тестируйте с локальными экземплярами ClickHouse, не затрагивая продакшн
Управление миграциями: Версионируйте изменения в схеме и управляйте миграциями через код
Стриминг в реальном времени: Встроенная поддержка работы ClickHouse в связке с Kafka или Redpanda для потокового приёма данных
REST API: Легко создавайте полностью документированные REST API поверх таблиц и представлений ClickHouse

Начало работы за 5 минут

Актуальные и наиболее полные руководства по установке и началу работы см. в документации Moose Stack. Или следуйте этому руководству, чтобы менее чем за 5 минут начать работу с Moose OLAP в существующем развертывании ClickHouse или ClickHouse Cloud.

Предварительные требования

Node.js 20+ или Python 3.12+ — требуется для разработки на TypeScript или Python
Docker Desktop — для локальной среды разработки
macOS/Linux — Windows поддерживается через WSL2

Установите Moose

Установите Moose CLI глобально в системе:

bash -i <(curl -fsSL https://fiveonefour.com/install.sh) moose

Настройте проект

Вариант A: используйте существующее развертывание ClickHouse

Важно: Ваш ClickHouse в продакшн останется нетронутым. Эта команда лишь инициализирует новый проект Moose OLAP с моделями данных, созданными на основе ваших таблиц ClickHouse.

# TypeScript
moose init my-project --from-remote <YOUR_CLICKHOUSE_CONNECTION_STRING> --language typescript

# Python
moose init my-project --from-remote <YOUR_CLICKHOUSE_CONNECTION_STRING> --language python

Строка подключения к ClickHouse должна иметь следующий формат:

https://username:password@host:port/?database=database_name

Вариант B: используйте Песочницу ClickHouse

ClickHouse ещё не запущен? Используйте Песочницу ClickHouse, чтобы попробовать Moose OLAP!

# TypeScript
moose init my-project --from-remote https://explorer:@play.clickhouse.com:443/?database=default --language typescript

# Python
moose init my-project --from-remote https://explorer:@play.clickhouse.com:443/?database=default --language python

Установите зависимости

# TypeScript
cd my-project
npm install

# Python
cd my-project
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

Вы должны увидеть: Successfully generated X models from ClickHouse tables

Изучите сгенерированные модели

Moose CLI автоматически генерирует интерфейсы TypeScript или модели Pydantic для Python на основе существующих таблиц ClickHouse.Новые модели данных можно посмотреть в файле app/index.ts.

Начните разработку

Запустите dev-сервер, чтобы поднять локальный экземпляр ClickHouse, в котором все ваши таблицы из продакшн будут автоматически воссозданы на основе определений в коде:

moose dev

Важно: Ваш ClickHouse в продакшн останется нетронутым. Эта команда создаёт локальную среду разработки.

Заполните локальную базу данных тестовыми данными

Загрузите данные в локальный экземпляр ClickHouse:

Из собственного ClickHouse

moose seed --connection-string <YOUR_CLICKHOUSE_CONNECTION_STRING> --limit 100

Из Песочницы ClickHouse

moose seed --connection-string https://explorer:@play.clickhouse.com:443/?database=default --limit 100

Разработка с Moose OLAP

Теперь, когда ваши таблицы определены в коде, вы получаете те же преимущества, что и при работе с ORM-моделями данных в веб-приложениях: типобезопасность и автодополнение при создании API и materialized view поверх аналитических данных. В качестве следующего шага можно попробовать:

Создать REST API с помощью Moose API
Выполнять приём или преобразование данных с помощью Moose Workflows или Moose Streaming
Изучить переход в продакшн с Moose Build и Moose Migrate

Получите помощь и оставайтесь на связи

Эталонное приложение: Ознакомьтесь с эталонным приложением с открытым исходным кодом Area Code — стартовым репозиторием со всеми необходимыми компонентами для многофункционального приложения корпоративного уровня, которому требуется специализированная инфраструктура. Доступны два примера приложений: User Facing Analytics и Operational Data Warehouse.
Сообщество Slack: Свяжитесь с сопровождающими Moose Stack в Slack, чтобы получить поддержку и поделиться отзывом
Смотрите обучающие материалы: Видеоуроки, демо и подробные обзоры возможностей Moose Stack на YouTube
Участвуйте в разработке: Ознакомьтесь с кодом, внесите свой вклад в Moose Stack и сообщайте о проблемах на GitHub

​Ключевые возможности Moose OLAP

​Начало работы за 5 минут

​Предварительные требования

​Установите Moose

​Настройте проект

​Вариант A: используйте существующее развертывание ClickHouse

​Вариант B: используйте Песочницу ClickHouse

​Установите зависимости

​Изучите сгенерированные модели

​Начните разработку

​Заполните локальную базу данных тестовыми данными

​Из собственного ClickHouse

​Из Песочницы ClickHouse

​Разработка с Moose OLAP

​Получите помощь и оставайтесь на связи