Funciones de aprendizaje automático - ClickHouse Documentation

evalMLMethod

La predicción con modelos de regresión ajustados se realiza con la función evalMLMethod. Consulte el enlace en linearRegression.

stochasticLinearRegression

La stochasticLinearRegression función de agregado implementa el método de descenso de gradiente estocástico con un modelo lineal y la función de pérdida MSE. Usa evalMLMethod para hacer predicciones sobre datos nuevos.

stochasticLogisticRegression

La función de agregado stochasticLogisticRegression implementa el método de descenso de gradiente estocástico para un problema de clasificación binaria. Usa evalMLMethod para hacer predicciones sobre datos nuevos.

naiveBayesClassifier

Clasifica el texto de entrada mediante un modelo de Naive Bayes con n-gramas y suavizado de Laplace. El modelo debe configurarse en ClickHouse antes de usarlo. Sintaxis

naiveBayesClassifier(model_name, input_text);

Argumentos

model_name — Nombre del modelo preconfigurado. String El modelo debe estar definido en los archivos de configuración de ClickHouse (ver más abajo).
input_text — Texto que se va a clasificar. String La entrada se procesa exactamente como se proporciona (se conservan las mayúsculas/minúsculas y la puntuación).

Valor devuelto

ID de la clase predicha como un entero sin signo. UInt32 Los ID de clase corresponden a las categorías definidas durante la construcción del modelo.

Ejemplo Clasifica un texto con un modelo de detección de idioma:

SELECT naiveBayesClassifier('language', 'How are you?');

┌─naiveBayesClassifier('language', 'How are you?')─┐
│ 0                                                │
└──────────────────────────────────────────────────┘

El resultado 0 podría representar el inglés, mientras que 1 podría indicar el francés; el significado de las clases depende de los datos de entrenamiento.

Detalles de implementación

Algoritmo Utiliza el algoritmo de clasificación Naive Bayes con suavizado de Laplace para manejar n-gramas no observados, a partir de probabilidades de n-gramas según esto. Características principales

Admite n-gramas de cualquier tamaño
Tres modos de tokenización:
- byte: Opera sobre bytes sin procesar. Cada byte es un token.
- codepoint: Opera sobre valores escalares Unicode decodificados de UTF‑8. Cada punto de código es un token.
- token: Divide en secuencias de espacios en blanco Unicode (regex \s+). Los tokens son subcadenas sin espacios en blanco; la puntuación forma parte del token si está adyacente (p. ej., “you?” es un solo token).

Configuración del modelo

Puede encontrar aquí código fuente de ejemplo para crear un modelo de Naive Bayes para la detección de idiomas. Además, puede encontrar aquí modelos de ejemplo y sus archivos de configuración asociados. A continuación se muestra una configuración de ejemplo para un modelo de Naive Bayes en ClickHouse:

<clickhouse>
    <nb_models>
        <model>
            <name>sentiment</name>
            <path>/etc/clickhouse-server/config.d/sentiment.bin</path>
            <n>2</n>
            <mode>token</mode>
            <alpha>1.0</alpha>
            <priors>
                <prior>
                    <class>0</class>
                    <value>0.6</value>
                </prior>
                <prior>
                    <class>1</class>
                    <value>0.4</value>
                </prior>
            </priors>
        </model>
    </nb_models>
</clickhouse>

Parámetros de configuración

Parámetro	Descripción	Ejemplo	Predeterminado
name	Identificador único del modelo	`language_detection`	Obligatorio
path	Ruta completa al binario del modelo	`/etc/clickhouse-server/config.d/language_detection.bin`	Obligatorio
mode	Método de tokenización: - `byte`: Secuencias de bytes - `codepoint`: Caracteres Unicode - `token`: Tokens de palabras	`token`	Obligatorio
n	Tamaño del n-grama (modo `token`): - `1`=una sola palabra - `2`=pares de palabras - `3`=tríos de palabras	`2`	Obligatorio
alpha	Factor de suavizado de Laplace utilizado durante la clasificación para tratar n-gramas que no aparecen en el modelo	`0.5`	`1.0`
priors	Probabilidades de clase (% de los documentos que pertenecen a una clase)	60 % clase 0, 40 % clase 1	Distribución uniforme

Guía de entrenamiento del modelo Formato de archivo En formato legible para humanos, para n=1 y el modo token, el modelo podría verse así:

<class_id> <n-gram> <count>
0 excellent 15
1 refund 28

Para n=3 y en modo codepoint, podría verse así:

<class_id> <n-gram> <count>
0 exc 15
1 ref 28

El formato legible para humanos no lo usa ClickHouse directamente; debe convertirse al formato binario descrito a continuación. Detalles del formato binario Cada n-gram se almacena como:

class_id de 4 bytes (UInt, little-endian)
Longitud en bytes de n-gram de 4 bytes (UInt, little-endian)
Bytes sin procesar de n-gram
count de 4 bytes (UInt, little-endian)

Requisitos de preprocesamiento Antes de crear el model a partir del corpus de documentos, estos deben preprocesarse para extraer n-gramas según los valores especificados de mode y n. Los siguientes pasos describen este preprocesamiento:

Añada marcadores de límite al inicio y al final de cada documento según el modo de tokenización:
- Byte: 0x01 (inicio), 0xFF (fin)
- Codepoint: U+10FFFE (inicio), U+10FFFF (fin)
- Token: <s> (inicio), </s> (fin)
Nota: Se añaden (n - 1) tokens tanto al principio como al final del documento.
Example para n=3 en modo token:
- Documento: "ClickHouse is fast"
- Se procesa como: <s> <s> ClickHouse is fast </s> </s>
- Trigramas generados:
  - <s> <s> ClickHouse
  - <s> ClickHouse is
  - ClickHouse is fast
  - is fast </s>
  - fast </s> </s>

Para simplificar la creación del modelo para los modos byte y codepoint, puede resultar conveniente tokenizar primero el documento en tokens (una lista de bytes para el modo byte y una lista de codepoints para el modo codepoint). Luego, añada n - 1 tokens de inicio al principio y n - 1 tokens de fin al final del documento. Por último, genere los n-gramas y escríbalos en el archivo serializado.

​evalMLMethod

​stochasticLinearRegression

​stochasticLogisticRegression

​naiveBayesClassifier

​Detalles de implementación

​Configuración del modelo