Permite el procesamiento simultáneo de archivos que coinciden con una ruta especificada en varios nodos dentro de un clúster. El nodo iniciador establece conexiones con los nodos worker, expande globs en la ruta del archivo y delega las tareas de lectura de archivos a los nodos worker. Cada nodo worker consulta al iniciador cuál es el siguiente archivo que debe procesar, repitiendo el proceso hasta que se completen todas las tareas (se lean todos los archivos).
Esta función solo operará correctamente si el conjunto de archivos que coincide con la ruta especificada inicialmente es idéntico en todos los nodos y su contenido es consistente entre los distintos nodos.
Si estos archivos difieren entre nodos, el valor de retorno no puede determinarse de antemano y depende del orden en que los nodos worker soliciten tareas al iniciador.
Una tabla con el formato y la estructura especificados, que contiene datos de los archivos que coinciden con la ruta especificada.
Ejemplo
Dado un clúster llamado my_cluster y el siguiente valor de la configuración user_files_path:
Además, dado que en user_files_path de cada nodo del clúster hay archivos test1.csv y test2.csv, y su contenido es idéntico entre los distintos nodos:
Por ejemplo, estos archivos se pueden crear ejecutando estas dos consultas en cada nodo del clúster:
Ahora, lea el contenido de test1.csv y test2.csv mediante la función de tabla fileCluster:
Todos los patrones admitidos por la función de tabla File son compatibles con FileCluster.