Paso 1: Activar el servicio DataHub
Inicie sesión en la consola de DataHub.
Siga las instrucciones en pantalla para activar el servicio.
Paso 2: Crear un Project y un Topic
Inicie sesión en la consola de DataHub.
Haga clic en Create Project. En el cuadro de diálogo, establezca el Name (debe comenzar con una letra, tener entre 3 y 32 caracteres, y contener solo letras, dígitos y guiones bajos) y la Description (hasta 1,024 caracteres). Después, haga clic en Create.
|
Parámetro |
Descripción |
|
Project |
Un Project es la unidad organizativa básica en DataHub y contiene uno o más Topics. Los Projects de DataHub son independientes de los proyectos de MaxCompute; debe crear un Project separado en DataHub. |
|
Description |
La descripción del Project. |
3 . En la página de detalles del Project, haga clic en Create Topic. En el cuadro de diálogo New Topic, en Creation Method, seleccione Create Directly o Import MaxCompute table schema.
|
Parámetro |
Descripción |
|
Creation Method |
Cree un Topic desde cero o importe el esquema de una tabla existente de MaxCompute. |
|
Name |
El nombre del Topic. |
|
Type |
El tipo de Topic. |
|
Schema Details |
Aparece cuando selecciona |
|
Number of Shards |
Canal concurrente para la transmisión de datos dentro de un Topic. Cada Shard tiene un ID y un estado como |
|
Lifecycle |
Periodo de retención de datos del Topic, en días (1–7). Para cambiar este valor, utilice el Java SDK. |
|
Description |
La descripción del Topic. |
Paso 3: Escribir datos
DataHub admite varios métodos de ingesta de datos: Flume para registros, DTS o Canal para bases de datos, o un SDK. Este ejemplo utiliza la herramienta de consola para cargar un archivo.
Descargue y descomprima el paquete de la herramienta de consola. Luego, configure el par de AccessKey y el endpoint. Consulte la herramienta de línea de comandos de consola.
-
Utilice el comando
ufpara cargar el archivo.uf -f /temp/test.csv -p test_topic -t test_topic -m "," -n 1000 Compruebe que los datos se escribieron correctamente. Consulte la hora de la última escritura y el volumen total de datos en la pestaña Shard List de la página de detalles del Topic.
-
Use los datos de muestra para verificar la calidad de los datos.
Seleccione el Shard y la hora de inicio para el muestreo.
Haga clic en Sample para consultar los datos.
En el cuadro de diálogo de muestreo, establezca el Sample Count (valor predeterminado: 20) y utilice Select Filter Fields para filtrar por campos específicos.
Paso 4: Sincronizar datos
Este ejemplo muestra cómo sincronizar datos hacia MaxCompute.
Vaya a la página
Project List/Project Details/Topic Details.En la esquina superior derecha, haga clic en
+ Syncpara crear una tarea de sincronización.-
Seleccione el tipo de trabajo de MaxCompute:
1) Para la sincronización de tipo
TUPLE, configure los siguientes parámetros en el cuadro de diálogo New Connector: Project Name, Table Name, AccessKey ID, AccessKey Secret, Fields to Import, Partitioning Mode, Partition Configuration, Partition Interval, Time Zone, Start Time y TimestampUnit. Al finalizar, haga clic en Create.
Notas sobre la configuración seleccionada:
A continuación se describen los parámetros clave de configuración para tareas de sincronización basadas en consola. Para opciones avanzadas, utilice el SDK.
-
Fields to Import
Sincronice solo columnas específicas a una tabla de MaxCompute.
-
Partitioning Mode
Determina qué partición de MaxCompute recibe los datos. Modos compatibles:
|
Modo de particionamiento |
Base de la partición |
Tipos compatibles |
Descripción |
|
USER_DEFINE |
Valor de la columna de partición en el registro. El nombre de la columna debe coincidir con el campo de partición de MaxCompute. |
TUPLE |
(1) El esquema de DataHub debe incluir los campos de partición de MaxCompute. (2) El valor de esta columna debe ser una |
|
SYSTEM_TIME |
La hora en que el registro se escribe en DataHub. |
TUPLE / BLOB |
(1) En Partition Configuration, establezca el formato para convertir la marca de tiempo a una partición de MaxCompute. (2) Establezca la zona horaria. |
|
EVENT_TIME |
El valor de la columna |
TUPLE |
(1) En Partition Configuration, establezca el formato para convertir la marca de tiempo a una partición de MaxCompute. (2) Establezca la zona horaria. |
|
META_TIME |
El valor del campo de atributo |
TUPLE / BLOB |
(1) En Partition Configuration, establezca el formato para convertir la marca de tiempo a una partición de MaxCompute. (2) Establezca la zona horaria. |
Los modos SYSTEM_TIME, EVENT_TIME y META_TIME utilizan una marca de tiempo y una zona horaria para determinar la partición de MaxCompute. La unidad de marca de tiempo predeterminada es microsegundos.
La configuración de partición convierte una marca de tiempo en una partición de MaxCompute. De forma predeterminada, la consola utiliza un formato de partición fijo:
|
Partición |
Formato de hora |
Descripción |
|
ds |
%Y%m%d |
Día |
|
hh |
%H |
Hora |
|
mm |
%M |
Minuto |
Intervalo de tiempo para convertir marcas de tiempo en particiones de MaxCompute. Rango:
de 15 minutos a 1,440 minutos (1 día), en incrementos de15 minutos.Zona horaria utilizada para convertir marcas de tiempo en particiones de MaxCompute.
Para datos BLOB, especifique un delimitador hexadecimal para dividir los registros antes de sincronizarlos con MaxCompute. Por ejemplo,
0Arepresenta el carácter de nueva línea (\n).DataHub almacena los datos BLOB en formato binario, pero la columna de MaxCompute utiliza el tipo STRING. De forma predeterminada, la consola codifica los datos BLOB en Base64 antes de sincronizarlos. Para opciones avanzadas, utilice el SDK.
Paso 5: Consultar la tarea de sincronización
La página de detalles del Connector muestra el estado de la tarea, información de puntos de control y métricas de monitoreo como Sync Latency, DoneTime y Dirty Data Count. Puede reiniciar o detener la tarea y gestionar los Sync Task Fields. Las actualizaciones surten efecto inmediatamente.