Carga de datos - DataWorks - Centro de documentación de Alibaba Cloud

La función Data Upload de DataWorks le permite cargar datos desde diversas fuentes, como archivos locales, hojas de cálculo de Data Analysis, archivos de OSS y archivos HTTP. Estos datos se envían a motores como MaxCompute, EMR Hive, Hologres y StarRocks para su análisis y gestión. Este servicio de transferencia de datos facilita la operación de su negocio con rapidez. En este tema se describe cómo usar la función Data Upload para cargar datos.

Notas

Si sus operaciones implican transferencias de datos transfronterizas (por ejemplo, transferir datos de China continental a una ubicación fuera de China continental, o entre distintos países o regiones), primero debe leer y comprender el documento related compliance statement. De lo contrario, la carga podría fallar y usted podría enfrentar responsabilidades legales.
Antes de cargar los datos, se recomienda usar encabezados en inglés en el archivo de origen. Los encabezados en chino pueden provocar errores de análisis sintáctico y hacer que la carga falle.

Límites

Límites del resource group: La función Data Upload requiere que especifique un resource group for scheduling y un resource group for Data Integration.
- Esta función solo admite un serverless resource group (recommended), un exclusive resource group for scheduling y un exclusive resource group for Data Integration. Debe configurar un resource group for scheduling y un resource group for Data Integration para el motor correspondiente en Data Analysis > More > System Management.
- El resource group seleccionado debe estar asociado con el espacio de trabajo de DataWorks que contiene la tabla de destino. También debe asegurarse de que exista conectividad de red entre el resource group seleccionado y el origen de datos utilizado en la tarea de carga.
  Nota
  - Para configurar el resource group de un motor en Data Analysis, consulte System management.
  - Para establecer la conectividad de red entre un origen de datos y un resource group, consulte Network connectivity solutions.
  - Para asociar un resource group exclusivo con su espacio de trabajo designado, consulte Use exclusive resource groups for scheduling y Use an exclusive resource group for Data Integration.
Permisos obligatorios para la carga de datos:
- Tablas de MaxCompute (tablas ODPS): Solo necesita ser el propietario de la tabla. No requiere el rol de desarrollador, analista ni operador en el espacio de trabajo de DataWorks.
- Tablas que no son de MaxCompute (como Hologres, EMR Hive y StarRocks): Además de ser el propietario de la tabla, debe tener asignado un rol en el espacio de trabajo de DataWorks.
  - Tablas en el entorno de desarrollo: Debe tener el rol de desarrollador.
  - Tablas en el entorno de producción: Debe tener el rol de operador.
Límites por tipo de tabla: Solo es posible cargar datos en tablas internas o en tablas del default catalog (aplicable a StarRocks).

Facturación

La carga de datos genera los siguientes cargos:

Cargos por transferencia de datos.
Si se crean tablas nuevas, se aplican cargos de cómputo y almacenamiento.

Todos los cargos los aplica el motor. Para obtener más información, consulte MaxCompute billing, Hologres billing, E-MapReduce billing y EMR Serverless StarRocks billing.

Ir a la página Data Upload

Inicie sesión en la consola de DataWorks. En la región de destino, haga clic en Data Integration > Data Upload and Download en el panel de navegación izquierdo. Haga clic en Go to Data Upload and Download.
Haga clic en el icono del panel de navegación izquierdo para ir a la página Upload Data.
Haga clic en Upload Data y siga las instrucciones en pantalla para cargar los datos.

Seleccionar los datos que se van a cargar

Puede cargar datos desde archivos locales, hojas de cálculo, OSS y archivos HTTP. Seleccione un origen de datos según los requisitos de su negocio.

Nota

Al cargar un archivo, especifique si desea omitir los datos erróneos según sea necesario.

Sí: Si se detectan datos erróneos, el sistema los omite automáticamente y continúa con la carga.
No: Si se detectan datos erróneos, el sistema no los omite y la carga se interrumpe.

Archivo local

Utilice este método cuando los datos que va a cargar estén almacenados en un archivo local.

Establezca Data Source en Local File.
Specify Data to Be Uploaded: Siga las instrucciones en pantalla y arrastre el archivo local al área Select File.
Nota
- Se admiten los siguientes formatos: CSV, XLS, XLSX y JSON. El tamaño máximo de datos para un archivo CSV es de 5GB. Para otros tipos de archivo, el tamaño máximo es de 100MB.
- De forma predeterminada, solo se carga la primera hoja de un archivo. Para cargar datos de varias hojas de un mismo archivo, debe crear un archivo independiente por cada hoja y colocarla como la primera hoja.
- No se admite la carga de archivos en formato SQL.

Hoja de cálculo

Este método es adecuado para escenarios donde los datos que va a cargar están almacenados en una DataWorks Data Analysis spreadsheet.

Establezca Data Source en Workbook.
Specify Data to Be Uploaded:
1. Seleccione la hoja de cálculo que va a cargar en la lista desplegable junto a Select File.
2. Si la hoja de cálculo no existe, haga clic en el botón Create para crearla. También puede Create a workbook mediante el módulo Data Analysis y import data.

OSS

Recomendado cuando los datos que va a cargar están almacenados en OSS.

Requisitos previos:

Debe haber created an OSS bucket y almacenado el data to upload en el bucket de OSS. Después podrá cargar los datos de OSS en el origen de datos correspondiente.
Para evitar problemas de permisos, otorgue a la cuenta de Alibaba Cloud que ejecuta la operación de carga el permiso de acceso al bucket de destino mediante Overview of permissions and access control antes de cargar los datos.

Procedimiento de carga:

Establezca Data Source en OSS.
Specify Data to Be Uploaded:
1. En la lista desplegable Select Bucket, seleccione el bucket de OSS de destino que almacena los datos que va a cargar.
  
  Nota
  Solo es posible cargar datos de buckets ubicados en la misma región que el espacio de trabajo actual de DataWorks.
2. En el área Select File, seleccione el archivo que va a cargar.
  
  Nota
  Solo se admiten archivos en los formatos CSV, XLS, XLSX y JSON.

Archivo HTTP

Diseñado para escenarios donde los datos que va a cargar están almacenados en un archivo HTTP.

Establezca Data Source en HTTP File.

Specify Data to Be Uploaded:

Parámetro	Descripción
File URL	Seleccione la URL del archivo. Nota Se admiten URL de archivos HTTP y HTTPS.
File Type	El tipo de archivo se detecta automáticamente según el archivo que cargue. Se admiten los siguientes formatos de archivo: `CSV`, `XLS` y `XLSX`. El tamaño máximo de datos para un archivo `CSV` es de 5 GB. Para otros tipos de archivo, el tamaño máximo es de 50 MB.
Request Method	Se admiten tres métodos: GET, POST y PUT. Se recomienda usar GET para recuperar datos, pero puede seleccionar un método según los métodos de solicitud permitidos que haya definido.
Advanced Parameters	También puede configurar Request Header y Request Body en Advanced Parameters según los requisitos de su negocio.

Configurar la tabla de destino

En la sección Configure Destination Table, seleccione un Compute Engine para la carga de datos y configure los parámetros correspondientes según el motor seleccionado.

Importante

Al configurar la tabla de destino, asegúrese de distinguir entre PROD (entorno de producción) y DEV (entorno de desarrollo) al seleccionar un origen de datos. Si selecciona el entorno incorrecto, los datos se cargarán en un entorno no deseado.

MaxCompute

Para cargar datos en una tabla interna de MaxCompute, configure los parámetros tal como se describe en la siguiente tabla.

Parámetro		Descripción
Nombre del proyecto de MaxCompute		Seleccione un origen de datos de MaxCompute asociado con la región actual. Si no encuentra el origen de datos, puede Associate a MaxCompute compute resource al espacio de trabajo actual para generar un origen de datos con el mismo nombre.
Tabla de destino		Puede seleccionar Existing Table o Create Table.
Destination Table > Existing Table	Seleccionar tabla de destino	La tabla en la que desea cargar los datos. Puede buscar una tabla por palabra clave. Nota Solo puede cargar datos en una tabla de la que sea propietario. Para obtener más información, consulte Usage limits.
Destination Table > Existing Table	Método de carga	Seleccione un método para agregar datos a la tabla de destino. Clear Table Data First: Borra todos los datos existentes en la tabla de destino y luego importa los datos en las columnas mapeadas correspondientes. Append: Agrega los datos cargados a las columnas mapeadas correspondientes de la tabla de destino.
Destination Table > Create Table	Nombre de la tabla	Especifique un nombre personalizado para la nueva tabla. Nota Al crear una tabla en MaxCompute, el sistema utiliza la información de la cuenta de MaxCompute configurada en el recurso de cómputo de DataWorks para crear la tabla en el proyecto de MaxCompute correspondiente.
	Tipo de tabla	Seleccione Non-partitioned Table o Partitioned Table según sea necesario. Si selecciona una tabla particionada, debe especificar la columna de partición y sus valores.
	Ciclo de vida	Especifique el ciclo de vida de la tabla. Una vez que expire el ciclo de vida, la tabla podría dejar de estar disponible. Para obtener más información sobre el ciclo de vida de las tablas, consulte Lifecycle y Manage table lifecycle.

EMR Hive

Para cargar datos en una tabla interna de EMR Hive, configure los parámetros tal como se describe en la siguiente tabla.

Parámetro	Descripción
Origen de datos	Seleccione un EMR Hive data source (Alibaba Cloud instance mode) asociado con el espacio de trabajo actual en la región actual.
Tabla de destino	Solo puede cargar datos en una Existing Table.
Seleccionar tabla de destino	La tabla en la que desea cargar los datos. Puede buscar una tabla por palabra clave. Nota Si la tabla de destino no existe, siga las instrucciones en pantalla para ir a la página Table management en Data Studio y crear una tabla. Solo puede cargar datos en una tabla de la que sea propietario. Para obtener más información, consulte Usage limits.
Método de carga	Seleccione un método para agregar datos a la tabla de destino. Clear Table Data First: Borra todos los datos existentes en la tabla de destino y luego importa los datos en las columnas mapeadas correspondientes. Append: Agrega los datos cargados a las columnas mapeadas correspondientes de la tabla de destino.

Hologres

Para cargar datos en una tabla interna de Hologres, configure los parámetros tal como se describe en la siguiente tabla.

Parámetro	Descripción
Origen de datos	Seleccione un origen de datos de Hologres asociado con el espacio de trabajo actual en la región actual. Si no encuentra el origen de datos, puede Associate a Hologres computing resource al espacio de trabajo actual para generar un origen de datos con el mismo nombre.
Tabla de destino	Solo puede cargar datos en una Existing Table.
Seleccionar tabla de destino	La tabla en la que desea cargar los datos. Puede buscar una tabla por palabra clave. Nota Si la tabla de destino no existe, siga las instrucciones en pantalla para ir a la consola de Hologres y crear una tabla. Solo puede cargar datos en una tabla de la que sea propietario. Para obtener más información, consulte Usage limits.
Método de carga	Seleccione un método para agregar datos a la tabla de destino. Clear Table Data First: Borra todos los datos existentes en la tabla de destino y luego importa los datos en las columnas mapeadas correspondientes. Append: Agrega los datos cargados a las columnas mapeadas correspondientes de la tabla de destino.
Política de conflicto de clave principal	Si la carga de datos provoca un conflicto de clave principal en la tabla de destino, puede aplicar las siguientes políticas. Ignore: Ignora los datos cargados. Los datos de la tabla de destino no se actualizan. Update (replace): Los datos cargados sobrescriben por completo los datos existentes en la tabla de destino. Las columnas sin mapeo de columnas se establecen forzosamente en NULL. update: Los datos cargados sobrescriben los datos existentes en la tabla de destino, pero solo se actualizan las columnas con mapeo de columnas.

StarRocks

Para cargar datos en una tabla del default catalog de StarRocks, configure los parámetros tal como se describe en la siguiente tabla.

Parámetro	Descripción
Origen de datos	Seleccione un StarRocks data source asociado con el espacio de trabajo actual en la región actual.
Tabla de destino	Solo puede cargar datos en una Existing Table.
Seleccionar tabla de destino	La tabla en la que desea cargar los datos. Puede buscar una tabla por palabra clave. Nota Si la tabla de destino no existe, siga las instrucciones en pantalla para ir a la página de la instancia de EMR Serverless StarRocks y crear una tabla. Solo puede cargar datos en una tabla de la que sea propietario. Para obtener más información, consulte Usage limits.
Método de carga	Seleccione un método para agregar datos a la tabla de destino. Clear Table Data First: Borra todos los datos existentes en la tabla de destino y luego importa los datos en las columnas mapeadas correspondientes. Append: Agrega los datos cargados a las columnas mapeadas correspondientes de la tabla de destino.
Parámetros avanzados	Puede configurar los parámetros de solicitud de Stream Load.

Vista previa de los datos que se van a cargar

Después de configurar la tabla de destino, puede ajustar la codificación del archivo y el mapeo de columnas con base en la vista previa de los datos.

Nota

Actualmente, solo es posible previsualizar las primeras 20 filas de datos.

File Encoding Format: Si los datos contienen caracteres ilegibles, cambie el formato de codificación. Se admiten los siguientes formatos de codificación: UTF-8, GB18030, Big5, UTF-16LE y UTF-16BE.
Previsualizar los datos y configurar las columnas de la tabla de destino:
- Cargar datos en una tabla existente: Debe configurar el mapeo entre las columnas del archivo de origen y las columnas de la tabla de destino. Los datos solo se pueden cargar después de configurar el mapeo. Los métodos de mapeo incluyen Mapping by Column Name y Mapping by Order. Una vez configurado el mapeo, también puede personalizar los nombres de las columnas en la tabla de destino.
  Nota
  - Si los datos que se van a cargar no tienen mapeo con ninguna columna de la tabla de destino, aparecerán atenuados y no se cargarán.
  - No se permiten mapeos duplicados entre los datos que se van a cargar y las columnas de la tabla de destino.
  - Los nombres y tipos de columna no pueden estar vacíos. De lo contrario, no será posible cargar los datos.
- Cargar datos en una tabla nueva: Puede usar Intelligent Field Generation para completar automáticamente la información de las columnas o modificarla manualmente.
  Nota
  - Los nombres y tipos de columna no pueden estar vacíos. De lo contrario, no será posible cargar los datos.
  - Los motores EMR Hive, Hologres y StarRocks no admiten la creación de tablas nuevas durante la carga de datos.
Ignore First Row: Especifica si se debe cargar la primera fila de los datos del archivo (generalmente los nombres de las columnas) en la tabla de destino.
- Seleccionado: Si la primera fila contiene nombres de columnas, no se carga en la tabla de destino.
- No seleccionado: Si la primera fila contiene datos, se carga en la tabla de destino.

Cargar los datos

Después de previsualizar los datos, haga clic en el botón Upload Data ubicado en la esquina inferior izquierda para cargarlos.

Siguientes pasos

Una vez cargados los datos, haga clic en el icono del panel de navegación izquierdo para ir a la página Upload Data. Busque la tarea de carga de datos creada y ejecute las siguientes operaciones según sea necesario:

Continuar con la carga: Haga clic en Resume en la columna Operation para volver a cargar los datos.
Consultar datos: Haga clic en Query Data en la columna Operation para query and analyze los datos.
Ver detalles de la carga: Haga clic en el Table Name de destino para ir a Data Map y consultar información detallada sobre la tabla de destino. Para obtener más información, consulte Metadata retrieval.

Apéndice: Declaración de cumplimiento para la carga de datos transfronteriza

Importante

Si sus operaciones implican transferencias de datos transfronterizas (por ejemplo, transferir datos de China continental a una ubicación fuera de China continental, o entre distintos países o regiones), primero debe leer y comprender la declaración de cumplimiento correspondiente. De lo contrario, la carga podría fallar y usted podría enfrentar responsabilidades legales.

Las operaciones de datos transfronterizas transfieren los datos de su negocio en la nube a la región que seleccione o a la región donde está desplegado el producto. Debe asegurarse de que estas operaciones cumplan con los siguientes requisitos:

Tiene el permiso para procesar los datos del negocio en la nube correspondientes.
Ha implementado tecnologías y políticas suficientes de protección de seguridad de datos.
La transferencia de datos cumple con los requisitos de las leyes y normativas aplicables. Por ejemplo, los datos transferidos no contienen contenido restringido, cuya transferencia esté prohibida o cuya divulgación esté prohibida por las leyes aplicables.

Alibaba Cloud le recuerda que, si sus operaciones de carga de datos pueden derivar en transferencias de datos transfronterizas, consulte a personal legal o de cumplimiento profesional antes de ejecutarlas. Esto garantiza que dichas transferencias cumplan con las leyes, normativas y políticas regulatorias aplicables (por ejemplo, obtener la autorización válida de los titulares de los datos, firmar y registrar las cláusulas contractuales pertinentes, y completar las evaluaciones de seguridad y demás obligaciones legales correspondientes).

Si ejecuta operaciones de datos transfronterizas sin cumplir con esta declaración de cumplimiento, asumirá las consecuencias legales correspondientes. También será responsable de cualquier pérdida que sufran Alibaba Cloud y sus empresas afiliadas.

Referencias

Data Studio también admite la carga de archivos CSV o de texto locales en tablas de MaxCompute. Para obtener más información, consulte Upload data.
Para conocer más operaciones con tablas de MaxCompute, consulte Create and use MaxCompute tables.
Para conocer más operaciones con tablas de Hologres, consulte Create a Hologres table.
Para conocer más operaciones con tablas de EMR, consulte Create an EMR table.

Preguntas frecuentes

Problema con la configuración del resource group.

Mensaje de error: El origen del archivo actual o el motor de destino requiere un resource group para la carga de datos. Póngase en contacto con el administrador del espacio de trabajo para configurar un resource group.

Solución: Para configurar el resource group de un motor en Data Analysis, consulte System management.
Problema con la asociación del resource group.

Mensaje de error: El resource group configurado para la carga global de datos en su espacio de trabajo no está asociado con el espacio de trabajo al que pertenece la tabla de destino. Póngase en contacto con el administrador del espacio de trabajo para asociarlos.

Solución: Puede associate the resource group as a workspace resource group que está configurado en la administración del sistema.