Este tema describe cómo cargar y descargar datos en MaxCompute. Abarca las conexiones de servicio, los kits de desarrollo de software (SDK), las herramientas y las operaciones comunes, como la importación y exportación de datos.
Contexto
MaxCompute ofrece varios canales para cargar y descargar datos. Esto le permite seleccionar la solución técnica adecuada para su escenario.
Batch data channel: Admite la carga y descarga de datos por lotes.
Streaming Tunnel: Permite transmitir datos hacia MaxCompute mediante streaming.
Túnel de datos en tiempo real: DataHub es una plataforma de procesamiento de datos en streaming que permite publicar, suscribirse y distribuir datos en streaming, además de archivarlos en MaxCompute.
Introducción a las funciones
-
Carga de datos mediante el canal de datos por lotes
El canal de datos por lotes permite cargar datos en MaxCompute en lotes. Las fuentes de datos compatibles incluyen archivos externos, bases de datos externas, Object Storage Service y archivos de registro. A continuación se presentan las soluciones disponibles para la carga de datos por lotes.
Tunnel SDK: Permite cargar datos en MaxCompute mediante Tunnel.
Servicio de sincronización de datos: Utilice tareas de Data Integration (DataWorks) para extraer, transformar y cargar (ETL) datos en MaxCompute.
Herramientas de código abierto y plugins: Cargue datos en MaxCompute con Sqoop, Kettle, Flume, Fluentd plugin u OGG .
Herramientas del producto: El cliente de MaxCompute incluye comandos integrados de Tunnel basados en el SDK para batch data channel. Utilice estos comandos para cargar datos. Para obtener más información sobre el uso de los comandos de Tunnel, consulte Tunnel commands.
NotaPara la sincronización de datos sin conexión, utilice Data Integration. Para obtener más información, consulte Data Integration.
-
Escritura de datos mediante el canal de datos en streaming
El servicio de canal de datos en streaming de MaxCompute permite escribir datos en MaxCompute de forma continua. Utiliza un conjunto nuevo de API y servicios de backend distintos a los del servicio de canal de datos por lotes. A continuación se describen las soluciones disponibles para escribir datos en streaming en MaxCompute.
Servicio de sincronización de datos: Utilice real-time sync tasks en Data Integration para escribir datos en streaming (StreamX).
Entrega de datos: Utilice modos de entrega de datos que hayan integrado las API de escritura en streaming para escribir datos en streaming. Este método es compatible con SLS y Message Queue para Kafka.
Escrituras en tiempo real con Flink: Utilice la plataforma Flink para escribir datos en streaming en tiempo real.
Confiabilidad de las soluciones
MaxCompute cuenta con un Acuerdo de Nivel de Servicio (SLA). Sin embargo, los canales de datos por lotes y en streaming utilizan recursos compartidos gratuitos de forma predeterminada. Por lo tanto, debe considerar la confiabilidad de su solución específica. El servicio Tunnel asigna los recursos de servicio disponibles (slots) según el orden de recepción de las solicitudes de acceso.
Si no hay recursos de servicio disponibles, se rechazan las nuevas solicitudes de acceso hasta que se liberen recursos.
Si el número de solicitudes válidas no alcanza 100 en un periodo de 5 minutos, no se considera que el servicio no esté disponible. Para obtener más información sobre las solicitudes válidas, consulte Valid status codes for Data Transmission Service.
La latencia de las solicitudes y las solicitudes limitadas no están cubiertas por el SLA. Para obtener más información sobre los límites del servicio, consulte Limits on Data Transmission Service.
Notas
Las condiciones de la red afectan significativamente las velocidades de carga y descarga de Tunnel. La velocidad suele oscilar entre 1 MB/s y 10 MB/s. Si carga una gran cantidad de datos, establezca el Tunnel Endpoint en el endpoint de la red interna o de una VPC. Debe conectarse a la red interna o a la VPC mediante una instancia de Alibaba Cloud ECS o una línea dedicada. Si la velocidad de carga es demasiado lenta, utilice un método de carga multiproceso.
Para obtener más información sobre los Tunnel Endpoints, consulte Endpoint.