:Importar datos desde una base de datos MySQL

Límites

• Esta función solo es compatible con las siguientes regiones: China (Hangzhou), China (Shanghai), China (Qingdao), China (Beijing), China (Zhangjiakou), China (Hohhot), China (Ulanqab), China (Chengdu), China (Shenzhen), China (Heyuan), China (Guangzhou), China (Hong Kong), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Philippines (Manila), Thailand (Bangkok), Japan (Tokyo), South Korea (Seoul), UK (London), Germany (Frankfurt), US (Virginia) y US (Silicon Valley).

• Si importa datos desde un origen AnalyticDB for MySQL, debe convertir los campos JSON al tipo VARCHAR antes de la importación. Por ejemplo, si un campo llamado detail es del tipo de datos JSON, utilice cast(detail as VARCHAR) as detail para realizar la conversión. Para obtener más información sobre la función CAST, consulte CAST function.

Requisitos previos

• Cree una base de datos MySQL y una cuenta de base de datos con permisos de solo lectura.

• Agregue las direcciones IP de Simple Log Service a la lista de permitidos de direcciones IP de su base de datos MySQL.

  Agregue a la lista de permitidos las direcciones IP correspondientes a la región de su proyecto y al tipo de red de la base de datos. Para consultar la lista de direcciones IP necesarias, véase IP address whitelist. Para obtener instrucciones sobre cómo configurar una lista de permitidos en MySQL, consulte Configure an IP address whitelist.

• Debe haber creado un proyecto y un logstore. Para obtener más información, consulte Manage projects y Create a basic Logstore.

Importar datos

1. Inicie sesión en la consola de Simple Log Service.

2. En la sección Projects, haga clic en el proyecto deseado.

   

3. En el panel Log Storage > Logstore, haga clic en > junto al logstore de destino. Pase el cursor sobre Data Collection > Data Import y haga clic en +.

4. En el asistente Quick Data Import, busque y haga clic en MySQL - Data Import.

5. Configure el trabajo de importación de datos.

   1. En el paso Configure Data Source, configure los siguientes parámetros.

      Parámetros básicos

      Parámetro	Descripción
      Task Name	El nombre único del trabajo de importación de datos.
      Display Name	El nombre para mostrar del trabajo.
      Job Description	La descripción del trabajo de importación de datos.
      Use VPC Endpoint	Instancia RDS en VPC Seleccione Use VPC Endpoint y ApsaraDB RDS Instance, y luego configure los siguientes parámetros. VPC ID: El ID de la VPC donde se encuentra la instancia de ApsaraDB RDS for MySQL. RDS Instance ID: El ID de la instancia de ApsaraDB RDS for MySQL. Debe establecer este parámetro con el valor VpcCloudInstanceId de la instancia. Puede llamar a la operación DescribeDBInstanceAttribute para obtener el valor de VpcCloudInstanceId. Autogestionada en ECS Seleccione Use VPC Endpoint y Self-managed Database on ECS, y luego configure los siguientes parámetros. VPC ID: El ID de la VPC donde se encuentra la instancia ECS. ECS Instance IP Address: La dirección IP privada de la instancia ECS. Base de datos pública Desactive la casilla Use VPC Endpoint y configure el siguiente parámetro. Public IP Address or Domain Name of Database: La dirección IP pública o el nombre de dominio de la base de datos MySQL.
      MySQL Port	El puerto de servicio de la base de datos MySQL. Valor predeterminado: 3306.
      Username	El nombre de usuario que se utiliza para iniciar sesión en la base de datos MySQL. Se recomienda otorgar permisos de solo lectura a esta cuenta.
      Password	La contraseña de la cuenta.
      Database	El nombre de la base de datos MySQL.
      Query	Puede utilizar una sentencia SELECT o SHOW. Si utiliza una sentencia SHOW, no podrá establecer el parámetro Page Size en la configuración avanzada. Puede usar un signo de interrogación (?) como marcador de posición, el cual funciona junto con el CheckPoint Field. Por ejemplo, si su sentencia de consulta es SELECT * FROM employees WHERE id > ?, puede establecer el CheckPoint Field en id y el Starting Value of CheckPoint Field en 0. Una vez completado cada trabajo de importación, el sistema guarda el ID del último registro como punto de control. La próxima vez que se ejecute el trabajo, el signo de interrogación (?) en la sentencia de consulta se reemplazará con este valor de punto de control.

      Parámetros avanzados

      Parámetro	Descripción
      Maximum Number of Rows for Each Import	El número máximo de filas que se importarán en cada trabajo programado. Un valor de 0 significa que no hay límite. Valor predeterminado: 0.
      Connection Timeout Settings	El tiempo de espera para conectarse a la base de datos MySQL. Valor predeterminado: 3,000 ms.
      Query Timeout Settings	El tiempo de espera para consultar la base de datos MySQL. Valor predeterminado: 5,000 ms.
      Page Size	Un valor de 0 deshabilita la paginación. Si el valor es mayor que 0, el sistema agrega limit pageSize offset {checkpoint} a la sentencia SELECT, lo que permite importar los datos en varias páginas dentro de un solo trabajo.
      Time Field	El campo en los datos de MySQL que representa la hora, como create_time o update_time. Simple Log Service utiliza el valor de este campo como marca de tiempo para los datos importados.
      Time Field Format	El formato del campo de tiempo. Se admiten formatos de tiempo basados en Java, como yyyy-MM-dd HH:mm:ss. Para obtener más información, consulte Time formats.
      Time Zone	La zona horaria del campo de tiempo.
      CheckPoint Field	Seleccione un campo de punto de control para especificar el punto de inicio de la siguiente importación de datos. Por ejemplo, si la sentencia de consulta es select * from t where id > ? y id es un campo autoincrementable, puede establecer id como el campo de punto de control. También puede utilizar campos como create_time o update_time. Nota Si no especifica un intervalo de tiempo en su consulta SQL, se recomienda configurar un campo de punto de control para importar datos incrementales y evitar la duplicación de datos.
      Starting Value of CheckPoint Field	El valor inicial para el campo de punto de control.
      Additional Fields	Agregue campos constantes a los datos importados. El formato es map[string]string. Por ejemplo, si su sentencia de consulta es select a, b from t;, el sistema importa los campos a y b de forma predeterminada. Puede agregar otros campos para importar a SLS, como {"k1": "v1", "k2": "v2"}.

   2. Haga clic en Preview para comprobar los resultados de la importación. Después de confirmar los resultados, haga clic en Next Configuration.

   3. En el paso Scheduling Interval, configure los siguientes parámetros.

      Parámetro	Descripción
      Import Interval	El intervalo con el que se importan los datos desde la base de datos MySQL a Simple Log Service.
      Execute Now	Seleccione Execute Now para ejecutar el trabajo de importación una sola vez.

   4. Una vez completada la configuración, haga clic en Next.

6. Cree índices y obtenga una vista previa de los datos. Luego, haga clic en Next. De forma predeterminada, la indexación de texto completo está habilitada en Simple Log Service. También puede crear manualmente índices de campo para los registros recopilados o hacer clic en Automatic Index Generation. En ese caso, Simple Log Service generará los índices de campo. Para obtener más información, consulte Create indexes.

   Importante

   Si desea consultar todos los campos en los registros, se recomienda utilizar índices de texto completo. Si solo desea consultar campos específicos, se recomienda usar índices de campo. Esto ayuda a reducir el tráfico de indexación. Si desea analizar campos, debe crear índices de campo. Debe incluir una sentencia SELECT en su consulta para realizar el análisis.

7. Debe esperar aproximadamente 1 minuto para que los índices surtan efecto. Después, podrá ver los registros recopilados en la pestaña Raw Logs. Para obtener más información sobre cómo consultar y analizar registros, consulte Query and analysis quick start.

Ver el trabajo de importación y los informes estadísticos

Después de crear un trabajo de importación de datos, puede ver su configuración y los informes estadísticos en la consola.

1. En la sección Projects, haga clic en el proyecto de destino.

2. En el panel de navegación izquierdo, seleccione Data Collection > Data Import y, a continuación, haga clic en el nombre del trabajo de destino.

3. En la página Import Configuration Overview, consulte la información básica y los informes estadísticos del trabajo de importación.

Operaciones relacionadas

En la página Import Configuration Overview, también puede realizar las siguientes operaciones.

• Modificar un trabajo

  Haga clic en Edit Configurations para cambiar la configuración del trabajo. Para obtener detalles sobre los parámetros, consulte Import data.

• Eliminar un trabajo

  Haga clic en Delete Configuration para eliminar el trabajo de importación de datos.

  Aviso

  Esta operación no se puede deshacer. Proceda con precaución.