Simple Log Service:Importar archivos de Amazon S3

Requisitos previos

• Cargue los archivos de registro en Amazon S3.

• Cree un proyecto y un logstore. Manage a project, Create a logstore.

• Configure permisos personalizados:

  • Cree una directiva personalizada que otorgue permisos para gestionar recursos de S3, como se muestra en el siguiente ejemplo (AWS: Custom permission sets).

    Nota

    Se requieren permisos personalizados de S3 para importar archivos a SLS.

    {
      "Version": "1",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": [
            "s3:GetObject",
            "s3:ListBucket"
          ],
          "Resource": [
            "arn:aws:s3:::your_bucket_name",
            "arn:aws:s3:::your_bucket_name/*"
          ]
        }
      ]
    }

  • Cree una directiva personalizada que otorgue permisos para gestionar recursos de SQS (AWS: Custom permission sets).

    Nota

    Esto es necesario solo si habilita la integración con SQS. Una cola de SQS debe dedicarse exclusivamente a una única tarea de importación. No utilice la cola para otras tareas de importación ni para ningún otro propósito. Si los datos en la cola no coinciden con las condiciones de filtro de la tarea de importación, el sistema los elimina de forma predeterminada.

    {
      "Effect": "Allow",
      "Action": [
        "sqs:ReceiveMessage",
        "sqs:DeleteMessage",
        "sqs:GetQueueAttributes",
        "kms:Decrypt"
      ],
      "Resource": "*"
    }

Crear una configuración de importación de datos

1. Inicie sesión en la consola de Simple Log Service.

2. Vaya a Import Data > Data Import y seleccione S3 - Data Import.

3. Seleccione el proyecto y el logstore de destino, y luego haga clic en Next.

4. Configure los ajustes de importación.

   1. En el paso Import Configuration, establezca los siguientes parámetros.

      Parámetro	Descripción
      Task Name	El nombre único para el trabajo de Data Import.
      S3 Region	La región donde se encuentra el bucket de origen.
      AWS AccessKey ID	El AWS AccessKey ID utilizado para acceder a su cuenta de AWS. Importante Asegúrese de que su AccessKey ID tenga los permisos necesarios para acceder a los recursos relevantes de AWS.
      AWS Secret AccessKey	El AWS Secret AccessKey correspondiente a su AccessKey ID.
      SQS Queue URL	La URL de la cola de SQS (AWS: Queue and message identifiers). Importante Este parámetro es obligatorio solo si habilita la integración con SQS.
      File Path Prefix Filter	Filtra los objetos de S3 por prefijo de clave. Por ejemplo, establezca el prefijo en csv/ para importar únicamente los objetos de ese directorio. Si deja este parámetro vacío, se escanea todo el bucket de S3. Nota Configure un prefijo para buckets grandes. Escanear un bucket completo ralentiza la importación.
      File Path Regex Filter	Filtra los objetos de S3 mediante una expresión regular que coincide con la ruta completa del objeto. Solo se importan los objetos coincidentes. Está vacío de forma predeterminada (sin filtrado). Por ejemplo, si un objeto de S3 se encuentra en testdata/csv/bill.csv, puede establecer la expresión regular en (testdata/csv/)(.*). Debug a regular expression.
      File Modification Time Filter	Filtra los objetos de S3 según su última hora de modificación. All: Seleccione esta opción para importar todos los objetos que cumplan con las condiciones especificadas. From Specific Time: Seleccione esta opción para importar objetos modificados después de un momento específico. Specific Time Range: Seleccione esta opción para importar objetos modificados dentro de un rango de tiempo específico.
      Data Format	El formato para analizar los archivos de registro: CSV: Texto delimitado. Puede usar la primera fila del archivo como nombres de campo o especificarlos manualmente. Cada fila subsiguiente se analiza como los valores de una entrada de registro. Single-line JSON: Lee el objeto de S3 línea por línea y analiza cada línea como un objeto JSON. Las claves del objeto JSON se convierten en los nombres de campo del registro. Single-line Text Log: Analiza cada línea del objeto de S3 como una entrada de registro independiente. Multi-line Text Logs: Analiza varias líneas como una sola entrada de registro. Debe especificar una expresión regular que coincida con el inicio o el final de la entrada.
      Compression Format	El formato de compresión de los objetos de S3 de origen. SLS descomprime los objetos según el formato seleccionado antes de leer los datos.
      Encoding Format	El formato de codificación de los objetos de S3 de origen. Solo se admiten UTF-8 y GBK.
      New File Check Cycle	Si se agregan nuevos objetos continuamente a la ruta de S3 de origen, configure el New File Check Cycle según sea necesario. El trabajo de importación descubre y lee periódicamente los nuevos objetos. Cada objeto de S3 se importa como máximo una vez. Si no se agregarán más objetos, seleccione Never Check. El trabajo se detiene después de importar todos los objetos coincidentes.
      Log Time Configuration
      Time Field	Si selecciona Data Format o Single-line JSON como Single-line JSON, puede especificar un campo que contenga la marca de tiempo. SLS utiliza este campo como la marca de tiempo del registro.
      Time Field Extraction Regular Expression	Puede utilizar una expresión regular para extraer la marca de tiempo del contenido del registro. Por ejemplo, si una entrada de registro de muestra es 127.0.0.1 - - [10/Sep/2018:12:36:49 0800] "GET /index.html HTTP/1.1", puede establecer la Time Field Extraction Regular Expression en [0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9:,]+. Nota Para otros formatos de datos, también puede usar una expresión regular para extraer solo una parte de un campo de tiempo.
      Time Field Format	El formato utilizado para analizar el valor del campo de tiempo. Admite la sintaxis de Java SimpleDateFormat, como yyyy-MM-dd HH:mm:ss. Time formats. Se admiten formatos epoch, incluidos epoch, epochMillis, epochMicro y epochNano.
      Time Zone	Seleccione la zona horaria para el campo de tiempo. No se requiere zona horaria para los formatos epoch. Para considerar el horario de verano, seleccione un formato UTC. De lo contrario, seleccione un formato GMT. Nota La zona horaria predeterminada es UTC+8.

      Si selecciona Data Format como Data Format, debe configurar los parámetros adicionales descritos en la siguiente tabla.

      • Parámetros específicos de CSV

        Parámetro	Descripción
        Delimiter	El delimitador utilizado para separar campos. El valor predeterminado es una coma (,).
        Quote	El carácter de comilla utilizado para cadenas CSV.
        Quote	El carácter de escape utilizado para escapar caracteres especiales. El valor predeterminado es una barra invertida (\).
        Maximum Lines	Si habilita First Line as Field Name, la primera línea del archivo CSV se utiliza como nombres de campo.
        Custom Fields	Si deshabilita First Line as Field Name, debe especificar nombres de campo personalizados para los registros. Separe varios nombres de campo con comas (,).
        Lines to Skip	El número de líneas de registro que se omitirán desde el inicio del archivo. Por ejemplo, si establece esto en 1, la recopilación de datos comienza desde la segunda línea del archivo CSV.

      • Parámetros específicos de registros de texto multilínea

        Parámetro	Descripción
        Position to Match Regular Expression	La posición en la que se debe hacer coincidir la expresión regular. Están disponibles las siguientes opciones: Regular Expression to Match First Line: Utiliza una expresión regular para coincidir con la primera línea de una entrada de registro. Las líneas no coincidentes se consideran parte de la entrada de registro actual hasta alcanzar el número máximo de líneas. Regular Expression to Match Last Line: Utiliza una expresión regular para coincidir con la última línea de una entrada de registro. Las líneas no coincidentes se consideran parte de la siguiente entrada de registro hasta alcanzar el número máximo de líneas.
        Regular Expression	La expresión regular que define el inicio o el final de una entrada de registro. Debug a regular expression.
        Maximum Lines	El número máximo de líneas para una sola entrada de registro.

   2. Haga clic en Preview para comprobar el resultado de la importación.

   3. Después de confirmar la configuración, haga clic en Next.

5. Visualice los datos, cree un índice y luego haga clic en Next.

   SLS habilita el índice de texto completo de forma predeterminada. También puede crear índices de campo manualmente o hacer clic en Automatic Index Generation para generarlos automáticamente. Create an index.

   Importante

   Para consultar y analizar registros, debe habilitar un índice de texto completo o un índice de campo. Si ambos están habilitados, el índice de campo tiene prioridad.

Consultar la configuración de importación

Consulte los detalles de configuración y los informes estadísticos en la consola.

1. En la lista de proyectos, haga clic en el proyecto de destino.

2. En la sección Log Storage > Logstore, busque el logstore de destino, elija Data Collection > Data Import y luego haga clic en el nombre de la configuración.

3. Consulte la información básica y los informes estadísticos de la configuración de importación.

4. También puede modificar, iniciar, detener o eliminar la configuración de importación.

   Aviso

   Esta operación no se puede deshacer. Proceda con precaución.

Facturación

SLS no cobra por la función Data Import. Sin embargo, pueden aplicarse cargos por transferencia de datos y solicitudes de API de su proveedor de nube. El siguiente modelo describe los costos potenciales. Consulte la factura de su proveedor para ver los cargos reales.

Preguntas frecuentes

Manejo de errores