Un logstore es una unidad de almacenamiento en Simple Log Service (SLS) que se utiliza para recopilar, almacenar y consultar datos de registros.
Conceptos básicos
¿Qué es un logstore?
Un logstore es un contenedor de datos en Simple Log Service. Puede crear varios logstores dentro de un Project para aislar y gestionar los registros de distintas aplicaciones o fuentes.
Prácticas recomendadas para planificar logstores
Cree un logstore independiente para cada fuente o tipo de registro. Por ejemplo, almacene los registros de acceso y los registros de error de NGINX en logstores distintos. Esto evita que los registros se mezclen y simplifica las consultas posteriores, el análisis, el aislamiento de permisos y la auditoría de cumplimiento.
Para cumplir con la protección clasificada de nivel 3 y requisitos similares, utilice un Project como límite unificado de control de acceso. Dentro de ese Project, cree logstores independientes para cada tipo de registro, como registros de servidor, registros de base de datos y registros de operaciones de consola. Esta organización facilita el almacenamiento categorizado y la trazabilidad de auditoría.
Un logstore no clasifica automáticamente los registros por año, mes, día u hora, ni crea carpetas de forma automática. La consulta de registros depende por completo de los campos de tiempo reales presentes en el contenido del registro.
Además, algunos servicios de Alibaba Cloud o funciones de SLS crean automáticamente logstores dedicados para fines específicos. Estos logstores no aceptan otros tipos de datos. A continuación se muestran algunos ejemplos:
internal-operation_log: almacena los detailed operation logs generados por el propio Simple Log Service.oss-log-store: se crea automáticamente cuando configura OSS access logs para el archivado.
Comparación de especificaciones de logstore
Simple Log Service ofrece dos tipos de logstore, Standard y Query, que difieren en features y costo.
Tipo | Costo (comparación de tarifas de tráfico de índices) | Escenarios |
Standard | USD 0.0875/GB | Utilice este tipo para análisis interactivos, monitoreo en tiempo real, visualización o creación de sistemas de observability. |
Tipo Query (Query) | USD 0.0146/GB | Este tipo no admite análisis. Úselo para archivar registros, almacenar registros de auditoría o solucionar problemas donde solo necesite búsquedas rápidas por palabras clave sin análisis. Los casos de uso típicos incluyen retención a largo plazo (meses o años) con acceso poco frecuente. |
Alcance y permisos
Crear un logstore básico
Console
Inicie sesión en la consola de Simple Log Service. En la lista de Project, haga clic en el Project deseado.
En la pestaña , haga clic en el icono +.
-
En la página Create Logstore, configure los ajustes y haga clic en OK.
Tipo de logstore: Standard de forma predeterminada.
-
Modo de facturación:
Pay-by-feature: se le factura por separado cada recurso utilizado (como almacenamiento, indexación y operaciones de lectura/escritura). Además, recibe una cuota mensual gratuita, lo que ayuda a controlar los costos en escenarios de pequeña escala.
Pay-by-ingested-data: solo paga por el volumen bruto de datos ingeridos. El almacenamiento y las funciones principales son gratuitos durante 30 días, lo que ofrece un modelo de precios más sencillo y rentable.
Consejo rápido: cuanto más se acerque su período de retención a 30 días y cuantos más campos indexe (especialmente con indexación de texto completo), más conveniente resulta el modelo pay-by-ingested-data.
Nombre del logstore: debe ser único dentro del Project y no se puede cambiar después de la creación.
Período de retención de datos: 30 días de forma predeterminada.
Mantenga el resto de los ajustes con sus valores predeterminados.
API
Modificar la configuración de un logstore
Puede configurar los siguientes parámetros durante la creación. Esta sección toma como ejemplo la modificación de un logstore.
Haga clic en
Log Storage. En la página LogStores, pase el cursor sobre el logstore deseado y seleccione .En las propiedades del logstore, modifique los ajustes correspondientes según su escenario.
Eliminar registros específicos o establecer el período de retención de registros
Console
En Basic Information, haga clic en Modify, ajuste el período de retención de datos y haga clic en Save.
Simple Log Service permite eliminar entradas de registro específicas mediante la función Log Soft Delete . En la página Query and Analysis del logstore, introduzca las condiciones de consulta, seleccione un intervalo de tiempo y haga clic en Log Soft Delete para enviar una tarea de eliminación. Las entradas de registro eliminadas ya no aparecen en las consultas posteriores y se eliminan permanentemente cuando finaliza el período de retención. También puede eliminar registros caducados por lotes si cambia el período de retención de datos, o bien stopping billing or deleting the LogStore para quitar todos los registros.
Specified Days: valores válidos: de 1 a 3650. Si establece 3650, la retención será permanente. Los registros se eliminan cuando finaliza el período de retención.
Permanent Storage: conserva los registros en el logstore de forma indefinida.
Los cambios surten efecto de inmediato, pero eliminar los datos caducados puede tardar algún tiempo.
Comprobar que el cambio surte efecto
Después de guardar el cambio, vuelva a pasar el cursor sobre el logstore y haga clic en Modify. En las propiedades del logstore, compruebe si el número de días que se muestra en Data Retention Period coincide con el valor que estableció. Esto confirma que el ajuste se aplicó correctamente. Si el logstore tiene habilitada la retención permanente, no se muestra ningún número de días personalizado, lo que significa que los registros de este logstore se conservan hasta que usted cambie la configuración.
Solucionar problemas cuando Data Retention Period no se puede modificar o no se guarda
Si no puede editar Data Retention Period (el botón de edición del período de retención aparece atenuado o no se puede seleccionar la duración del almacenamiento), o si el sistema devuelve un error al guardar el cambio y no se completan los ajustes del ciclo de vida, compruebe los siguientes elementos en orden:
El logstore es un logstore dedicado que un servicio en la nube o Simple Log Service creó automáticamente. La creación automática aplica a los logstores dedicados de Redis, los logstores dedicados de MongoDB y los logstores dedicados de gestión de Simple Log Service, cuyo período de retención de datos lo gestiona el servicio en la nube correspondiente. Cuando intenta guardar el cambio en la consola de Simple Log Service, un mensaje le indica que ejecute la operación en la consola de dicho servicio en la nube. Para usar un período de retención personalizado, ajústelo en la consola del servicio en la nube correspondiente o cree un logstore estándar para los registros de su negocio.
El logstore es un logstore reservado por el sistema con el prefijo
internal-, por ejemplo,internal-operation_log,internal-alert-historyointernal-etl-log. Este tipo de logstore ya está vinculado a una configuración específica de importación de datos. La consola indica que el logstore actual está configurado para una importación de datos específica, por lo que sus elementos de configuración no se pueden personalizar.La cuenta actual no tiene permisos suficientes. Modificar la configuración de un logstore requiere permisos de gestión de logstore en el Project de destino, es decir, permisos como
log:*LogStore, que se enumeran en la sección Alcance y permisos de este tema. Si inició sesión como usuario de Resource Access Management (RAM), solicite al propietario de la cuenta de Alibaba Cloud la política de sistemaAliyunLogFullAccesso una política personalizada que incluya estos permisos.La página de la consola no se muestra correctamente. Actualice la página o cambie a otro navegador, vuelva a pasar el cursor sobre el logstore deseado, haga clic en Modify y luego modifique Data Retention Period nuevamente.
En escenarios estándar, también puede completar el ajuste si modifica
ttltal como se describe en la pestaña API de esta sección. Para los logstores dedicados mencionados anteriormente, debe ajustar el período de retención en la consola del servicio en la nube correspondiente.
API
Ajuste el período de retención de registros si actualiza el valor ttl en Update Logstore.
Optimizar los costos de almacenamiento mediante niveles
Console
En Basic Information, haga clic en Modify y habilite los niveles inteligentes.
-
Configure Storage Policy: la suma de los días de los tres niveles debe ser igual al período total de retención de datos.
Hot storage: mínimo 7 días.
IA storage class: mínimo 30 días.
Archive Storage: mínimo 60 días.
Establezca Data retention period en Limited days, habilite Intelligent tiering y configure las transiciones entre niveles en Storage policy: hot storage pasa automáticamente a IA storage class cuando termina su período, IA storage class pasa a Archive Storage y Archive Storage se elimina automáticamente al finalizar su período.
Haga clic en Save. Para obtener más información, consulte Intelligent tiering.
API
Ajuste dinámicamente la política de retención de los niveles de almacenamiento si actualiza los valores ttl, hot_ttl y infrequentAccessTTL en Update Logstore.
Recopilar registros de frontend
Simple Log Service proporciona WebTracking para recopilar registros de miniprogramas, aplicaciones móviles (iOS/Android) y navegadores.
Puede utilizar esta función de dos maneras:
Use STS authentication para la transmisión. Este método es adecuado para entornos de producción y no requiere cambios en la configuración del logstore.
Use anonymous transmission mediante openapi. Este método es solo para pruebas y requiere habilitar un ajuste en el logstore, tal como se describe a continuación.
Console
En Basic Properties, haga clic en Modify, habilite WebTracking y haga clic en Save.
API
Habilite WebTracking si establece el parámetro enable_tracking en true dentro de Update Logstore.
Agregar automáticamente la IP pública y la hora de llegada del registro
Cuando esta opción está habilitada, la ingesta posterior de registros agrega automáticamente lo siguiente:
__tag__:__client_ip__: la dirección IP pública del dispositivo origen del registro.
__tag__:__receive_time__: la hora en que el registro llega al servidor de Simple Log Service, con formato de marca de tiempo UNIX (segundos transcurridos desde 1970-01-01 00:00:00 UTC).
Console
En Basic Properties, haga clic en Modify, habilite Record public IP y haga clic en Save.
API
Habilite el registro de la IP pública si establece el parámetro appendMeta en Update Logstore.
Ajustar el rendimiento de ingesta mediante shards
Cada shard admite 5 MB/s o 500 escrituras por segundo para la ingesta, y 10 MB/s o 100 lecturas por segundo para el consumo. Estos son límites flexibles. El sistema intenta atender solicitudes que superen estos límites, pero no garantiza la calidad del servicio. Si el tráfico supera la capacidad de un shard, divida el shard para aumentar la capacidad.
Console
En Basic Properties, haga clic en Modify, habilite Automatic sharding, establezca el límite de shards y haga clic en Save.
Simple Log Service admite splitting and merging shards individuales.
API
Detener la facturación o eliminar un logstore
Una vez eliminado, todos los datos de registro del logstore se pierden permanentemente y no se pueden recuperar. Proceda con precaución.
Antes de eliminar un logstore, evalúe el impacto en su negocio. Eliminar un logstore no suele afectar las operaciones comerciales si no se usa para monitoreo, alertas, análisis o auditorías, y si no es la fuente de datos para transformación de datos, envío de datos o consultas de API. Antes de continuar, confirme que no queden configuraciones asociadas importantes. Los datos de un logstore eliminado no se pueden recuperar.
Console
-
Limpieza previa a la eliminación.
Elimine todas las configuraciones de Logtail asociadas antes de eliminar el logstore. Esta es la única comprobación de requisito obligatorio que realiza la consola al eliminar un logstore: si el logstore todavía está asociado con configuraciones de recopilación de Logtail, la consola indica que existen configuraciones de Logtail y que deben eliminarse primero, por lo que la eliminación no puede continuar. Por lo tanto, si no puede eliminar un logstore, elimine primero todas las configuraciones de recopilación de Logtail de ese logstore y luego intente eliminarlo de nuevo.
Si LogShipper está habilitado para este logstore, detenga la escritura de nuevos datos y confirme que todos los datos existentes se enviaron correctamente antes de la eliminación.
Release Protection de un Project se aplica al Project en sí: después de habilitarla, debe deshabilitarla manualmente para poder eliminar el Project. La eliminación de un logstore individual no se ve afectada por esta función, por lo que no necesita deshabilitarla.
-
Pasos de eliminación.
En la pestaña , pase el cursor sobre el logstore deseado y seleccione .
En el cuadro de diálogo Warning, haga clic en Confirm Deletion.
-
Notas posteriores a la eliminación.
Las tarifas de almacenamiento siguen aplicando el día de la eliminación. A partir del día siguiente no se generan cargos. No recibirá una factura por este logstore a partir del tercer día después de la eliminación.
Tras la eliminación, se eliminan todas las tareas de exportación, los trabajos de transformación de datos, las tareas SQL programadas que usen este logstore como origen y las tareas de importación dirigidas a este logstore.
API
Ejemplos de configuración para escenarios reales
Monitoreo y análisis en tiempo real para cargas de trabajo de alto volumen
Su aplicación en línea genera grandes volúmenes de registros en tiempo real. Cuando ocurren fallas, necesita localizar rápidamente los registros de error y monitorear las métricas de rendimiento (como QPS y la latencia de respuesta) con alertas en tiempo real.
Configuración recomendada: Standard LogStore + pay-by-ingested-data + automatic sharding.
Motivo: Standard LogStore es compatible con el análisis, el monitoreo en tiempo real y la visualización. Ante un volumen alto de ingesta y una posible necesidad de indexación extensa, pay-by-ingested-data ofrece una mejor eficiencia de costos. Por su parte, automatic sharding garantiza un rendimiento constante de ingesta y análisis.
Escenarios de cumplimiento, auditoría y normativas
Las normativas del sector exigen almacenar los registros de operaciones de usuario y los registros de seguridad durante más de seis meses para fines de auditoría. Sin embargo, la frecuencia diaria de consultas y análisis es muy baja.
Configuración recomendada: Query LogStore + intelligent tiering.
Motivo: Query LogStore admite cargas de trabajo exclusivas de búsqueda con un costo de tráfico de índice menor que Standard. Intelligent tiering reduce los costos de almacenamiento a largo plazo, ya que traslada automáticamente los registros más antiguos a niveles de almacenamiento de menor costo.
Referencias relacionadas
Comparación de logstores bajo la facturación pay-by-feature
Los Query LogStores solo admiten la facturación pay-by-feature. Bajo este modelo, la comparación entre Standard y Query LogStores es la siguiente:
Elemento de comparación | Standard | Especificación de consulta | |
Costo | USD 0.0875/GB | USD 0.0146/GB | |
Funciones | Data ingestion (solo para registros de aplicaciones) | Compatible | No es compatible con la ingesta de registros de productos en la nube. |
Compatible | Compatible | ||
Compatible | Compatible | ||
Analytics (instrucción SQL) | Compatible | No compatible | |
Compatible | Compatible | ||
Compatible | Compatible | ||
Compatible | No compatible | ||
Compatible | Compatible | ||
Compatible | No compatible | ||
Compatible | Solo admite alertas basadas en consultas | ||
Compatible | No compatible | ||
Compatible | Compatible | ||
Compatible | Compatible | ||
Compatible | Compatible | ||
Límites
El modelo pay-by-ingested-data es compatible con todo el conjunto de funciones de SLS. Las funciones de valor agregado, como la consulta y el análisis, la transformación de datos, las alertas inteligentes y el consumo o envío de datos, no generan cargos adicionales. No obstante, están sujetas a los siguientes límites de cuota.
|
Límite de cuota |
Descripción |
|
Volumen de transformación de datos |
Máximo de 100 TB por logstore al mes. |
|
Volumen de datos de SQL programado |
Máximo de 20 TB por logstore al mes. |
|
Volumen de datos enviados |
Máximo de 100 TB por logstore al mes. |
|
Volumen de datos consumidos |
Máximo de 100 TB por logstore al mes. |
|
Volumen de cómputo de trabajos de alerta |
Máximo de 100 TB por logstore al mes. |
Descripción general de facturación
Los costos de un logstore dependen principalmente del modo de facturación seleccionado.
Pay-by-feature: se le factura por separado el uso real de recursos como la capacidad de almacenamiento, el tráfico de índice, las operaciones de lectura y escritura, y la cantidad de shards.
Pay-by-ingested-data: solo paga por el volumen bruto de datos ingeridos. Incluye 30 días de almacenamiento gratuito y varias funciones sin costo adicional.
Detalles clave de precios:
Tráfico de índice estándar: USD 0.0875/GB.
Tráfico de índice de consulta: USD 0.0146/GB.
Consejos para optimizar costos:
Si el periodo de retención de sus registros se acerca o supera los 30 días, pay-by-ingested-data suele ser más rentable.
Para escenarios exclusivos de archivado y recuperación, utilice Query LogStores para reducir los costos de indexación.
Utilice intelligent tiering para trasladar los datos de acceso poco frecuente a niveles de almacenamiento de menor costo.
Preguntas frecuentes
No es posible crear un logstore
De forma predeterminada, puede crear hasta 200 logstores por proyecto. Elimine los logstores que no utilice o solicite un aumento de cuota de la siguiente manera.
Inicie sesión en la consola de Simple Log Service y haga clic en el proyecto deseado dentro de la lista de proyectos.
En la página del proyecto, vaya a Overview > Basic Information > Resource Quota y haga clic en Manage. En el panel Resource Quotas, ajuste el límite de cuota del logstore y haga clic en Save para enviar su solicitud. Espere aproximadamente una hora para que el cambio surta efecto.
¿Faltan registros en Simple Log Service?
-
Proyecto o logstore faltante
Si elimina manualmente un proyecto o un logstore, no podrá recuperar los registros. Utilice ActionTrail para comprobar si hubo eventos de eliminación en los últimos 90 días.
-
Si su cuenta permanece con saldo vencido durante más de 7 días, el servicio se considera abandonado. Los proyectos se recuperan y los datos se eliminan permanentemente. Para obtener más detalles, consulte Overdue payments.
¿Cómo puedo reducir los costos de almacenamiento de registros?
Para revisar la facturación de SLS, consulte View SLS storage capacity and consumption records.
Download historical logs locally o ship them to OSS for storage.
¿Cómo identifico el origen de los datos de los registros recopilados en un logstore?
Si un proyecto contiene logstores que usted no creó, o si no sabe qué servicio en la nube escribe registros en un logstore, utilice los siguientes métodos para confirmar el origen de los datos y el servicio que los genera:
Revise la configuración de importación de datos del logstore: las configuraciones de recopilación de Logtail y las configuraciones de envío o importación de registros de servicios en la nube corresponden directamente a los orígenes de datos que escriben en el logstore. Esta es la forma más directa de confirmar el origen.
Consulte Raw Logs en la página Query and Analysis del logstore: la columna Time/IP de cada entrada de registro muestra el campo identificador de origen
__source__. Los registros que Logtail recopila desde archivos también incluyen campos reservados como__tag__:__path__, cuyos nombres son palabras reservadas de Simple Log Service. Puede usar estos campos para determinar el origen de ejecución de los registros.Revise la descripción del proyecto: cuando un servicio en la nube crea un proyecto automáticamente, su propósito y origen suelen indicarse en la descripción.
Los logstores con el prefijo
internal-, por ejemplointernal-operation_log,internal-alert-historyyinternal-etl-log, están reservados por Simple Log Service para importaciones de datos específicas. Para estos logstores, la consola indica que el logstore actual está configurado para una importación de datos específica y que sus elementos de configuración no se pueden personalizar.No dependa del campo
productTypeque devuelveGetLogStorepara determinar el origen. Este campo no está definido en la openapi de Simple Log Service y sus valores no están estandarizados. Úselo únicamente como señal auxiliar, nunca como base única para su conclusión.
¿El almacenamiento de registros sin procesar está habilitado de forma predeterminada en un logstore?
Sí. El almacenamiento de registros sin procesar está habilitado de forma predeterminada y no requiere configuración manual. Una vez que los registros se escriben en un logstore, los registros sin procesar se almacenan. Simple Log Service no proporciona un interruptor independiente para este almacenamiento. El tiempo que se conservan los registros lo determina el Data Retention Period del logstore.
Para confirmarlo, inicie sesión en la consola de Simple Log Service, vaya a la página Query and Analysis del logstore deseado, seleccione un rango de tiempo y consulte los registros escritos en la pestaña Raw Logs. La pestaña Raw Logs también está disponible cuando la indexación está deshabilitada para el logstore. Si la página indica que la indexación no está habilitada, solo podrá consultar los datos escritos después de que la indexación surta efecto.