Simple Log Service:Conversion de données

Types de règles de conversion de données

Lorsque vous créez un graphique, vous pouvez configurer des règles de conversion de données. Les types pris en charge sont Connect, Category, Parse Timestamp, Group By et Transpose Rows and Columns.

• Category : regroupe les résultats d'une instruction de requête en fonction des champs spécifiés et calcule les valeurs pour chaque groupe. Le tableau suivant décrit les paramètres. Pour plus d'informations, consultez la section Exemple pour Category.

  Paramètre	Description
  Select Data Source	Sélectionnez l'instruction de requête dont vous souhaitez classer les résultats. Par exemple, si vous sélectionnez A, les résultats de l'instruction de requête A sont classés.
  X-axis	Sélectionnez un champ comme axe des x.
  Y-axis	Sélectionnez un champ comme axe des y.
  Aggregate Column	Sélectionnez un champ pour classifier et agréger davantage les données. Par exemple, la sélection du champ kind permet de classifier et d'agréger les données selon ce champ.

• Connect : fusionne les résultats de plusieurs instructions de requête à l'aide de Left Join, Right Join ou Full Join et affiche les résultats fusionnés dans le graphique. Le tableau suivant décrit les paramètres. Pour plus d'informations, consultez la section Exemple pour Connect.

  Paramètre	Description
  Connection Mode	Sélectionnez la méthode de jointure pour fusionner les résultats de requête.
  Connection Field	Sélectionnez un champ commun à tous les résultats de requête comme clé de jointure.

Par exemple, pour la conversion de données TA, définissez le type sur Category, Select Data Source sur A, X-axis sur Time, Y-axis sur count et Aggregate Column sur kind. Pour la conversion de données TB, définissez le type sur Connect, Connection Mode sur Left Join et Connection Field sur Time.

Exemple pour Connect

Les instructions de requête A et B renvoient toutes deux des résultats incluant le champ time. Vous pouvez utiliser Left Join sur le champ time pour fusionner les résultats et les afficher dans un tableau.

• Configuration de la requête et de l'analyse : la requête et l'analyse A utilisent LogStore (SQL). Le Logstore est sls-mall-traces et l'instruction est * | select __time__ - __time__ % 60 as time, count() as pv, 'computer' as icon, 'database' as database from log group by time order by time asc limit 2000. La requête et l'analyse B utilisent LogStore (SQL). Le Logstore est sls-mall-traces-deps et l'instruction est * | select __time__ - __time__ % 60 as time, count() as pvb from log group by time order by time asc limit 2000.

• Résultats de la requête et de l'analyse A : le tableau renvoyé contient quatre colonnes : time, pv, icon et database. Il affiche les données statistiques regroupées par intervalles de 60 secondes.

• Résultats de la requête et de l'analyse B : le tableau renvoyé contient deux colonnes : time et pvb. Il affiche les données statistiques PVB regroupées par intervalles de 60 secondes.

• Configuration de la conversion de données : définissez le type sur Connect, Connection Mode sur Left Join et Connection Field sur time.

• Résultats de la conversion de données : après l'opération Left Join, le tableau combiné contient cinq colonnes : time, pvb, pv, icon et database. Les deux ensembles de résultats sont fusionnés en fonction du champ time.

Exemple pour Category

L'instruction de requête A agrège les données et les regroupe par les champs kind et time. Un graphique en courbes n'affiche qu'une partie des résultats. Pour afficher toutes les catégories, configurez une règle de conversion de données Category qui classe les résultats en cinq groupes en fonction du champ kind : producer, consumer, server, client et internal. Le graphique en courbes affiche ensuite le nombre pour chaque catégorie.

• Configuration de la requête et de l'analyse : la requête et l'analyse A utilisent LogStore (SQL). Le Logstore est sls-mall-traces et l'instruction est * | SELECT __time__ - __time__ % 60 AS Time, count(1) AS count, kind GROUP BY Time, kind ORDER BY Time LIMIT 1000.

• Résultats de la requête avant la conversion de données

  • Tableau : le tableau renvoyé contient trois colonnes, Time, count et kind, avec un total de 80 lignes. Chaque point temporel possède un nombre correspondant pour les cinq types kind : producer, consumer, server, client et internal.

  • Graphique en courbes

• Configuration de la conversion de données : définissez le type sur Category, Select Data Source sur A, X-axis sur Time, Y-axis sur count et Aggregate Column sur kind.

• Résultats de la requête après la conversion de données

  • Tableau : le tableau catégorisé divise les données en cinq colonnes distinctes en fonction du champ kind : consumer, producer, internal, server et client. Chaque ligne affiche le nombre pour chaque catégorie au même point temporel.

  • Graphique en courbes

Exemple pour Parse Timestamp

Une fois que l'instruction de requête A a renvoyé ses résultats, vous pouvez configurer une règle de conversion de données Parse Timestamp pour analyser un champ spécifique en horodatage UNIX.

• Instruction de requête

  La requête et l'analyse A utilisent Logstore (SQL). L'instruction de requête est * | select *.

• Résultats de l'instruction de requête A

  Le tableau renvoyé comprend des colonnes telles que __line__, file, info, time, __time__ et _source_. La colonne time contient des valeurs au format 2024-03-04T10:31:27.427014. L'ensemble de résultats compte 82 lignes.

• Configuration de la conversion de données

  Définissez le type de conversion de données sur Parse Timestamp, Select Data Source sur A, field sur time et Format sur YYYY-MM-DD HH:mm:ss.

• Résultats de la conversion de données

  Dans le tableau converti, les valeurs de la colonne time sont analysées d'une chaîne temporelle vers un format d'horodatage UNIX (tel que 1720578030). Le tableau contient 82 lignes.

Exemple pour Group By

Les instructions de requête A et B renvoient toutes deux des résultats incluant le champ request_method. Vous pouvez utiliser Group By sur ce champ pour fusionner et agréger les résultats dans un tableau.

• Instructions de requête

  La requête et l'analyse A ainsi que la requête et l'analyse B utilisent toutes deux Logstore (SQL). Le Logstore est nginx-access-log. L'instruction de requête pour les deux est * | SELECT request_method, COUNT(*) as c group by request_method.

• Résultats de l'instruction de requête A

  Le tableau de résultats pour la requête et l'analyse A contient deux colonnes, request_method et c, avec les nombres pour chaque méthode : HEAD(1), GET(237), DELETE(17), POST(62) et PUT(64).

• Résultats de l'instruction de requête B

  Les résultats de la requête et de l'analyse B sont identiques à ceux de la requête et de l'analyse A, contenant les mêmes valeurs request_method et les nombres correspondants.

• Configuration de la conversion de données

  Définissez le type de conversion de données sur Group By, regroupez par le champ request_method et appliquez la fonction Sum au champ c.

• Résultats de la conversion de données

  Le résultat après la conversion de données Group By affiche les statistiques combinées des deux opérations de requête et d'analyse : GET(474), POST(124), PUT(128), DELETE(34) et HEAD(2).

Exemple pour Transpose Rows and Columns

Une fois que l'instruction de requête A a renvoyé ses résultats, vous pouvez configurer une règle de conversion de données Transpose Rows and Columns pour permuter les lignes et les colonnes.

• Instruction de requête

  La requête et l'analyse A utilisent Logstore (SQL). L'instruction de requête est * | select *.

• Résultats de l'instruction de requête A

  Le tableau renvoyé comprend des colonnes telles que __line__, file, info, time, __time__ et _source_. La colonne time contient des valeurs au format 2024-03-04T10:31:27.427014. L'ensemble de résultats compte 82 lignes.

• Configuration de la conversion de données

  Définissez le type de conversion de données sur Transpose Rows and Columns et sélectionnez A comme source de données.

• Résultats de la conversion de données

  Le nouveau tableau comporte 82 colonnes (une pour chaque ligne d'origine) et un nombre de lignes égal au nombre de colonnes d'origine. Dans le tableau transposé, les lignes d'origine deviennent des colonnes et les colonnes d'origine deviennent des lignes.