DataWorks:OSS

Pris en charge

Non pris en charge

• Prend en charge les fichiers TXT, qui doivent respecter un schéma de table bidimensionnelle.

• Prend en charge les fichiers de type CSV avec un délimiteur personnalisé.

  Remarque

  Les formats texte (TXT et CSV) prennent en charge la compression gzip, bzip2 et zip.

  Vous ne pouvez pas regrouper plusieurs fichiers dans une seule archive compressée.

• Prend en charge les fichiers aux formats ORC, Parquet, JSON et JSONL.

• Prend en charge la lecture de divers types de données (représentés sous forme de STRING), l'élagage des colonnes et les constantes de colonne.

• Prend en charge les lectures récursives et le filtrage par nom d'objet.

• Prend en charge les lectures simultanées depuis plusieurs objets.

• Le lecteur ne peut pas lire un seul objet (fichier) de manière concurrente à l'aide de plusieurs threads.

• Un seul objet compressé ne prend pas en charge les lectures multi-threads simultanées.

Pris en charge

Non pris en charge

• Seuls les fichiers texte peuvent être écrits. Les données BLOB telles que les vidéos et les images ne sont pas prises en charge. Les fichiers texte doivent respecter un schéma de table bidimensionnelle.

• Prend en charge les fichiers de type CSV avec un délimiteur personnalisé.

• Prend en charge les formats ORC, Parquet, JSON et JSONL.

  Remarque

  Le format de compression SNAPPY est pris en charge en mode script.

• Prend en charge les écritures multi-threads, chaque thread écrivant dans un sous-fichier différent.

• Prend en charge le roulement des fichiers. Lorsqu'un fichier dépasse une taille spécifiée, le writer bascule vers un nouveau fichier.

• Un seul fichier ne prend pas en charge les écritures simultanées.

• OSS ne fournit pas de types de données natifs. OSS Writer écrit toutes les données dans les objets OSS sous le type STRING.

• Si la classe de stockage du bucket OSS est Cold Archive Storage, les opérations d'écriture ne sont pas prises en charge.

• Un seul objet (fichier) ne peut pas dépasser 100 Go.

Catégorie

Type de colonne Data Integration

Entier

LONG

Chaîne

STRING

Virgule flottante

DOUBLE

Booléen

BOOLEAN

Date et heure

DATE

Paramètre

Description

Obligatoire

Valeur par défaut

datasource

Nom de la source de données. Le mode script permet d'ajouter des sources de données. La valeur de ce paramètre doit correspondre exactement au nom de la source ajoutée.

Oui

S.O.

Object

Ce paramètre spécifie un ou plusieurs objets à synchroniser depuis OSS. Trois méthodes de configuration sont prises en charge : chemins explicites, chemins avec caractères génériques et chemins avec paramètres dynamiques.

1. Méthodes de configuration

• Chemins explicites

  • Règle de base : le chemin commence à partir du répertoire racine du bucket et ne doit pas inclure le nom du bucket.

  • Spécifier un seul fichier : saisissez le chemin complet du fichier. Exemple : my_folder/my_file.txt.

  • Spécifier plusieurs objets : séparez les chemins de plusieurs fichiers ou dossiers par des virgules (,). Exemple : folder_a/file1.txt, folder_a/file2.txt.

• Chemins avec caractères génériques

  • Vous pouvez utiliser des caractères génériques pour faire correspondre plusieurs fichiers répondant à un modèle spécifique.

  • * : correspond à zéro ou plusieurs caractères arbitraires.

  • ? : correspond à exactement un caractère arbitraire.

  • Exemples :

    • abc*[0-9].txt peut correspondre à abc0.txt, abc10,txt, abc_test_9.txt, etc.

    • abc?.txt peut correspondre à abc1.txt, abcX.txt, etc.

• Chemins avec paramètres dynamiques

  • Vous pouvez intégrer des paramètres de planification dans le chemin pour automatiser la synchronisation. Lors de l'exécution de la tâche, les paramètres sont remplacés par leurs valeurs réelles.

  • Exemple : si vous définissez le chemin sur raw_data/${bizdate}/abc.txt, la tâche synchronise quotidiennement le dossier correspondant à la date métier.

  • Pour plus d'informations sur les paramètres de planification, consultez Sources et expressions des paramètres de planification.

2. Mécanisme de lecture concurrente et performances

La méthode de configuration détermine directement les performances de concurrence de l'extraction des données :

• Mode monothread : lorsque vous spécifiez un seul fichier explicite non compressé, la tâche extrait les données en mode monothread.

• Mode multithread : lorsque vous spécifiez plusieurs fichiers explicites ou utilisez des caractères génériques correspondant à plusieurs fichiers, la tâche active automatiquement les lectures concurrentes multithreads pour améliorer considérablement l'efficacité de l'extraction. Vous pouvez configurer le nombre de threads simultanés dans Channel Control.

Oui

Aucune

parquetSchema

Ce paramètre est utilisé lors de la lecture des données OSS au format de fichier Parquet. Il prend effet uniquement lorsque fileFormat est défini sur parquet et spécifie la définition de type du stockage Parquet. Assurez-vous que la configuration globale respecte la syntaxe JSON après avoir spécifié parquetSchema.

message MessageTypeName {
required_or_optional, data_type, column_name;
......................;
}

"parquetSchema": "message m { optional int32 minute_id; optional int32 dsp_id; optional int32 adx_pid; optional int64 req; optional int64 res; optional int64 suc; optional int64 imp; optional double revenue; }"

Non

Aucune

column

Liste des champs à lire. type spécifie le type de données des données source, index spécifie le numéro de colonne (base zéro) dans le fichier texte auquel la colonne actuelle correspond, et value spécifie que la colonne actuelle est une constante. Au lieu de lire les données à partir du fichier source, le système génère automatiquement la colonne en fonction de la valeur spécifiée.

"column": ["*"]

"column":
    {
       "type": "long",
       "index": 0    //Récupère le champ INT de la première colonne du texte OSS.
    },
    {
       "type": "string",
       "value": "alibaba"  //Génère le champ de chaîne "alibaba" à partir d'OSSReader comme champ actuel.
    }

Oui

Toutes les données sont lues comme étant de type STRING.

fileFormat

Type de fichier. Type de fichier des objets OSS source. Valeurs valides : csv, text, parquet, orc, json et jsonl. Les formats csv et text prennent en charge les délimiteurs personnalisés.

Oui

csv

fieldDelimiter

Délimiteur de champ pour la lecture des données.

Oui

,

lineDelimiter

Délimiteur de ligne pour la lecture des données.

Non

S.O.

compress

Type de compression pour les fichiers texte. Par défaut, ce paramètre est laissé vide, ce qui indique que les données ne sont pas compressées. Valeurs valides : gzip, bzip2 et zip.

Non

Pas de compression

encoding

Encodage utilisé pour lire les fichiers.

Non

utf-8

nullFormat

Les chaînes standard ne peuvent pas être utilisées pour définir null (pointeur nul) dans les fichiers texte. Data Integration fournit le paramètre nullFormat pour définir quelles chaînes peuvent représenter null. Exemples :

• Si vous configurez nullFormat:"null", ce qui équivaut à un « caractère visible », et que les données source sont null, Data Integration traite le champ comme un champ nul.

• Si vous configurez nullFormat:"\u0001", ce qui équivaut à un « caractère invisible », et que les données source sont la chaîne "\u0001", Data Integration traite le champ comme un champ nul.

• Si vous ne spécifiez pas le paramètre "nullFormat", ce qui équivaut à « non configuré », les données source sont écrites dans la destination telles quelles, sans aucune conversion.

Non

Aucune

skipHeader

Les fichiers de type CSV peuvent contenir une ligne d'en-tête avec des titres de colonnes qu'il faut ignorer. Par défaut, l'en-tête n'est pas ignoré. skipHeader n'est pas pris en charge en mode fichier compressé.

Non

false

csvReaderConfig

Configuration pour la lecture des fichiers de type CSV. Ce paramètre est de type MAP. CsvReader est utilisé pour lire les fichiers de type CSV et prend en charge diverses configurations. Si ce paramètre n'est pas spécifié, les valeurs par défaut sont utilisées.

Non

Aucune

successOnNoObject

Indique si la tâche se termine avec succès lorsqu'aucun objet n'existe dans le chemin de lecture spécifié. Si ce paramètre est défini sur false, la tâche échoue. Si ce paramètre est défini sur true, la tâche se termine avec succès sans écrire aucune donnée. Ce paramètre s'applique aux scénarios de synchronisation périodique où le chemin source peut être vide. En mode UI sans code, ce paramètre correspond à « Allow Missing Source Files » et n'est affiché que lorsque fileFormat est défini sur csv ou text.

Non

false

minLastModified

Spécifie que seuls les fichiers dont l'heure de dernière modification est égale ou postérieure à l'heure spécifiée sont synchronisés. Le format est yyyyMMddHHmmss. Par exemple, si vous configurez "minLastModified": "20250101000000", seuls les fichiers modifiés le 1er janvier 2025 à 00:00:00 ou après cette date sont lus, et les fichiers antérieurs sont filtrés. Vous pouvez utiliser ce paramètre conjointement avec maxLastModified pour former un intervalle [min, max) fermé à gauche et ouvert à droite.

Non

S.O.

maxLastModified

Synchronise uniquement les fichiers dont l'heure de dernière modification est antérieure à l'heure spécifiée. Le format est yyyyMMddHHmmss. Par exemple, si vous définissez "maxLastModified": "20250102000000", seuls les fichiers modifiés avant le 2 janvier 2025 à 00:00:00 sont lus. Les fichiers modifiés exactement à cette heure sont exclus (intervalle ouvert à droite). Vous pouvez utiliser ce paramètre conjointement avec minLastModified pour définir un intervalle [min, max) fermé à gauche et ouvert à droite.

Non

S.O.

Paramètre

Description

Obligatoire

Valeur par défaut

datasource

Nom de la source de données. Vous pouvez ajouter une source de données en mode script. La valeur de ce paramètre doit correspondre au nom de la source de données que vous avez ajoutée.

Oui

N/A

object

Nom du fichier dans lequel OSS Writer écrit les données. OSS utilise les noms de fichiers pour simuler une structure de répertoires. OSS impose les limites suivantes sur les noms d'objets :

• Si vous utilisez "object": "datax", le nom de l'objet écrit commence par datax, suivi d'un suffixe de chaîne aléatoire.

• Si vous utilisez "object": "cdo/datax", le nom de l'objet écrit commence par /cdo/datax, suivi d'un suffixe de chaîne aléatoire. OSS utilise une barre oblique (/) comme séparateur de répertoire.

Si vous ne souhaitez pas de suffixe UUID aléatoire, nous vous recommandons de définir "writeSingleObject" : "true". Pour plus d'informations, consultez la description du paramètre writeSingleObject.

Oui

N/A

ossBlockSize

Taille des blocs pour les téléchargements multiparties OSS. La taille de bloc par défaut est de 16 Mo. Lorsque le format de fichier est parquet ou ORC, vous pouvez configurer ce paramètre au même niveau que le paramètre object.

Les téléchargements multiparties OSS prennent en charge un maximum de 10 000 parties. Avec la taille de bloc par défaut, la taille maximale du fichier est de 160 Go. Si le nombre de parties dépasse la limite, vous pouvez augmenter la taille du bloc pour prendre en charge le téléchargement de fichiers plus volumineux.

Non

16

writeMode

Spécifie la manière dont OSS Writer gère les données existantes avant l'écriture :

• truncate : Avant l'écriture, efface tous les objets dont les noms correspondent au préfixe spécifié. Par exemple, si vous définissez "object":"abc", tous les objets dont les noms commencent par abc sont effacés.

• append : Aucun traitement n'est effectué avant l'écriture. OSS Writer de Data Integration écrit les données directement en utilisant le nom de l'objet et ajoute un suffixe UUID aléatoire pour garantir l'unicité des noms de fichiers. Par exemple, si vous spécifiez le nom de l'objet comme DI, le nom réel de l'objet écrit est DI_**__**.

• nonConflict : Si un objet avec un préfixe correspondant existe déjà au chemin spécifié, une erreur est renvoyée. Par exemple, si vous définissez "object":"abc" et qu'un objet nommé abc123 existe, une erreur est renvoyée.

Oui

Aucune

writeSingleObject

Indique s'il faut écrire les données dans un seul fichier lors de l'écriture dans OSS :

• true : Écrit les données dans un seul fichier. Si aucune donnée n'est lue, aucun fichier vide n'est généré.

• false : Écrit les données dans plusieurs fichiers. Si aucune donnée n'est lue et qu'un en-tête de fichier est configuré, un fichier vide contenant uniquement l'en-tête est généré. Sinon, seul un fichier vide est généré.

Non

false

fileFormat

Format du fichier de sortie. Les formats suivants sont pris en charge :

• csv : Seul le format csv strict est pris en charge. Si les données à écrire contiennent des délimiteurs de colonne, les données sont échappées selon la syntaxe d'échappement csv. Le caractère d'échappement est le guillemet double (").

• text : Les données à écrire sont simplement séparées par des délimiteurs de colonne. Si les données à écrire contiennent des délimiteurs de colonne, aucun échappement n'est effectué.

• parquet : Si vous utilisez ce type de fichier, vous devez ajouter le paramètre parquetSchema pour définir les types de données.

  Important

  • Pour écrire des données au format Parquet, vous devez basculer en mode script et configurer parquetSchema. Pour des exemples de configuration, consultez la section Annexe : exemples de scripts et description des paramètres.

  • Si vous ne configurez pas parquetSchema, DataWorks convertit automatiquement les types de données en fonction des types de champs sources selon une stratégie spécifique. Pour plus d'informations sur la stratégie de conversion, consultez la section Annexe : stratégie de conversion des types de données Parquet.

• ORC : Si vous utilisez ce format, vous devez basculer en mode script.

• json, jsonl : Les données sont écrites au format JSON.

Non

text

compress

Format de compression des fichiers de données écrits dans OSS. Vous devez configurer ce paramètre en mode script.

Non

Aucune

fieldDelimiter

Délimiteur de champ pour l'écriture.

Non

,

encoding

Configuration de l'encodage pour le fichier de sortie.

Non

utf-8

parquetSchema

Obligatoire lors de l'écriture dans OSS au format de fichier Parquet. Ce paramètre décrit le schéma du fichier de destination et ne prend effet que lorsque fileFormat est défini sur parquet. Le format est le suivant.

message MessageTypeName {
required_or_optional, data_type, column_name;
......................;
}

Les éléments de configuration sont décrits comme suit :

• Nom MessageType : Saisissez un nom.

• Obligatoire ou non : required indique que le champ ne peut pas être nul, et optional indique que le champ peut être nul. Nous vous recommandons de définir tous les champs sur optional.

• Type de données : Les fichiers Parquet prennent en charge les types suivants : BOOLEAN, INT32, INT64, INT96, FLOAT, DOUBLE, BINARY (utilisez BINARY pour les types de chaîne) et FIXED_LEN_BYTE_ARRAY.

Exemple :

message m {
optional int64 id;
optional int64 date_id;
optional binary datetimestring;
optional int32 dspId;
optional int32 advertiserId;
optional int32 status;
optional int64 bidding_req_num;
optional int64 imp;
optional int64 click_num;
}

Non

Aucune

nullFormat

Les chaînes standard ne peuvent pas être utilisées pour définir null (pointeur nul) dans les fichiers texte. Le système de synchronisation des données fournit nullFormat pour définir une chaîne représentant null. Par exemple, si vous définissez nullFormat="null" et que la source de données est null, le système de synchronisation des données la traite comme un champ nul.

Non

Aucune

header

Ligne d'en-tête lors de l'écriture dans OSS. Exemple : ["id", "name", "age"].

Non

Aucune

maxFileSize (configuration avancée, non prise en charge dans l'interface sans code)

Taille maximale d'un seul fichier objet écrit dans OSS. La valeur par défaut est de 10 000 × 10 Mo. Cela ressemble au contrôle de la taille des fichiers journaux lors de l'impression des journaux log4j. Lors du téléchargement multipartie OSS, chaque partie fait 10 Mo (ce qui est également la granularité minimale pour la rotation des journaux, ce qui signifie que toute valeur maxFileSize inférieure à 10 Mo est traitée comme 10 Mo). Chaque requête OSS InitiateMultipartUploadRequest prend en charge un maximum de 10 000 parties.

Lorsqu'une rotation se produit, le nom de l'objet est généré en ajoutant des suffixes tels que _1,_2,_3 au préfixe d'objet original avec une chaîne aléatoire basée sur un UUID.

Non

100 000

suffix (configuration avancée, non prise en charge dans l'interface sans code)

Suffixe ajouté au nom de fichier généré lors de l'écriture de la synchronisation des données. Par exemple, si vous définissez suffix sur .csv, le nom de fichier final est fileName****.csv.

Non

Aucun