E-MapReduce:Stream Load

Syntaxe

curl --location-trusted -u <username>:<password> \
     -H "Expect:100-continue" \
     -XPUT <url> \
     (data_desc) \
     [opt_properties]

Incluez l'en-tête Expect:100-continue dans votre requête. Cela évite un transfert de données inutile si le serveur rejette la tâche avant l'envoi du corps de la requête.

URL

http://<fe_host>:<fe_http_port>/api/<database_name>/<table_name>/_stream_load

Paramètres des données sources

Le bloc data_desc décrit le fichier source et contrôle la manière dont StarRocks mappe et filtre les données.

Options de tâche de chargement

Les opt_properties sont des paramètres optionnels qui s'appliquent à l'ensemble de la tâche de chargement.

-H "label: <label_name>"
-H "where: <condition>"
-H "max_filter_ratio: <num>"
-H "timeout: <num>"
-H "strict_mode: true | false"
-H "timezone: <string>"
-H "load_mem_limit: <num>"
-H "partial_update: true | false"
-H "partial_update_mode: row | column"
-H "merge_condition: <column_name>"

Dans SQL StarRocks, les mots clés réservés doivent être entourés d'accents graves. Consultez Keywords .

{
    "TxnId": 9,
    "Label": "label2",
    "Status": "Success",
    "Message": "OK",
    "NumberTotalRows": 4,
    "NumberLoadedRows": 4,
    "NumberFilteredRows": 0,
    "NumberUnselectedRows": 0,
    "LoadBytes": 45,
    "LoadTimeMs": 235,
    "BeginTxnTimeMs": 101,
    "StreamLoadPlanTimeMs": 102,
    "ReadDataTimeMs": 0,
    "WriteDataTimeMs": 11,
    "CommitAndPublishTimeMs": 19
}

Statut du chargement

Vérifier les détails des erreurs

Lorsque Status est Fail, utilisez ErrorURL pour récupérer les détails concernant les lignes filtrées :

# View error rows directly
curl "<ErrorURL>"

# Save error rows to a local file
wget "<ErrorURL>"

Exemple :

wget "http://172.17.**.**:18040/api/_load_error_log?file=error_log_b74dccdcf0ceb4de_e82b2709c6c013ad"

Charger des données CSV

Cet exemple charge data.csv dans example_table de la base de données load_test :

curl --location-trusted -u "root:" \
     -H "Expect:100-continue" \
     -H "label:label2" \
     -H "column_separator:," \
     -T data.csv -XPUT \
     http://172.17.**.**:18030/api/load_test/example_table/_stream_load

Charger des données JSON

Cet exemple charge des enregistrements JSON depuis json.data :

curl --location-trusted -u "root:" \
     -H "Expect:100-continue" \
     -H "label:label2" \
     -H "format:json" \
     -T json.data -XPUT \
     http://172.17.**.**:18030/api/load_test/example_table/_stream_load

Définir la tolérance aux erreurs

Pour autoriser jusqu'à 20 % des lignes à être filtrées en raison de problèmes de qualité des données :

curl --location-trusted -u "root:" \
     -H "Expect:100-continue" \
     -H "label:label3" \
     -H "column_separator:," \
     -H "max_filter_ratio:0.2" \
     -T data.csv -XPUT \
     http://172.17.**.**:18030/api/load_test/example_table/_stream_load

Filtrer les lignes par condition

Pour charger uniquement les lignes où k1 = 20180601 :

curl --location-trusted -u "root:" \
     -H "Expect:100-continue" \
     -H "label:label4" \
     -H "column_separator:," \
     -H "where:k1 = 20180601" \
     -T data.csv -XPUT \
     http://172.17.**.**:18030/api/load_test/example_table/_stream_load

Configurer le mappage des colonnes

Lorsque l'ordre des colonnes du fichier source ne correspond pas au schéma de la table, utilisez le paramètre columns pour spécifier le mappage.

Exemple 1 : La table possède les colonnes c1, c2, c3. Les colonnes du fichier source sont dans l'ordre c3, c2, c1 :

curl --location-trusted -u "root:" \
     -H "Expect:100-continue" \
     -H "label:label5" \
     -H "column_separator:," \
     -H "columns:c3, c2, c1" \
     -T data.csv -XPUT \
     http://172.17.**.**:18030/api/load_test/example_table/_stream_load

Exemple 2 : Le fichier source contient une colonne supplémentaire qui n'existe pas dans la table. Utilisez un espace réservé pour la colonne supplémentaire :

curl --location-trusted -u "root:" \
     -H "Expect:100-continue" \
     -H "label:label6" \
     -H "column_separator:," \
     -H "columns:c1, c2, c3, temp" \
     -T data.csv -XPUT \
     http://172.17.**.**:18030/api/load_test/example_table/_stream_load

Exemple 3 : La table possède les colonnes year, month, day. Le fichier source contient une seule colonne d'horodatage au format 2018-06-01 01:02:03. Utilisez des expressions de colonnes dérivées :

curl --location-trusted -u "root:" \
     -H "Expect:100-continue" \
     -H "label:label7" \
     -H "column_separator:," \
     -H "columns:col, year=year(col), month=month(col), day=day(col)" \
     -T data.csv -XPUT \
     http://172.17.**.**:18030/api/load_test/example_table/_stream_load

Charger des données compressées

Pour charger un fichier JSON compressé en LZ4 :

curl --location-trusted -u "root:" \
     -H "Expect:100-continue" \
     -H "label:label8" \
     -H "format:json" \
     -H "compression:lz4_frame" \
     -T data.json.lz4 -XPUT \
     http://172.17.**.**:18030/api/load_test/example_table/_stream_load

Étape 1 : Créer la table cible

1. Connectez-vous au nœud maître du cluster StarRocks via SSH. Pour plus de détails, consultez Se connecter à un cluster.

2. Connectez-vous au cluster StarRocks à l'aide d'un client MySQL :

   mysql -h127.0.0.1 -P 9030 -uroot

3. Créez la base de données et la table :

   CREATE DATABASE IF NOT EXISTS load_test;
   USE load_test;
   
   CREATE TABLE IF NOT EXISTS example_table (
       id INT,
       name VARCHAR(50),
       age INT
   )
   DUPLICATE KEY(id)
   DISTRIBUTED BY HASH(id) BUCKETS 3
   PROPERTIES (
       "replication_num" = "1"  -- Set the number of replicas to 1.
   );

   Appuyez sur Ctrl+D pour quitter le client MySQL.

Étape 2 : Préparer les données sources

id,name,age
1,Alice,25
2,Bob,30
3,Charlie,35

{"id":1,"name":"Emily","age":25}
{"id":2,"name":"Benjamin","age":35}
{"id":3,"name":"Olivia","age":28}
{"id":4,"name":"Alexander","age":60}
{"id":5,"name":"Ava","age":17}

Étape 3 : Exécuter la tâche de chargement

curl --location-trusted -u "root:" \
     -H "Expect:100-continue" \
     -H "label:label1" \
     -H "column_separator:," \
     -T data.csv -XPUT \
     http://172.17.**.**:18030/api/load_test/example_table/_stream_load

curl --location-trusted -u "root:" \
     -H "Expect:100-continue" \
     -H "label:label2" \
     -H "format:json" \
     -T json.data -XPUT \
     http://172.17.**.**:18030/api/load_test/example_table/_stream_load