DataWorks:OpenSearch

Éditions et versions prises en charge

OpenSearch Writer prend en charge les éditions commerciales suivantes d'Alibaba Cloud OpenSearch :

• Industry Algorithm Edition

• LLM-based AI Chat Edition

• High-performance Search Edition

• Vector Search Edition

• Retrieval Engine Edition

Remarques sur les versions :

• La version 3 utilise un package tiers. Ajoutez la dépendance Maven suivante : com.aliyun.opensearch:aliyun-sdk-opensearch:2.1.3.

• OpenSearch Writer nécessite JDK 1.6-32 ou une version ultérieure. Exécutez java -version pour vérifier la version installée.

Limitations

• OpenSearch Writer est compatible avec les groupes de ressources serverless (recommandés) et les groupes de ressources exclusifs pour Data Integration. Les groupes de ressources personnalisés ne sont pas pris en charge.

• Les colonnes dans OpenSearch ne sont pas ordonnées. Spécifiez explicitement l'ordre des colonnes lors de l'écriture des données. Les colonnes non spécifiées reçoivent leurs valeurs par défaut ou la valeur null.

• Écrivez les données hors ligne dans OpenSearch uniquement en mode code editor.

• OpenSearch Writer valide le nombre de colonnes. Une erreur est renvoyée si vous tentez d'écrire plus de colonnes que celles présentes dans la table de destination.

• Chaque tâche permet d'écrire des données dans une seule table. L'écriture dans plusieurs tables au sein d'une même tâche n'est pas prise en charge.

• Lors de la réexécution d'une tâche, les enregistrements existants sont écrasés en fonction de l'ID du document. La liste des colonnes doit inclure une colonne ID servant d'identifiant unique.

Types de champs pris en charge

OpenSearch Writer prend en charge les correspondances de types de données OpenSearch suivantes.

Modes d'écriture

Utilisez le paramètre writeMode pour contrôler la manière dont les données sont écrites et garantir l'idempotence des écritures.

Considérations relatives aux performances

OpenSearch est optimisé pour les requêtes, pas pour les écritures. Le nombre de transactions par seconde (TPS) pour les opérations d'écriture est limité.

• En règle générale, un enregistrement de données unique est inférieur à 1 Mo.

• En règle générale, une écriture par lot unique est inférieure à 2 Mo.

• Définissez le paramètre batchSize en fonction des ressources allouées à votre compte. La valeur par défaut est de 300 enregistrements par lot.

Configurer une tâche de synchronisation de données

Configurez OpenSearch Writer en mode code editor. Pour la procédure générale, consultez la rubrique Configuration en mode éditeur de code.

Les sections suivantes fournissent des exemples de code et des références de paramètres pour chaque groupe d'éditions pris en charge.

{
    "type": "job",
    "version": "1.0",
    "configuration": {
        "reader": {},
        "writer": {
            "plugin": "opensearch",
            "parameter": {
                "accessId": "<your-access-key-id>",
                "accessKey": "<your-access-key-secret>",
                "host": "http://yyyy.aliyuncs.com",
                "endpoint": "http://yyyy.aliyuncs.com",
                "indexName": "datax_xxx",
                "table": "datax_yyy",
                "column": [
                    "appkey",
                    "id",
                    "title",
                    "gmt_create",
                    "pic_default"
                ],
                "batchSize": 500,
                "writeMode": "add",
                "version": "v2",
                "ignoreWriteError": false
            }
        }
    }
}

{
    "stepType": "opensearch",
    "parameter": {
        "indexName": "<your-index-name>",
        "datasource": "<your-datasource-name>",
        "table": "<your-table-name>",
        "column": [
            {
                "name": "col3double",
                "type": "DOUBLE"
            },
            {
                "name": "col2vector",
                "type": "MULTI_FLOAT"
            }
        ],
        "batchSize": "500"
    },
    "name": "Writer",
    "category": "writer"
}

Étapes suivantes

• Configuration en mode éditeur de code

• Groupes de ressources serverless

• Groupes de ressources exclusifs pour Data Integration