OpenSearch:Envoyer des documents par lots

OpenSearch LLM-Based Conversational Search Edition vous permet d'envoyer des documents par lots via une API.

{host}/v3/openapi/apps/[app_group_identity]/actions/knowledge-bulk

Exemples de requêtes

1. Charger un document dans la table principale

['{
    "cmd": "ADD",
    "fields": {
      "id": "13579",
      "title": "Something interesting",
      "url": "https://www.aliyun.com",
      "content": "No, is not."
      }
}']

Charger un document non structuré (PDF, DOC, TXT ou HTML)

['{
    "cmd" : "URL/BASE64",
    "fields": {
      "id": "Document ID (optional)",
      "type": "File type, such as pdf, doc, txt, or html",
      "title": "File name (optional)",
      "content": "URL or Base64-encoded data",
      "url": "Link (optional)"
    }
 }']

2. Charger un document dans une table personnalisée

['{
    "cmd" : "ADD",
    "fields": {					# The data object. Define fields based on the table schema.
      "key1": "value1",
      "key2": "value2",
      "key3": "value3"
    },
    "table_name": "custom_table_name"	# The table name. If left empty, the operation is performed on the main table.
  }']

3. Supprimer un document

['{
    "cmd" : "DELETE",
    "fields": {
      "id": "13579333"
    }
}']

• cmd : obligatoire. Spécifie l'action à effectuer sur le document. Les valeurs valides sont ADD et DELETE. Nous recommandons de regrouper plusieurs opérations dans une seule requête afin d'améliorer l'efficacité du réseau et du traitement. L'opération ADD crée un nouveau document ou écrase un document existant ayant la même clé primaire. L'opération DELETE supprime un document. L'opération est considérée comme réussie même si le document spécifié n'existe pas.

• fields : obligatoire. Les champs du document. La clé primaire est toujours requise. Pour une action DELETE, seule la clé primaire du document est nécessaire.

• Remarque : le corps de la requête doit être un tableau JSON pour prendre en charge les opérations par lot sur plusieurs documents.

{
  "request_id" : "abc123-ABC",
  "result" : {
    "total": 100,
    "success": 50,
    "failure": 50,
    "failed_ids": [
      "id1",
      "id2",
      "id3",
      "..."
    ]
  }
  "errors" : [
    {
      "code" : "The error code, if an error occurred.",
      "message" : "The error message, if an error occurred."
    }
  ]
}

Remarques

• Les noms de champs ne sont pas sensibles à la casse lorsque vous envoyez des données via l'API ou un SDK.

• L'envoi de données via l'API ou un SDK est soumis à des limites de fréquence et de taille. La limite de taille de chargement ne peut pas être modifiée. Les limites varient selon l'application. Pour plus d'informations, consultez la rubrique Limites.

• Pour éviter toute perte de données, vérifiez la réponse après chaque chargement et réessayez les requêtes qui échouent avec des codes d'erreur spécifiques, en particulier 3007. Le traitement des données est asynchrone. Une réponse OK indique uniquement que le système a bien reçu les données. Les erreurs de traitement des données s'affichent dans la console. Vérifiez régulièrement la présence de messages d'erreur.

• Le corps de la requête POST ne peut pas dépasser 2 Mo avant encodage. Le serveur rejette les requêtes dépassant cette limite.

• Si le corps de la requête d'une opération POST contient des caractères chinois, il doit être encodé en UTF-8. De même, la valeur de l'en-tête Content-MD5 doit être calculée à partir des données encodées en UTF-8. Sinon, l'opération d'envoi échouera.

• Si un appel d'API renvoie le code d'erreur 4016, l'utilisateur RAM ne dispose pas d'autorisations suffisantes. Accordez l'autorisation AliyunOpenSearchFullAccess à l'utilisateur RAM. Pour obtenir des instructions, consultez la rubrique Accorder des autorisations à un utilisateur RAM.