Tous les produits
Search

Ce produit

    Platform For AI:Split Word (Generate Model)

    Centre de documentation

    Platform For AI:Split Word (Generate Model)

    Dernière mise à jour :Aug 09, 2026

    Le composant Split Word (Generate Model) entraîne un modèle de segmentation de mots chinois en s'appuyant sur le système d'analyse lexicale Alibaba Word Segmenter (AliWS). Contrairement au composant Split Word, qui segmente directement le texte, ce composant génère un modèle déployable. Déployez-le avant d'exécuter des prédictions en ligne ou hors ligne.

    Utilisez ce composant lorsque vous avez besoin d'un modèle de segmentation réutilisable pour des inférences répétées, des appels API en ligne ou des prédictions par lot hors ligne.

    Fonctionnement

    1. Configurez les paramètres du composant et fournissez éventuellement un dictionnaire personnalisé.

    2. Exécutez le composant pour générer un modèle de segmentation de mots hors ligne.

    3. Déployez le modèle en tant que modèle en ligne.

    4. Effectuez les prédictions, soit via l'API en ligne, soit par segmentation par lot hors ligne.

    Démarrage rapide

    Le seul paramètre obligatoire est outputModelName. Exécutez la commande PAI suivante dans le composant SQL Script pour générer un modèle avec les paramètres par défaut :

    pai -name split_word_model
    -project algo_public
    -DoutputModelName=aliws_model

    Déployez ensuite le modèle et effectuez les prédictions :

    -- Deploy the model
create onlinemodel ning_test_aliws_model_2 -offlinemodelName ning_test_aliws_model -instanceNum 1 -cpu 100 -memory 4096;
    // Online prediction (Java)
KVJsonRequest request = new KVJsonRequest();
Map<String, JsonFeatureValue> row = request.addRow();
row.put(col_name, new JsonFeatureValue("The big data algorithm platform is a new platform"));
KVJsonResponse res = predictClient.syncPredict(new JsonPredictRequest(project_name, model_name, request));
List<ResponseItem> ri = res.getOutputs();
for (ResponseItem item : ri) {
    System.out.println(item.getOutputLabel());
}
    -- Offline batch segmentation
pai -name prediction
    -DmodelName=ning_test_aliws_model
    -DinputTableName=ning_test_aliws
    -DoutputTableName=ning_test_aliws_offline_predict;

    Configuration du composant

    Configurez le composant à l'aide de l'interface graphique Designer ou des commandes PAI.

    • Interface graphique — adaptée à l'exploration interactive et à la génération ponctuelle de modèles.

    • Commandes PAI — adaptées à l'automatisation, à la reproductibilité et à l'intégration dans des pipelines via le composant SQL Script.

    Méthode 1 : Utiliser l'interface graphique

    Sur la page de flux de travail Designer, configurez le composant via trois onglets.

    Fields Setting tab

    Parameter Description
    Selected field column Colonne de champ utilisée pour générer le modèle

    Parameters Setting tab

    Parameter Description Default
    Recognized options Types d'entités à détecter. Options : Detect simple entities, Detect person names, Detect organization names, Detect phone numbers, Time detected, Detection date, Detect numbers and letters Detect simple entities, Detect phone numbers, Detect time, Detect dates et Detect numbers and letters
    Merge options Types de jetons à fusionner en une seule unité de recherche. Options : Merge Chinese numerals, Merge Arabic numerals, Merge Chinese dates, Merge Chinese time Merge Arabic numerals
    Tokenizer Domaine de segmentation. TAOBAO_CHN est optimisé pour les listes de produits et les textes e-commerce ; INTERNET_CHN convient au contenu web général. TAOBAO_CHN
    POS tagger Indique s'il faut effectuer un étiquetage morphosyntaxique (POS) Disabled
    Semantic tagger Indique s'il faut effectuer un étiquetage sémantique Disabled
    Filter out words that contain only numbers Indique s'il faut exclure des résultats les jetons ne contenant que des chiffres Disabled
    Filter out words that contain only English letters Indique s'il faut exclure des résultats les jetons ne contenant que des lettres anglaises Disabled
    Filter out words that contain only punctuation marks Indique s'il faut exclure des résultats les jetons ne contenant que des signes de ponctuation Disabled

    Execution Tuning tab

    Parameter Default
    Number of cores Attribué par le système
    Memory per core Attribué par le système

    Méthode 2 : Utiliser les commandes PAI

    Exécutez les commandes PAI dans le composant SQL Script. Tous les paramètres, à l'exception de outputModelName, sont facultatifs.

    pai -name split_word_model
    -project algo_public
    -DoutputModelName=aliws_model
    -DcolName=content
    -Dtokenizer=TAOBAO_CHN
    -DenableDfa=true
    -DenablePersonNameTagger=false
    -DenableOrgnizationTagger=false
    -DenablePosTagger=false
    -DenableTelephoneRetrievalUnit=true
    -DenableTimeRetrievalUnit=true
    -DenableDateRetrievalUnit=true
    -DenableNumberLetterRetrievalUnit=true
    -DenableChnNumMerge=false
    -DenableNumMerge=true
    -DenableChnTimeMerge=false
    -DenableChnDateMerge=false
    -DenableSemanticTagger=true
    Parameter Required Description Default
    outputModelName Yes Nom du modèle de sortie —
    colName No Nom de la colonne contenant le texte à prédire context
    userDictTableName No Nom de la table de dictionnaire personnalisé. La table doit comporter une seule colonne, avec un mot par ligne. —
    dictTableName No Nom de la table de dictionnaire personnalisé. La table doit comporter une seule colonne, avec un mot par ligne. —
    tokenizer No Domaine de segmentation. TAOBAO_CHN pour les textes e-commerce et les produits ; INTERNET_CHN pour le contenu web général. TAOBAO_CHN
    enableDfa No Détecter les entités simples true
    enablePersonNameTagger No Détecter les noms de personnes false
    enableOrgnizationTagger No Détecter les noms d'organisations false
    enablePosTagger No Effectuer un étiquetage morphosyntaxique false
    enableTelephoneRetrievalUnit No Détecter les numéros de téléphone true
    enableTimeRetrievalUnit No Détecter les expressions temporelles true
    enableDateRetrievalUnit No Détecter les expressions de date true
    enableNumberLetterRetrievalUnit No Détecter les chiffres et les lettres true
    enableChnNumMerge No Fusionner les numéraux chinois en une seule unité de recherche false
    enableNumMerge No Fusionner les numéraux arabes en une seule unité de recherche true
    enableChnTimeMerge No Fusionner les expressions temporelles chinoises en une unité sémantique false
    enableChnDateMerge No Fusionner les expressions de date chinoises en une unité sémantique false
    enableSemanticTagger No Effectuer un étiquetage sémantique false

    Pour plus d'informations sur le composant SQL Script, consultez la rubrique SQL Script.