テキスト分析のための単語頻度統計の構成方法の設定手順 - PAI - Alibaba Cloud - Platform For AI

単語頻度統計は、単語の出現回数を数えることでテキストを数値的特徴に変換するテキスト分析手法です。この結果は、テキスト分類、クラスタリング、情報検索など、後続の自然言語処理タスクにおける特徴抽出の基礎データを提供します。

アルゴリズム

単語頻度とは、特定のコーパス内での単語の出現回数のことで、テキスト内での単語の重要性を測定するのに役立ちます。単語頻度を計算するために、コンポーネントはまずドキュメント内容 (docContent) を単語単位でトークン化します。次に、各ドキュメントについて、コンポーネントはそのドキュメント ID (docId) と関連する単語データを入力順序で出力します。最後に、そのドキュメント内の各単語の出現回数を数えます。このプロセスにより、テキストの語彙構造が明らかになり、テキスト分類、トピックモデリング、情報検索などの後続のテキスト分析タスクに役立ちます。

入力と出力

入力ポート

単語分割

出力ポート

コンポーネント設定

方法 1：Designer

Designer のパイプラインページで、[単語頻度統計] コンポーネントを追加し、右側のペインでそのパラメーターを設定します。

パラメーターグループ	パラメーター	説明
フィールド設定	ドキュメント ID 列	ドキュメント ID 列 (`docId`) を選択します。
フィールド設定	ドキュメント内容列	ドキュメント内容列 (`docContent`) を選択します。この列のテキストはトークン化され、単語頻度の計算に使用されます。
チューニング	コア数	ジョブのコア数です。
チューニング	コアあたりのメモリサイズ	各コアに割り当てられるメモリです。単位は MB です。

方法 2：PAI コマンド

[単語頻度統計] コンポーネントは、SQL スクリプトコンポーネントで PAI コマンドを実行して設定することもできます。詳細については、「SQL スクリプトコンポーネントで PAI コマンドを実行」をご参照ください。

pai -name doc_word_stat
    -project algo_public
    -DinputTableName=tdl_doc_test_split_word
    -DdocId=docid
    -DdocContent=content
    -DoutputTableNameMulti=doc_test_stat_multi
    -DoutputTableNameTriple=doc_test_stat_triple
    -DinputTablePartitions="region=cctv_news"
    -Dlifecycle=7

パラメーター	必須	デフォルト	説明
inputTableName	はい	なし	入力テーブルの名前。
docId	はい	なし	ドキュメント ID 列の名前。1 つの列のみ指定できます。
docContent	はい	なし	ドキュメント内容列の名前。1 つの列のみ指定できます。
outputTableNameMulti	はい	なし	トークン化された単語を元の順序で格納する出力テーブルの名前。このテーブルには、ドキュメント ID (`docId` 列から) と対応するトークン化されたデータが含まれます。単語は、元のドキュメントに出現する順序でリストされます。
outputTableNameTriple	いいえ	なし	単語頻度カウント用の出力テーブルの名前。出力は、ドキュメント ID、単語、およびその頻度カウントを含むトリプル形式になります。
inputTablePartitions	いいえ	すべてのパーティション	処理対象の入力テーブルのパーティション。次の形式に対応しています： partition_name=value name1=value1/name2=value2：複数レベルのパーティション説明複数のパーティション値を指定するには、カンマで区切ります (例： `name1=value1,value2`)。
lifecycle	いいえ	-1	出力テーブルのライフサイクル (日数)。値には正の整数を指定する必要があります。-1 の値は、テーブルが永続的であることを示します。