LLM-Text Normalization (DLC) コンポーネントは、Unicode テキストを正規化し、繁体字中国語を簡体字中国語に変換します。入力の OSS データファイルは JSONL フォーマットである必要があります (例)。JSONL ファイルでは、各行は有効な JSON オブジェクトですが、ファイル全体としては有効な JSON オブジェクトではありません。
サポートされる計算リソース
アルゴリズムの説明
LLM-Text Normalization コンポーネントは、次の特徴をサポートしています：
-
NFKC メソッドを使用して Unicode テキストを正規化します。
ftfy.fix_text(text, normalization='NFKC') -
繁体字中国語を簡体字中国語に変換します。
変換には
openccパッケージを使用します。
次の表に、処理結果を示します。
|
処理前 データテーブルの列 A は `text` 型です。これには、エンコーディングの異常があり、繁体字中国語と簡体字中国語が混在する 6 行のテキストデータが含まれています。 |
処理後 この列は `text` 型で、6 行の結果が含まれています。`✔ No problems` や `The Mona Lisa doesn't have eyebrows.` などの英語テキストや特殊文字は変更されません。繁体字中国語の文字は簡体字中国語に変換されます。例えば、`These are a few traditional characters that will be converted to simplified characters` のようになります。この変換は、簡体字中国語、英語、数字、特殊文字を含む混合テキストの繁体字中国語部分にも適用されます。 |
コンポーネントの設定
Designer でワークフローに [LLM-Text Normalization (DLC)] コンポーネントを追加し、右側のペインでパラメーターを設定できます。
|
パラメータータイプ |
パラメーター |
必須 |
説明 |
デフォルト値 |
|
|
フィールド設定 |
処理対象フィールド |
はい |
処理するフィールドの名前。 |
なし |
|
|
Unicode テキストの正規化 (NFKC) |
いいえ |
NFKC メソッドを使用して Unicode テキストを正規化するかどうかを指定します。 |
選択済み |
||
|
繁体字中国語から簡体字中国語への変換 |
いいえ |
繁体字中国語を簡体字中国語に変換するかどうかを指定します。 |
選択済み |
||
|
データ用の OSS 出力ディレクトリ |
いいえ |
処理済みデータの OSS ストレージディレクトリ。空のままにすると、ワークスペースのデフォルトパスが使用されます。 |
なし |
||
|
実行チューニング |
プロセス数 |
いいえ |
使用するプロセス数。 |
8 |
|
|
リソースグループの選択 |
パブリックリソースグループ |
いいえ |
ノードスペック (CPU または GPU アクセラレーションインスタンスのスペック)、ノード数、VPC を選択します。 |
なし |
|
|
専用リソースグループ |
いいえ |
CPU コア数、メモリ、共有メモリ、GPU 数、ノード数を選択します。 |
なし |
||
|
最大ランタイム |
いいえ |
コンポーネントの最大ランタイム。ランタイムがこの値を超えると、ジョブは終了します。 |
なし |
||