文の分割 コンポーネントは、句読点を使用してドキュメントテキストを個々の文に分割します。これは、ビジュアルモデリング パイプラインでテキスト要約を実行する前に、テキストを前処理するために使用します。
コンポーネントの構成
ビジュアルモデリング (旧 Machine Learning Studio) は、2つの構成方法をサポートしています。
方法 1: パイプラインページでの構成
[フィールド設定] タブで、入力カラムとデリミタを設定します。[チューニング] タブで、必要に応じて計算リソースを調整します。
フィールド設定タブ
| パラメーター | 説明 |
|---|---|
| マークされたドキュメント ID の列 | 入力テーブル内のドキュメント ID 列の名前。 |
| マークされたドキュメントコンテンツ列 | 入力テーブル内のドキュメントコンテンツ列の名前。 |
| 文デリミタセット | 文の境界をマークする句読点文字。デフォルトはピリオド (.)、感嘆符 (!)、および疑問符 (?) です。 |
[Tuning] タブ
| パラメーター | 説明 |
|---|---|
| コア | 処理に使用するコアの数。デフォルトはシステムによって決定されます。 |
| コアあたりのメモリサイズ | 各コアに割り当てられるメモリ。デフォルトはシステムによって決定されます。 |
方法 2: PAI コマンドの実行
SQL Script コンポーネントを介して PAI コマンドを送信します。SQL Script コンポーネントの設定の詳細については、「SQL Script」をご参照ください。
PAI -name SplitSentences
-project algo_public
-DinputTableName="test_input"
-DoutputTableName="test_output"
-DdocIdCol="doc_id"
-DdocContent="content"
-Dlifecycle=30パラメーター
| パラメーター | 必須 | 説明 | デフォルト |
|---|---|---|---|
inputTableName | はい | 入力テーブルの名前。 | — |
inputTablePartitions | いいえ | 処理に使用する入力テーブルのパーティション。 | すべてのパーティション |
outputTableName | はい | 出力テーブルの名前。 | — |
docIdCol | はい | ドキュメント ID 列の名前。 | — |
docContent | はい | ドキュメントコンテンツ列の名前。単一の列のみを受け入れます。 | — |
delimiter | いいえ | 文の境界をマークする句読点文字。 | ピリオド (.)、感嘆符 (!)、および疑問符 (?) |
lifecycle | いいえ | 入力テーブルと出力テーブルのライフサイクル。 | — |
coreNum | いいえ | 処理に使用するコアの数。 | システムによって決定されます |
memSizePerCore | いいえ | 各コアに割り当てられるメモリ。 | システムによって決定されます |
例
次の例は、コンポーネントがドキュメントを個々の文に分割する方法を示しています。
入力ドキュメント (doc_id = 1000894) には、ピリオドで区切られた2つの文が含まれています。処理後、出力テーブルには文ごとに1つの行が含まれます。
| doc_id | 文 |
|---|---|
| 1000894 | 2008年、上海証券取引所は、上場企業の企業の社会的責任 (CSR) に関する開示ガイドラインを公開しました。3種類の企業が CSR レポートの開示を求められ、その他の適格な上場企業は自発的に CSR レポートを開示するよう奨励されました。 |
| 1000894 | 2012年には、合計379社の上場企業が CSR レポートを開示し、これは全上場企業の40%を占めました。これらの企業のうち、305社は CSR レポートの開示が義務付けられており、74社は自発的に CSR レポートを開示しました。 |
出力テーブルには、doc_id と sentence の2つの列が含まれます。