Platform For AI:テキスト要約

コンポーネント設定

コンポーネントパラメーターは、次のいずれかの方法で設定できます。

方法 1: GUI の使用

方法 2: PAI コマンドの使用

PAI -name TextSummarization
    -project algo_public
    -DinputTableName="test_input"
    -DoutputTableName="test_output"
    -DdocIdCol="doc_id"
    -DsentenceCol="sentence"
    -DtopN=2
    -Dlifecycle=30;

例

1. 入力テーブル `test_input` を準備します。次の表にサンプルデータを示します。

   MaxCompute クライアントを使用してテーブルを作成し、Tunnel コマンドを使用してデータをアップロードできます。MaxCompute クライアントのインストールと設定の詳細については、「ローカルクライアント (odpscmd) を使用した接続」をご参照ください。Tunnel コマンドの詳細については、「Tunnel コマンド」をご参照ください。

   doc_id

   sentence

   1000897

   Since the COVID-19 outbreak, the consumption of wild animals has become a prominent issue. This poses a great risk to public health and has drawn widespread social concern. Public security, forestry, and market regulation departments across the country have launched special campaigns to combat the illegal hunting, trafficking, and consumption of wild animals, achieving notable success. While cracking down on these illegal activities, law enforcement found that a large consumer base, enormous poaching profits, and the difficulty and high cost of identification are key reasons the illegal wildlife trade continues to thrive.

   以下に示すとおり：

   • doc_id: ドキュメント ID 列。

   • sentence: 文列。

2. 文分割コンポーネントを使用して、`sentence` 列のテキストを1行につき1文に分割します。出力テーブルは `test_output` という名前です。次の表に内容を示します。詳細については、「文分割」をご参照ください。

   doc_id	sentence
   1000897	Since the COVID-19 outbreak, the consumption of wild animals has become a prominent issue.
   1000897	This poses a great risk to public health and has drawn widespread social concern.
   1000897	Public security, forestry, and market regulation departments across the country have launched special campaigns to combat the illegal hunting, trafficking, and consumption of wild animals, achieving notable success.
   1000897	While cracking down on these illegal activities, law enforcement found that a large consumer base, enormous poaching profits, and the difficulty and high cost of identification are key reasons the illegal wildlife trade continues to thrive.

3. 次の PAI コマンドを実行して、テキスト要約を生成します。

   SQL Script コンポーネントまたは ODPS SQL ノード コンポーネントを使用して、以下の PAI コマンドを実行できます。

   PAI -name TextSummarization
       -project algo_public
       -DinputTableName="test_output"
       -DoutputTableName="test_output1"
       -DdocIdCol="doc_id"
       -DsentenceCol="sentence"
       -DtopN=2
       -Dlifecycle=30;

   出力テーブルには、doc_id と abstract の2つの列があります。

   doc_id	abstract
   1000897	Since the COVID-19 outbreak, the consumption of wild animals has become a prominent issue. Public security, forestry, and market regulation departments across the country have launched special campaigns to combat the illegal hunting, trafficking, and consumption of wild animals, achieving notable success.