LLM - 特殊コンテンツの削除 (DLC) - Platform For AI - Alibaba Cloud ドキュメントセンター

LLM - 特殊コンテンツの削除 (DLC) コンポーネントは、URL リンクを削除し、HTML タグを除去して、結果のテキストを解析します。入力の OSS データファイルは JSONL 形式 (例) である必要があります。この形式では、各行が有効な JSON オブジェクトですが、ファイル全体は JSON オブジェクトではありません。

対応コンピューティングリソース

DLC

アルゴリズム

LLM - 特殊コンテンツの削除 (DLC) コンポーネントは、以下の機能をサポートします。

URL リンクの削除

正規表現 r'(https?|http)?:\/\/[\w\.\/\?\=\&%\-\_]+' に一致する文字をテキストから削除します。
HTML タグの削除と HTML テキストの解析

'<li>' と '<ol>' を '\n*' に置き換え、 '</li>' と '</ol>' タグを削除します。その後、コンポーネントは結果のテキストを解析して返します。

例えば、記事から URL リンクを削除する場合：

処理前

処理前、現在のフィールド値は AngularJS v1.3.0-beta.2 の圧縮されたソースコードであり、URL http://angularjs.org がハイライトされています。フィールド値の一部：

/*
 AngularJS v1.3.0-beta.2
 (c) 2010-2014 Google, Inc. http://angularjs.org
 License: MIT
*/
(function(H,a,A){'use strict';function D(p,g){g=g||
{};a.forEach(g,function(a,c){delete g[c]});for(var c in
p)!p.hasOwnProperty(c)||"$"===c.charAt(0)&&"$"===c.charAt(1)|| // ...

処理後

現在のフィールド値 ダイアログボックスには、処理されたコンテンツが表示されます。これは AngularJS v1.3.0-beta.2 の圧縮された JavaScript コードの一部であり、著作権コメント ((c) 2010-2014 Google, Inc., License: MIT) と部分的な関数定義が含まれています。URL http://angularjs.org は削除されています。

コンポーネントの設定

Designer ワークフローで、[LLM - Special Content Removal (DLC)] コンポーネントを追加し、右側のペインでそのパラメーターを設定します。

パラメータータイプ	パラメーター		必須	説明	デフォルト
フィールド設定	処理対象フィールド		はい	処理するフィールドの名前。	なし
	URL リンクの削除		いいえ	テキストから URL リンクを削除するかどうか。	選択済み
	HTML タグの削除と HTML テキストの解析		いいえ	HTML タグを削除し、結果のテキストを解析するかどうか。	未選択
	データ出力 OSS ディレクトリ		いいえ	処理されたデータを保存する OSS ディレクトリ。このパラメーターを空のままにすると、コンポーネントはデフォルトのワークスペースパスを使用します。	なし
実行チューニング	プロセス数		いいえ	ジョブに使用するプロセスの数。	8
	リソースグループの選択	パブリックリソースグループ	いいえ	インスタンス仕様 (CPU または GPU)、ノード数、Virtual Private Cloud を指定します。	なし
	リソースグループの選択	専用リソースグループ	いいえ	CPU コア数、メモリ、共有メモリ、GPU 数、ノード数を指定します。	なし
	最大実行時間		いいえ	コンポーネントの最大実行時間。この時間を超えると、システムはジョブを終了します。	なし