Platform For AI:LLM-Clean Special Content (MaxCompute)

制限事項

このコンポーネントは、MaxCompute コンピュートエンジンのみをサポートしています。

仕組み

LLM-Clean Special Content コンポーネントは、次の特徴をサポートしています：

まず、コンポーネントは改行を使用してテキストを複数行に分割します。

• ナビゲーション情報の削除

  • ナビゲーション情報のキーワードには、'Home>'、'Main page>'、'Home»'、'Home/'、'Home|' が含まれます。

  • ナビゲーション情報の正規表現：'Current location:.*[>]{1,}' および 'Location:.*[>]{1,}'。

  • コンポーネントは、これらのキーワードを含む行、またはこれらの正規表現に一致する行を削除します。

• 著者情報の削除

  コンポーネントは、指定された著者関連のキーワードのいずれかと、セット '.?!;:,' の句読点の少なくとも 1 つを含む行を削除します。

  著者情報のキーワードには、'Reporter '、'Source:'、'Editor:'、'Login|Register'、'This article URL:'、'Publish date:'、'Time added:'、'Share to:'、'“Scan”'、'Related links:'、'Lottery'、'Site navigation '、'| Contact us'、'Homepage '、'Current location:'、'Published at '、'Location: ' が含まれます。

• ソース情報の削除

  記事のソースの正規表現には、r'(\d{4}[-/year]\d{1,2}[-/month]\d{1,2}[day]{0,}\s\d{1,2}:\d{1,2}:\d{1,2})'、r'\d{4}[-/]\d{1,2}[-/]\d{1,2}.*[source:|editor:]' が含まれます。

  コンポーネントは、最初の 5 行のみをチェックして正規表現に一致するかどうかを確認し、一致する行を削除します。

  説明

  ナビゲーション情報と著者情報の削除を有効にした場合、コンポーネントは元のテキストではなく、残りのテキストの最初の 5 行をチェックします。

• URL の削除

  コンポーネントは、正規表現 r'(https?|http)?:\/\/[\w\.\/\?\=\&\%\-\_]+' に一致するテキストを削除します。

• 印刷不能文字の削除

  コンポーネントは、正規表現 '[\001\002\003\004\005\006\007\x08\x09\x0b\x0c\x0d\x0e\x0f\x10\x11\x12\x13\x14\x15\x16\x17\x18\x19\x1a]+' に一致する文字を削除します。

• HTML マークアップの削除と HTML テキストの解析

  コンポーネントは、'<li>' と '<ol>' を '\n*' に置き換え、'</li>' タグと '</ol>' タグを削除します。その後、残りの HTML を解析し、テキストコンテンツを返します。

URL 削除の例：

• 処理前：

  /*
   AngularJS v1.3.0-beta.2
   (c) 2010-2014 Google, Inc. http://angularjs.org
   License: MIT
  */
  (function(H,a,A){'use strict';function D(p,g){g=g||
  {};a.forEach(g,function(a,c){delete g[c]});for(var c in
  p)!p.hasOwnProperty(c)||"$"===c.charAt(0)&&"$"===c.charAt(1)||(g[c]=p[c])}})

• 処理後：

  処理後、URL http://angularjs.org はコメントブロックから削除されます。

ビジュアル設定パラメーター

Machine Learning Designer インターフェイスでコンポーネントのパラメーターを設定できます。

関連ドキュメント

Machine Learning Designer のコンポーネントの詳細については、「Machine Learning Designer の概要」をご参照ください。