Platform For AI:LLM-クリーンな著作権情報 (MaxCompute)

サポートされるコンピューティングリソース

MaxCompute

アルゴリズムの説明

このアルゴリズムは、テキストから著作権情報を削除するために次の操作を実行します。

1. テキストに正規表現 '/\*[^ *]* \* +(?:[^/*][^ *]* \* +)*/' に準拠する文字列が含まれているかどうかを確認します。

   • 対応する文字列が一致する場合、アルゴリズムは、文字列が著作権フィールドを含むかどうかをチェックする。 文字列にフィールドが含まれている場合、アルゴリズムは文字列を削除して結果を返します。 文字列にフィールドが含まれていない場合、アルゴリズムは直接結果を返します。

   • 正規表現が一致しない場合は、手順2に進みます。

2. 改行でテキストを分割します。 アルゴリズムはテキストを行ごとにトラバースして、行が次のコメント文字 // 、# 、または -- で始まるかどうかを確認します。 条件を満たす行が一致する場合、アルゴリズムはコメントシンボルが終了するまでテキストをトラバースし続けます。 テキスト内の連続するコメント行が削除されます。

アルゴリズムはテキストのヘッダーのみをチェックします。 例：

コンポーネントの設定

Machine Learning DesignerのパイプラインページにLLM-Clean Copyright Information (MaxCompute) コンポーネントを追加し、次のパラメーターを設定します。