LLM-LaTeXコメント削除 (DLC) コンポーネントを使用して、TeXテキストデータを処理できます。 このコンポーネントは、LaTeXテキストのコメントを削除します。 入力Object Storage Service (OSS) データファイルは、JSON Lines形式である必要があります。 ファイルの各行は有効なJSONオブジェクトですが、ファイル全体は有効なJSONオブジェクトではありません。 例を表示するには、こちらをクリックしてください。
サポートされるコンピューティングリソース
アルゴリズム
このコンポーネントは、特定の正規表現に一致する文字列を削除します。 次の表に、正規表現を示します。
コメントタイプ | 正規表現 |
コメント行 |
|
インラインコメント |
|
このコンポーネントは、前の正規表現に一致するすべての文字列を抽出し、その文字列を空の文字列に置き換えます。 例：
処理前
| 処理後
|
コンポーネントの設定
Platform for AI (PAI) コンソールのMachine Learning Designerのパイプラインページで、LLM-LaTeX Remove Comments (DLC) コンポーネントのパラメーターを設定します。 下表に、各パラメーターを説明します。
タブ | パラメーター | 必須 | 説明 | デフォルト値 | |
フィールドの設定 | Target Processフィールド | 必須 | 処理するフィールドの名前。 | デフォルト値なし | |
すべての行コメントを削除するかどうか | 選択可能 | すべてのコメント行を削除するかどうかを指定します。 | 選択済み | ||
行内のコメントをすべて削除するかどうか | 選択可能 | 行内のコメントをすべて削除するかどうかを指定します。 | 選択済み | ||
OutputDataを保存するためのOSSディレクトリ | 選択可能 | 生成されたデータが保存されるOSSディレクトリ。 このパラメーターを指定しない場合、ワークスペースのデフォルトパスが使用されます。 | デフォルト値なし | ||
チューニング | プロセス数 | 選択可能 | プロセスの数。 | 8 | |
リソースグループの選択 | パブリックリソースグループ | 選択可能 | 使用するインスタンスタイプ (CPUまたはGPU) 、インスタンス数、および仮想プライベートクラウド (VPC) 。 | デフォルト値なし | |
専用リソースグループ | 選択可能 | 使用するvCPU、メモリ、共有メモリの数、GPUの数、およびインスタンスの数。 | デフォルト値なし | ||
最大実行時間 (秒) | 選択可能 | コンポーネントが実行できる最大時間。 この時間を超えると、ジョブは終了します。 | デフォルト値なし | ||