LLM-LaTeX Remove Bibliography (DLC) コンポーネントを使用して、TeXテキストデータを処理できます。 このコンポーネントは、LaTeXテキストの末尾にある参考文献を削除します。 入力Object Storage Service (OSS) データファイルは、JSON Lines形式である必要があります。 ファイルの各行は有効なJSONオブジェクトですが、ファイル全体は有効なJSONオブジェクトではありません。 例を表示するには、こちらをクリックしてください。
サポートされるコンピューティングリソース
アルゴリズム
このコンポーネントは、正規表現に一致するすべての文字列r'(\\付録 |\\ begin\{参照 \}|\\ begin\{references \}}|\\ begin\{thebibliography }|\\ bibliography\{.*\}).*$' を抽出し、文字列を空の文字列に置き換えます。 複数の一致パターンは縦棒 (|) で区切られています。
例：
処理前
| 処理後
|
コンポーネントの設定
Platform for AI (PAI) コンソールのMachine Learning Designerのパイプラインページで、LLM-LaTeX Remove Bibliography (DLC) コンポーネントのパラメーターを設定します。 下表に、各パラメーターを説明します。
タブ | パラメーター | 必須 | 説明 | デフォルト値 | |
フィールドの設定 | Target Processフィールド | 必須 | 処理するフィールドの名前。 | デフォルト値なし | |
OutputDataを保存するためのOSSディレクトリ | 選択可能 | 生成されたデータが保存されるOSSディレクトリ。 このパラメーターを指定しない場合、ワークスペースのデフォルトパスが使用されます。 | デフォルト値なし | ||
チューニング | プロセス数 | 選択可能 | プロセスの数。 | 8 | |
リソースグループの選択 | パブリックリソースグループ | 選択可能 | 使用するインスタンスタイプ (CPUまたはGPU) 、インスタンス数、および仮想プライベートクラウド (VPC) 。 | デフォルト値なし | |
専用リソースグループ | 選択可能 | 使用するvCPU、メモリ、共有メモリの数、GPUの数、およびインスタンスの数。 | デフォルト値なし | ||
最大実行時間 (秒) | 選択可能 | コンポーネントが実行できる最大時間。 この時間を超えると、ジョブは終了します。 | デフォルト値なし | ||