ack-fluid コンポーネントは、クラウドネイティブ AI スイートにおける分散データセットのオーケストレーションおよびアクセラレーションエンジンです。クラウドネイティブ環境のデータ集約型アプリケーション向けに、データセットの抽象化、データアクセスとアクセラレーション、データオーケストレーションとスケジューリングなどの機能を提供します。ack-fluid は、AI プロダクションにおけるデータ管理プロセスを簡素化し、モデルトレーニングとモデル推論のためのデータアクセス効率を向上させます。このトピックでは、ack-fluid コンポーネントの基本情報、注意事項、およびリリースノートについて説明します。
コンポーネントの概要
ack-fluid は、`Dataset` や `Runtime` などの Kubernetes CustomResourceDefinition (CRD) を定義します。これにより、ネイティブな Kubernetes のメソッドを使用して、クラスター内のデータライフサイクルをクエリおよび管理できます。
ack-fluid は、分散キャッシュシステムをオーケストレーションおよび管理することで、クラスター内のアプリケーションデータへのアクセスを高速化します。Fluid は、ランタイムとして Alluxio、JuiceFS、JindoFS、EFC など、さまざまな分散キャッシュシステムをサポートしています。また、Fluid は、汎用的で拡張可能なストレージシステムの実装である ThinRuntime もサポートしています。ThinRuntime を使用すると、ローコード方式で自己管理型のストレージシステムに接続し、データオーケストレーション、管理、プラットフォームアクセスなど、Fluid のコア機能を再利用できます。
ack-fluid は、標準化されたデータアクセス API を提供します。特定の永続ボリューム要求 (PVC) を Pod にマウントして、コンテナー内のデータにアクセスできます。Fluid は、標準の Kubernetes 環境では Fluid CSI プラグインを、サーバーレス Kubernetes 環境では Fluid FUSE サイドカープラグインを使用してストレージシステムをマウントします。これにより、基盤となるランタイム環境の違いが抽象化されます。
詳細については、「弾性データセット」をご参照ください。
注意事項
ack-fluid コンポーネントは、Kubernetes 1.18 以降を実行する ACK Pro マネージドクラスター、ACK Serverless Pro クラスター、およびACK Edge Pro クラスターのみをサポートします。ack-fluid コンポーネントのインストールと使用方法の詳細については、「データアクセスの高速化」をご参照ください。
リリースノート
2024 年 4 月
バージョン | 変更内容 | 変更日時 | 影響 |
v1.0.8 | Fluid は動的データセットマウントをサポートするようになりました。コンテナー内で参照されるすべての PV および PVC のデータセットのマウントポイントを自動的に更新し、動的にマウントできます。 | 2024 年 4 月 25 日 | ワークロードへの影響はありません。 |
2024 年 2 月
バージョン | 変更内容 | 変更日時 | 影響 |
v1.0.7 | JindoRuntime がアップグレードされ、デフォルトのキャッシュエンジンとして JindoCache を使用するようになりました。 FUSE クライアントのアフィニティスケジューリングセマンティクスをサポートします。 データセットのデフォルトの読み取り専用権限が ThinRuntime クライアントに渡されない問題が修正されました。 クラスターのリソースタイプに基づいてコントロールプレーンコンポーネントを自動的に有効化できるようになりました。 Fluid コンポーネントのセキュリティが強化されました。
| 2024 年 2 月 4 日 | ワークロードへの影響はありません。 |
2023 年 12 月
バージョン | 変更内容 | 変更日時 | 影響 |
v1.0.6 | データ操作でリソースリクエストとリミットの設定がサポートされるようになりました。 多階層アフィニティスケジューリングポリシーのカスタム構成をサポートします。 JindoRuntime が PV および hostPath ボリュームのデータアクセス高速化をサポートするようになりました。
| 2023 年 12 月 14 日 | ワークロードへの影響はありません。 |
2023 年 11 月
バージョン | 変更内容 | 変更日時 | 影響 |
v1.0.5 | Fluid CSI プラグインのマウントポイント伝播に関する問題が修正されました。 多階層アフィニティスケジューリングポリシーをサポートします。 JindoRuntime が Master コンポーネントのメタデータの永続ストレージをサポートするようになりました。 JuiceFSRuntime が FUSE コンポーネントの動的更新をサポートするようになりました。 データ操作で定期的な回収機能がサポートされるようになりました。 自動 CRD アップグレードジョブの Pod を定期的に回収できるようになりました。 JindoFSx キャッシュエンジンで AccessKey ペアとトークンが冗長にマウントされる問題が修正されました。 Alluxio キャッシュエンジンが sharedOptions を解析できない問題が修正されました。
| 2023 年 11 月 17 日 | ワークロードへの影響はありません。 |
2023 年 9 月
バージョン | 説明 | 変更日時 | 影響 |
v1.0.4 | Fluid CSI プラグインに関連するバグが修正されました。 FUSE サイドカーを非ブロッキングモードで開始するように構成できます。 JuiceFSRuntime 構成の動的更新をサポートします。 ACK LINGJUN クラスター環境でのデプロイメントをサポートします。
| 2023 年 9 月 18 日 | ワークロードへの影響はありません。 |
2023 年 8 月
バージョン | 変更内容 | 変更日時 | 影響 |
v1.0.3 | FUSE サイドカーの特権マウントモードのサポートが追加されました。 JuiceFSRuntime コントローラーのメモリ不足 (OOM) の問題が修正されました。 FUSE 自動回復機能に関連する問題が修正されました。 アップグレード後にランタイムリソースが残る問題が修正されました。
| 2023 年 8 月 18 日 | ワークロードへの影響はありません。 |
2023 年 7 月
バージョン | 変更内容 | 変更日時 | 影響 |
v1.0.2 | Helm バックエンドストレージドライバー (HELM_DRIVER) が ConfigMap モードに切り替えられ、Fluid コントロールプレーンコンポーネントのロールベースのアクセス制御 (RBAC) 権限がさらに制限されました。 ThinRuntime がサードパーティのストレージシステムに接続するためのサポートが追加されました。パラメーター情報の保存には ConfigMap が使用されます。 ECI インスタンスのローカルディスクをキャッシュ記憶媒体として使用するサポートが追加されました。 スケジュールされた DataLoad キャッシュプリフェッチジョブのサポートが追加されました。
| 2023 年 7 月 18 日 | Helm バックエンドストレージドライバーを変更すると、一部の Helm 関連の Secret リソースが残る可能性があります。 クラスターが ThinRuntime を使用してサードパーティのストレージシステムと連携している場合、ack-fluid が 1.0.2 以降に更新されると、互換性の問題により、新しく作成された ThinRuntime クライアントが正常に実行できなくなる可能性があります。詳細については、「Fluid」をご参照ください。
説明 すでに実行中の ThinRuntime クライアントサービスは、コンポーネントのアップグレードによる影響を受けません。
|
2023 年 6 月
バージョン | 説明 | 変更日時 | 影響 |
v1.0.1 | ARM64 ノードに対するアンチアフィニティスケジューリング制約のサポートが追加されました。 自動 CRD アップグレードの構成サポートが追加されました。 Fluid CSI プラグインが HostPath マウントポイントを残す問題が修正されました。 Kubernetes 1.21 より前のバージョンとの互換性の問題が修正されました。
| 2023 年 6 月 19 日 | ワークロードへの影響はありません。 |
v1.0.0 | JuiceFSRuntime がスケジュールされた DataMigrate ジョブをサポートするようになりました。 EFCRuntime FUSE サイドカーモードでのボリュームインジェクションの問題が修正されました。 Dataset のステータス更新ロジックが最適化され、アプリケーション Pod の起動が高速化されました。 ランタイムのデプロイメントが失敗した場合に、詳細なエラーメッセージが出力されるようになりました。
| 2023 年 6 月 7 日 | ワークロードへの影響はありません。 |
2023 年 5 月
バージョン | 変更内容 | 変更日時 | 影響 |
v0.9.10 | | 2023 年 5 月 9 日 | ワークロードへの影響はありません。 |
2023 年 4 月
バージョン | 変更内容 | 変更日時 | 影響 |
v0.9.9 | JindoRuntime が環境変数設定をサポートするようになりました。 JuiceFSRuntime コントローラーがコントローラーの同時実行数の構成をサポートするようになりました。 JuiceFSRuntime がサブディレクトリのクォータ設定をサポートするようになりました。 DataMigrate と DataLoad の間でパスの処理に一貫性がない問題が修正されました。 Fluid の PVC と PV のバインディング時間が最適化されました。
| 2023 年 4 月 25 日 | ワークロードへの影響はありません。 |
v0.9.8 | DataMigrate がデータソースとして PVC を使用できるようになりました。 JindoRuntime がコンテナイメージ情報の設定をサポートするようになりました。 データセット PVC のサブパスのマウントがサポートされるようになりました。 Fluid コントロールプレーンコンポーネントのモニタリングがサポートされるようになりました。
| 2023 年 4 月 18 日 | ワークロードへの影響はありません。 |
v0.9.7 | | 2023 年 4 月 6 日 | |
2023 年 3 月
バージョン | 変更内容 | 変更日時 | 影響 |
v0.9.6 | DataMigrate データ移行のサポートが追加されました。 DataLoad が設定可能なノードアフィニティスケジューリングをサポートするようになりました。 Fluid CSI のマウントロジックが最適化されました。
| 2023 年 3 月 22 日 | ワークロードへの影響はありません。 |