OSS-HDFS (JindoFS) は、ビッグデータおよび AI ワークロード向けに、統合されたメタデータ管理と Hadoop 分散ファイルシステム (HDFS) API との完全な互換性を備えた、クラウドネイティブなデータレイクストレージ機能です。
注意事項
-
バケットで OSS-HDFS サービスを有効にすると、サービスのデータはバケットの
.dlsdata/ディレクトリに保存されます。OSS-HDFS 以外の方法でこのディレクトリおよびそのオブジェクトに対して、名前の変更や削除などの書き込み操作を実行しないでください。サービスの中断やデータ損失が発生する可能性があります。 -
アカウントに支払い遅延がある場合、または依存する RAM ロール
AliyunOSSDlsDefaultRoleが削除された場合、HDFS バックグラウンドサービスはセーフモードに移行することがあります。セーフモードでは、監査ログ、非同期削除、自動ストレージ階層化などのすべてのバックグラウンドタスクが一時停止されます。問題が解決されると、サービスは自動的に再開されます。
OSS-HDFS を有効化した後、Prerequisites に記載のとおり、他の OSS 機能を通じて .dlsdata/ ディレクトリに書き込むと、データ損失、破損、またはデータにアクセスできなくなる可能性があります。
課金
データ使用料金
OSS-HDFS サービスを使用する場合、データブロックは OSS と同じ方法で保存されます。 したがって、OSS の計測方法と課金方法が OSS-HDFS サービスのデータブロックに適用されます。 詳細については、「課金概要」をご参照ください。
メリット
OSS-HDFS は、既存の Hadoop および Spark アプリケーションを変更せずに連携できます。基本的な設定を行うだけで、ネイティブ HDFS と同様にデータを管理でき、さらに OSS のメリットである実質無制限の容量、弾力的なスケーラビリティ、強化されたセキュリティ、信頼性、可用性を利用できます。
OSS-HDFS は、エクサバイト規模のデータと数十億のファイルを、テラバイト級のスループットで処理します。標準のオブジェクトストレージが持つフラットな名前空間に加えて、オブジェクトをディレクトリに整理する階層的な名前空間を提供し、統合されたメタデータ管理により自動の名前空間変換を行います。従来の HDFS におけるアクティブ/スタンバイの NameNode 冗長化の代わりに、OSS-HDFS は複数ノードのアクティブ/アクティブ冗長性を採用し、優れた回復性を実現します。Hadoop ユーザーは、レプリケーションや変換を行うことなく、ローカル HDFS と同等の効率でデータにアクセスできるため、ジョブのパフォーマンスが向上し、運用・保守コストを削減できます。
機能
|
機能 |
説明 |
参考資料 |
|
RootPolicy |
OSS-HDFS のカスタムプレフィックスを設定し、ジョブが元の |
|
|
ProxyUser |
機密データへのアクセスなど、他のユーザーに代わってファイルシステム操作を実行できるようにユーザーを承認できます。 |
|
|
UserGroupsMapping |
ユーザーとユーザーグループ間のマッピングを設定できます。 |
ユースケース
OSS-HDFS は、ビッグデータおよび AI のユースケースをサポートします:
Hive と Spark
OSS-HDFS は、Hive と Spark で構築するオフラインデータウェアハウスに適しています。ファイルおよびディレクトリのセマンティクス、権限、アトミックなディレクトリ操作、ミリ秒レベルの名前変更、setTimes、拡張属性 (XAttrs)、ACL、ローカル読み取りキャッシュによる高速化をネイティブにサポートします。ETL ワークロードでは、OSS-HDFS は標準の OSS バケットを大幅に上回る性能を発揮します。
OLAP
OSS-HDFS は JindoFuse を通じて POSIX アクセスを提供し、ストレージとコンピューティングの分離アーキテクチャにおいて、OLAP エンジンがデータに対して統合された読み取りアクセスを行えるようにします。組み込みキャッシュにより、クエリ性能が向上します。
HBase の分離
OSS-HDFS は、ファイルおよびディレクトリのセマンティクスと flush 操作をネイティブにサポートし、HBase のストレージとコンピューティングの分離アーキテクチャにおいて HDFS を置き換えられるようにします。標準の OSS とは異なり、先行書き込みログ (WAL) を OSS-HDFS に直接保存できるため、アーキテクチャを簡素化できます。HBase の基盤ストレージとして OSS-HDFS を使用する。
リアルタイムコンピューティング
OSS-HDFS は flush と truncate をサポートし、Flink のリアルタイムコンピューティングにおけるシンクおよびチェックポイントで HDFS をシームレスに置き換えることができます。
データ移行
OSS-HDFS を使用すると、オンプレミスからクラウドへの HDFS データ移行をスムーズに行えます。弾力的スケーリングと従量課金により、ストレージコストを削減できます。JindoDistCp は、HDFS データ (ファイル属性とメタデータを含む) を OSS-HDFS に移行し、HDFS チェックサムを使用した高速なデータ比較も提供します。
サポートされるエンジン
|
エコシステム |
エンジン/プラットフォーム |
参考資料 |
|
オープンソースエコシステム |
Flink |
|
|
Flume |
||
|
Hadoop |
||
|
HBase |
||
|
Hive |
||
|
Impala |
||
|
Trino |
||
|
Spark |
||
|
Alibaba Cloud エコシステム |
EMR |
|
|
Flink |
||
|
Flume |
||
|
HBase |
||
|
Hive |
||
|
Impala |
||
|
Trino |
||
|
Spark |
||
|
Sqoop |