すべてのプロダクト
Search
ドキュメントセンター

Object Storage Service:OSS-HDFS とは

最終更新日:Oct 01, 2026

OSS-HDFS (JindoFS) は、ビッグデータおよび AI ワークロード向けに、統合されたメタデータ管理と Hadoop 分散ファイルシステム (HDFS) API との完全な互換性を備えた、クラウドネイティブなデータレイクストレージ機能です。

注意事項

警告
  • バケットで OSS-HDFS サービスを有効にすると、サービスのデータはバケットの .dlsdata/ ディレクトリに保存されます。OSS-HDFS 以外の方法でこのディレクトリおよびそのオブジェクトに対して、名前の変更や削除などの書き込み操作を実行しないでください。サービスの中断やデータ損失が発生する可能性があります。

  • アカウントに支払い遅延がある場合、または依存する RAM ロール AliyunOSSDlsDefaultRole が削除された場合、HDFS バックグラウンドサービスはセーフモードに移行することがあります。セーフモードでは、監査ログ、非同期削除、自動ストレージ階層化などのすべてのバックグラウンドタスクが一時停止されます。問題が解決されると、サービスは自動的に再開されます。

OSS-HDFS を有効化した後、Prerequisites に記載のとおり、他の OSS 機能を通じて .dlsdata/ ディレクトリに書き込むと、データ損失、破損、またはデータにアクセスできなくなる可能性があります。

課金

  • データ使用料金

    OSS-HDFS サービスを使用する場合、データブロックは OSS と同じ方法で保存されます。 したがって、OSS の計測方法と課金方法が OSS-HDFS サービスのデータブロックに適用されます。 詳細については、「課金概要」をご参照ください。

メリット

OSS-HDFS は、既存の Hadoop および Spark アプリケーションを変更せずに連携できます。基本的な設定を行うだけで、ネイティブ HDFS と同様にデータを管理でき、さらに OSS のメリットである実質無制限の容量、弾力的なスケーラビリティ、強化されたセキュリティ、信頼性、可用性を利用できます。

OSS-HDFS は、エクサバイト規模のデータと数十億のファイルを、テラバイト級のスループットで処理します。標準のオブジェクトストレージが持つフラットな名前空間に加えて、オブジェクトをディレクトリに整理する階層的な名前空間を提供し、統合されたメタデータ管理により自動の名前空間変換を行います。従来の HDFS におけるアクティブ/スタンバイの NameNode 冗長化の代わりに、OSS-HDFS は複数ノードのアクティブ/アクティブ冗長性を採用し、優れた回復性を実現します。Hadoop ユーザーは、レプリケーションや変換を行うことなく、ローカル HDFS と同等の効率でデータにアクセスできるため、ジョブのパフォーマンスが向上し、運用・保守コストを削減できます。

機能

機能

説明

参考資料

RootPolicy

OSS-HDFS のカスタムプレフィックスを設定し、ジョブが元の hdfs:// アクセスプレフィックスを変更せずに実行できるようになります。

RootPolicy を使用して OSS-HDFS にアクセスする

ProxyUser

機密データへのアクセスなど、他のユーザーに代わってファイルシステム操作を実行できるようにユーザーを承認できます。

ProxyUser (プロキシユーザーを設定する)

UserGroupsMapping

ユーザーとユーザーグループ間のマッピングを設定できます。

UserGroupsMapping (ユーザーとグループのマッピングを管理する)

ユースケース

OSS-HDFS は、ビッグデータおよび AI のユースケースをサポートします:

Hive と Spark

OSS-HDFS は、Hive と Spark で構築するオフラインデータウェアハウスに適しています。ファイルおよびディレクトリのセマンティクス、権限、アトミックなディレクトリ操作、ミリ秒レベルの名前変更、setTimes、拡張属性 (XAttrs)、ACL、ローカル読み取りキャッシュによる高速化をネイティブにサポートします。ETL ワークロードでは、OSS-HDFS は標準の OSS バケットを大幅に上回る性能を発揮します。

OLAP

OSS-HDFS は JindoFuse を通じて POSIX アクセスを提供し、ストレージとコンピューティングの分離アーキテクチャにおいて、OLAP エンジンがデータに対して統合された読み取りアクセスを行えるようにします。組み込みキャッシュにより、クエリ性能が向上します。

HBase の分離

OSS-HDFS は、ファイルおよびディレクトリのセマンティクスと flush 操作をネイティブにサポートし、HBase のストレージとコンピューティングの分離アーキテクチャにおいて HDFS を置き換えられるようにします。標準の OSS とは異なり、先行書き込みログ (WAL) を OSS-HDFS に直接保存できるため、アーキテクチャを簡素化できます。HBase の基盤ストレージとして OSS-HDFS を使用する。

リアルタイムコンピューティング

OSS-HDFS は flush と truncate をサポートし、Flink のリアルタイムコンピューティングにおけるシンクおよびチェックポイントで HDFS をシームレスに置き換えることができます。

データ移行

OSS-HDFS を使用すると、オンプレミスからクラウドへの HDFS データ移行をスムーズに行えます。弾力的スケーリングと従量課金により、ストレージコストを削減できます。JindoDistCp は、HDFS データ (ファイル属性とメタデータを含む) を OSS-HDFS に移行し、HDFS チェックサムを使用した高速なデータ比較も提供します。

サポートされるエンジン

エコシステム

エンジン/プラットフォーム

参考資料

オープンソースエコシステム

Flink

オープンソース Flink と JindoSDK を使用して OSS-HDFS のデータを処理する

Flume

Flume と JindoSDK を使用して OSS-HDFS にデータを書き込む

Hadoop

Hadoop と JindoSDK を使用して OSS-HDFS にアクセスする

HBase

HBase の基盤ストレージとして OSS-HDFS を使用する

Hive

Hive と JindoSDK を使用して OSS-HDFS のデータを処理する

Impala

Impala と JindoSDK を使用して OSS-HDFS のデータをクエリする

Trino

Trino と JindoSDK を使用して OSS-HDFS のデータをクエリする

Spark

Spark と JindoSDK を使用して OSS-HDFS のデータをクエリする

Alibaba Cloud エコシステム

EMR

EMR 上の Hive または Spark から OSS-HDFS にアクセスする

Flink

Flume

Flume を使用して EMR Kafka クラスターから OSS-HDFS にデータを同期する

HBase

EMR クラスター上の HBase の基盤ストレージとして OSS-HDFS を使用する

Hive

EMR クラスター上の Hive を使用して OSS-HDFS のデータを処理する

Impala

EMR クラスター上の Impala を使用して OSS-HDFS のデータをクエリする

Trino

EMR クラスター上の Trino を使用して OSS-HDFS のデータをクエリする

Spark

EMR クラスター上の Spark を使用して OSS-HDFS のデータを処理する

Sqoop

EMR クラスター上の Sqoop を使用して OSS-HDFS のデータを読み書きする