E-MapReduce:JindoData

注意事項

JindoData は、EMR 5.14.0 以前のバージョン、および EMR 3.48.0 以前のバージョンに適用されます。

EMR 5.15.0 以降のバージョン、または EMR 3.49.0 以降のバージョンでは JindoData はサポートされていません。キャッシングには JindoCache を、認証には DLF-Auth を使用してください。

JindoFS ストレージシステム

JindoFS は、Alibaba Cloud OSS をベースにしたクラウドネイティブなストレージシステムです。Apache HDFS とバイナリ互換であり、同様の機能セットを提供するため、HDFS の使用と移行が簡素化されます。JindoFS は、旧 JindoFS ブロックモードのメジャーアップグレード版です。

Alibaba Cloud OSS-HDFS サービス (JindoFS サービス) は、Alibaba Cloud 上の JindoFS のマネージドバージョンです。Alibaba Cloud OSS と密接に統合されており、すぐに利用可能で、セルフマネージドクラスターに JindoFS をデプロイして維持する必要がありません。

OSS-HDFS サービスの詳細については、「OSS-HDFS サービスとは」をご参照ください。

JindoFSx ストレージアクセラレーションシステム

JindoFSx は JindoData サービスとしても知られ、旧 JindoFS キャッシュモードのメジャーアップグレード版です。このクラウドネイティブなアクセラレーションシステムは、データキャッシング、メタデータキャッシング、P2P アクセラレーションにより、ビッグデータや AI ワークロードのクラウドストレージへのアクセスを高速化します。JindoFSx は、統合名前空間の下で複数のバックエンドストレージシステムを管理すると同時に、各システムのネイティブアクセスプロトコルとの互換性を維持し、統合された権限管理を提供します。Alibaba Cloud OSS および Alibaba Cloud OSS-HDFS サービス向けにネイティブに最適化されているほか、Amazon S3、Apache HDFS、NAS などのマルチクラウドオブジェクトストレージもサポートしています。

エコシステムのサポートとツール

• JindoSDK

  JindoSDK は、Alibaba Cloud OSS 向けに最適化が組み込まれた Hadoop SDK とクラウドベースの HDFS インターフェイスを提供し、コミュニティ Hadoop エディションよりも大幅に優れたパフォーマンスを実現します。また、JindoFS ストレージシステムおよびサービス、JindoFSx ストレージアクセラレーションシステム、マルチクラウドオブジェクトストレージもサポートしています。

• JindoShell CLI

  JindoShell は、HDFS シェルコマンドを拡張し、データアクセス操作用の追加機能とパフォーマンス最適化を提供するコマンドラインインターフェイス (CLI) です。

• JindoFuse POSIX サポート

  JindoData は、Alibaba Cloud OSS、JindoFS ストレージシステムおよびサービス、JindoFSx ストレージアクセラレーションシステムに対して POSIX サポートを提供します。

• JindoDistCp によるデータ移行

  JindoDistCp は、オンプレミス HDFS からクラウドへ、またクラウドプロバイダー間でデータを移行します。さまざまなストレージシステムから Alibaba Cloud OSS および JindoFS サービスへの移行をサポートしており、その使用方法は Hadoop DistCp と同様です。

• JindoTable

  JindoTable は、Spark、Hive、Presto などのコンピューティングエンジンと連携して、表形式データの管理機能を提供します。

• エコシステムプラグイン

  JindoSDK のデフォルトの Hadoop サポートに加えて、JindoData は Flink コネクタなどの追加プラグインを提供します。