E-MapReduce:JindoData

注意事項

JindoData は、E-MapReduce (EMR) 5.14.0 以前のバージョン、および EMR 3.48.0 以前のバージョンに適用されます。

JindoData は、EMR 5.15.0 以降のバージョン、または EMR 3.49.0 以降のバージョンではサポートされません。キャッシングには JindoCache を、認証には DLF-Auth を使用してください。

JindoFS ストレージシステム

JindoFS は、Alibaba Cloud OSS をベースとしたクラウドネイティブなストレージシステムです。Apache HDFS とバイナリ互換で、同様の機能を提供するため、HDFS の使用法と移行を簡素化します。JindoFS は、旧 JindoFS ブロックモードのメジャーアップグレード版です。

Alibaba Cloud OSS-HDFS サービス (JindoFS サービス) は、Alibaba Cloud における JindoFS のマネージドバージョンです。Alibaba Cloud OSS と深く統合されているため、すぐに使用でき、セルフマネージドクラスターに JindoFS をデプロイして保守する必要がありません。

OSS-HDFS サービスの詳細については、「OSS-HDFS サービスとは」をご参照ください。

JindoFSx ストレージアクセラレーションシステム

JindoFSx (JindoData サービスとも呼ばれます) は、旧 JindoFS キャッシュモードのメジャーアップグレード版です。このクラウドネイティブなアクセラレーションシステムは、データキャッシング、メタデータキャッシング、および P2P アクセラレーションにより、ビッグデータおよび AI ワークロードのクラウドストレージへのアクセスを高速化します。JindoFSx は、統一された名前空間の下で複数のバックエンドストレージシステムを管理しつつ、各システムのネイティブアクセスプロトコルとの互換性を維持し、統一された権限管理を提供します。Alibaba Cloud OSS と Alibaba Cloud OSS-HDFS サービス向けにネイティブ最適化されているほか、Amazon S3、Apache HDFS、NAS などのマルチクラウドのオブジェクトストレージもサポートします。

エコシステムのサポートとツール

• JindoSDK のサポート

  JindoSDK は、Hadoop SDK とクラウドベースの HDFS インターフェイスを提供します。Alibaba Cloud OSS 向けの最適化が組み込まれており、コミュニティ版の Hadoop と比べて大幅に優れたパフォーマンスを実現します。また、JindoFS ストレージシステムおよびサービス、JindoFSx ストレージアクセラレーションシステム、ならびにマルチクラウドのオブジェクトストレージもサポートします。

• JindoShell CLI のサポート

  JindoShell は、データアクセス操作向けの追加機能とパフォーマンス最適化により、HDFS シェルコマンドを拡張するコマンドラインインターフェイス (CLI) です。

• JindoFuse の POSIX サポート

  JindoData は、Alibaba Cloud OSS、JindoFS ストレージシステムおよびサービス、ならびに JindoFSx ストレージアクセラレーションシステムに対して POSIX サポートを提供します。

• JindoDistCp によるデータ移行

  JindoDistCp は、オンプレミスの HDFS からクラウドへの移行、およびクラウドプロバイダー間の移行に対応しています。さまざまなストレージシステムから Alibaba Cloud OSS および JindoFS サービスへの移行をサポートしており、使用法は Hadoop DistCp と同様です。

• JindoTable のサポート

  JindoTable は、Spark、Hive、Presto などのコンピューティングエンジンと連携し、表形式データ向けの管理機能を提供します。

• エコシステムプラグイン

  JindoSDK のデフォルトの Hadoop サポートに加え、JindoData は Flink コネクターなどの追加プラグインを提供します。