E-MapReduce:概要

注意事項

JindoDataは、EMR V5.14.0以降のマイナーバージョンのクラスタ、およびEMR V3.48.0以降のマイナーバージョンのクラスタに適用されます。

JindoDataは、EMR V5.15.0以降のマイナーバージョンのクラスタ、およびEMR V3.49.0以降のマイナーバージョンのクラスタでは使用できません。 データキャッシングにはJindoCacheを、認証にはDLF-Authを使用できます。

JindoFS

JindoFSは、Alibaba Cloudオブジェクトストレージサービス（OSS）に基づくクラウドネイティブストレージシステムです。 このシステムは、Apache Hadoop分散ファイルシステム（HDFS）とバイナリ互換性があり、HDFSのユーザーエクスペリエンスとデータ移行を最適化します。 JindoFSは、ブロックストレージモードのJindoFSのアップグレードバージョンです。

JindoFSは、Alibaba CloudでOSS-HDFSと呼ばれるサービスとしてデプロイされます。 OSS-HDFSはOSSと緊密に統合されています。 セルフマネージドクラスタにJindoFSをデプロイおよび管理する必要なく、OSS-HDFSを直接使用できます。

OSS-HDFSの詳細については、「OSS-HDFSとは」をご参照ください。

JindoFSx

JindoFSxは、キャッシュストレージモードのJindoFSのアップグレードバージョンです。 JindoFSxは、ビッグデータおよびAIシナリオに適したクラウドネイティブデータレイクストレージシステムです。 JindoFSxは、ビッグデータおよびAIアプリケーションからさまざまなクラウドストレージサービスへのアクセス速度を向上させ、データキャッシング、メタデータキャッシング、P2Pアクセラレーションなどの機能を提供します。 JindoFSxを使用すると、複数のバックエンドストレージシステムを管理できます。 統合された名前空間を使用して、バックエンドストレージシステムを管理できます。 JindoFSxは、バックエンドストレージシステムのネイティブアクセスプロトコルと互換性があります。 JindoFSxはまた、システムの統合アクセス許可管理を提供することもできます。 JindoFSxは、Alibaba Cloud OSS、Alibaba Cloud OSS-HDFS、Amazon Simple Storage Service（S3）、Apache HDFS、File Storage NASなどのサービスをサポートしています。

エコシステムのサポートとプラグイン

• JindoSDKのサポート

  JindoSDKは、Hadoop SDKおよびHDFS APIを提供するOSSクライアントです。 このクライアントは、OSSに格納されているデータへのアクセスに関して、オープンソースのHadoopよりも高いパフォーマンスを提供します。 JindoSDKは、JindoFS、JindoFSx、およびさまざまなクラウドオブジェクトストレージサービスもサポートしています。

• JindoShell CLIコマンドのサポート

  JindoDataは、HDFS ShellコマンドとJindoShell CLIコマンドの両方をサポートしています。 これにより、拡張機能が提供され、高パフォーマンスが保証され、データアクセス操作が最適化されます。

• JindoFuseを使用したPortable Operating System Interface（POSIX）のサポート

  JindoDataにより、OSS、JindoFS、およびJindoFSxでPOSIXをサポートできます。

• Jindo DistCpを使用したデータ移行のサポート

  Jindo DistCpは、データセンター（HDFS）のデータをクラウドに移行したり、クラウド間でデータを移行したりするのに役立つツールです。 Jindo DistCpを使用して、さまざまなストレージシステムのデータをOSSおよびJindoFSに移行できます。 Jindo DistCpは、Hadoop DistCpと同様の方法で使用されます。

• JindoTableのサポート

  JindoTableは、Spark、Hive、Prestoなどのコンピューティングエンジンに基づいて開発されたソリューションです。 このソリューションを使用すると、テーブルのデータを管理できます。

• プラグイン

  Flinkコネクタなどのプラグインがサポートされています。