SmartData は、E-MapReduce (EMR) のコアとなる独自コンポーネントであり、統合ストレージ最適化、キャッシュ最適化、コンピュートアクセラレーション、およびデータアクセス、データガバナンス、データセキュリティを含むさまざまなストレージ機能拡張を提供します。
次の図は、EMR アーキテクチャにおける SmartData の位置付けを示しています。
SmartData には以下のコンポーネントが含まれます。
JindoFS コアサブシステム：各種リモートストレージシステム向けのキャッシュおよびキャッシュアクセラレーション機能を提供します。詳細については、「JindoFS の概要と使用方法」をご参照ください。
JindoTable コアサブシステム：Hive データウェアハウスなどのテーブル形式データソースに対して、テーブルレベルおよびパーティションレベルでの最適化と管理機能を提供します。詳細については、「JindoTable の使用方法」をご参照ください。
JindoManager：JindoFS および JindoTable サービスの管理ページを提供し、キャッシュ内のファイルやテーブルに関する統計メトリックの確認などのタスクを実行できます。
JindoSDK：EMR 内のオープンソースコンピュートエンジン向けに統一 SDK を提供します。JindoSDK は Java、C、C++、および Python をサポートしており、Hadoop Compatible File System (HCFS) インターフェイス、POSIX ベースの API、および Table インターフェイスを含む複数のアクセス方法を利用できます。
ツールセット：Jindo ツールおよび Jindo DistCp 移行ツールなどのツールが含まれます。
各種コネクタ：Hadoop、Flink、および TensorFlow 向けのコネクタを含み、さらに Kite SDK、Apache Beam、Flume、Sqoop、および Kafka もサポートしています。
SmartData は現在、JindoFS および JindoTable を通じて、Alibaba Cloud OSS、Apache Hadoop 分散ファイルシステム (HDFS)、Hive データウェアハウス、および Alibaba Cloud MaxCompute をデータソースとしてサポートしています。
SmartData は独立して開発およびリリースされています。バージョン固有の詳細については、「リリース情報」をご参照ください。
バージョン別の SmartData ドキュメントについては、以下をご参照ください。