SmartData は、E-MapReduce（EMR）Jindo エンジンのストレージサービスです。SmartData は、EMR コンピューティングエンジンに一元化されたストレージ、キャッシング、およびコンピューティングの最適化を提供します。 このサービスは追加機能も提供します。 SmartData は、JindoFS、JindoTable、および関連ツールで構成されています。 このトピックでは、SmartData 3.6.X の更新内容について説明します。
JindoFS
次の表に、JindoFS の更新内容を示します。
| 機能 | 説明 |
| Amazon Simple Storage Service（S3）および S3 プロトコルを使用するその他のサービスへのクロス クラウドアクセス、およびこれらのサービスへのアクセスのためのキャッシュベースの高速化 | JindoFS は S3 プロトコルをサポートしており、Amazon S3 および S3 プロトコルを使用するその他のシステムにアクセスできます。 キャッシュベースの高速化機能を使用して、これらのシステムへのアクセスを高速化できます。 |
| HDFS へのアクセスのためのキャッシュベースの高速化 | キャッシュベースの高速化機能を使用して、HDFS へのアクセスを高速化できます。 |
| トランザクションの読み込みオプション MetaSync およびデータキャッシュ | 2 つのトランザクションの読み込みオプションである MetaSync とデータキャッシュが JindoFS に追加されました。 これにより、プリロードタスクのトランザクションプロパティが確保され、読み込みプロセス中に中間ステータスがメタデータビューに表示されないことが保証されます。 |
| キャッシュプリロードメカニズムの最適化 |
|
JindoSDK
次の表に、JindoSDK の更新内容を示します。
| 機能 | 説明 |
| ローカルキャッシング | JindoSDK では、ローカルキャッシングポリシーを構成できます。これにより、SmartData サービスがデプロイされていない場合でもローカルデータキャッシングが可能になります。 これにより、Object Storage Service（OSS）データへのアクセスが高速化されます。 |
| FileSystem API と同じレベルの Object Store API | Object Store API が JindoSDK に追加されました。 これは、既存の FileSystem API と同じレベルです。 Object Store API は、OSS などのストレージシステムにより適しており、これらのシステムへのアクセスを容易にします。 また、Object Store API は、コピー操作と名前変更操作の効率も向上させます。 |
| OSS サーバー側キャッシングの最適化 | OSS アクセスアクセラレータが提供されています。 アクセラレータを起動した後、アクセラレータの容量に基づいて OSS データにアクセスするための帯域幅をカスタマイズできます。 |
| OSS セカンドレベルドメイン | セカンドレベルドメインを使用した OSS へのアクセスがサポートされています。 この機能を有効にすると、一部の特殊な環境でセカンドレベルドメインまたは IP アドレスを使用して OSS にアクセスできます。 この機能はデフォルトで無効になっています。 |
JindoTable
次の表に、JindoTable の更新内容を示します。
| 機能 | 説明 |
| OSS での HDFS データの階層化ストレージとアーカイブ | MoveTo コマンドを実行して、複数のテーブルまたはパーティションのデータを一度に OSS に移行できます。 このコマンドはメタデータも自動的に更新します。 フィルター条件を指定してパーティションをフィルタリングし、ストレージポリシーを構成してデータを OSS に移行できます。 既に OSS にある大量のデータを一度にアーカイブできます。 |
| OSS でのデータのアーカイブ解除と取得 | unarchiveTable コマンドを実行して、OSS にアーカイブされている大量のデータをアーカイブ解除して取得できます。 |
| Presto が Parquet 形式のファイルをクエリする速度の高速化 | JindoTable が提供するネイティブエンジンを使用して、Presto が Parquet 形式のファイルをクエリする速度を高速化できます。 |
| Spark 3 が Parquet または ORC 形式のファイルをクエリする速度の高速化 | JindoTable が提供するネイティブエンジンを使用して、Spark 3 が Parquet または ORC 形式のファイルをクエリする速度を高速化できます。 |
| Spark または Presto が HDFS のデータをクエリする速度の高速化 | JindoTable が提供するネイティブエンジンを使用して、Spark または Presto が HDFS のデータをクエリする速度を高速化できます。 |
| OSS アクセスログの分析 | SQL ステートメントを実行して、OSS アクセスログを分析できます。 |
JindoFuse
次の表に、JindoFuse の更新内容を示します。
| 機能 | 説明 |
| トレーニングとオンラインマウントのシナリオ | ファイルシステムを特定の JindoFS 名前空間または OSS ディレクトリにマウントできます。 SDK モードで OSS ディレクトリを指定できます。 |