SmartData は、E-MapReduce（EMR）Jindo エンジンのストレージサービスです。 SmartData は、EMR コンピューティングエンジンに一元化されたストレージと最適化されたキャッシングおよびコンピューティングを提供し、ストレージ機能を拡張します。 SmartData は、JindoFS、JindoTable、および関連ツールで構成されています。 このトピックでは、SmartData 3.5.X の更新について説明します。
OSS ストレージの JindoFS でのスケーラビリティ
Object Storage Service（OSS）ディレクトリの削除のパフォーマンスが最適化されました。
JindoSDK
- Java 用の JindoSDK を使用する場合、診断パフォーマンスを向上させるために、JindoSDK ログが Java ログとして生成されます。
- JindoSDK によって使用されるメモリの統計ログが生成されます。 ログを表示して、JindoSDK によって使用されるメモリに関する情報を取得できます。
JindoTable ベースのコンピューティングの最適化
- ネイティブクエリ高速化機能が追加されました。 Spark、Hive、または Presto を使用して、OSS または JindoFS に格納されている ORC ファイルまたは Parquet ファイルからデータを読み取る場合に、クエリを高速化します。 詳細については、ネイティブエンジンに基づくクエリ高速化の有効化をご参照ください。
- JindoTable で、Hive テーブルの低頻度アクセス統計を収集できます。 詳細については、JindoTable を使用したテーブルとパーティションの低頻度アクセス統計の収集をご参照ください。
その他の JindoFS ツール
Jindo DistCp が強化されました。 CloudMonitor サービスを使用して、失敗したタスクを監視およびアラートできます。 Advanced Vector Extensions（AVX）への依存関係が削除されました。 データが OSS に書き込まれる場合、コールドアーカイブがサポートされます。 詳細については、Jindo DistCp の使用をご参照ください。