SmartData は、E-MapReduce（EMR）Jindo エンジンのストレージサービスです。SmartData は、EMR コンピューティングエンジンに一元化されたストレージと最適化されたキャッシングおよびコンピューティングを提供し、ストレージ機能を拡張します。SmartData は、JindoFS、JindoTable、および関連ツールで構成されています。このトピックでは、SmartData 3.4.X の更新について説明します。
OSS ストレージの JindoFS でのスケーラビリティ
- Object Storage Service（OSS）Recoverable OutputStream 機能が追加されました。これは、Flush and Recover API を介して実装されます。この機能は、Flume ベースの書き込みなど、信頼性の高い書き込みシナリオに適しています。
- OSS サーバーでの名前変更操作の効率が向上しました。
- バケットのバージョン管理が有効になっている OSS のディレクトリに対するリスト操作のパフォーマンスが最適化されました。これにより、ディレクトリに対するリスト操作が多数の一時ファイルの影響を受けるのを防ぎます。
- バケットのバージョン管理が有効になっている OSS の Jindo OSS Magic Committer のパフォーマンスが最適化されました。Jindo OSS Direct Committer が追加されました。
- 資格情報プロバイダーフレームワークが強化されました。JindoCommonCredentialsProvider が追加されました。
- ファイル作成のパフォーマンスが最適化されました。OSS にデータを書き込むときに、冗長性チェックは実行されなくなりました。
JindoFS ベースのストレージの最適化
ブロックストレージモードの JindoFS でデータ暗号化がサポートされるようになりました。Alibaba Cloud Key Management Service（KMS）と Advanced Encryption Standard（AES）アルゴリズムを使用してデータを暗号化できます。
JindoTable ベースのコンピューティングの最適化
JindoTable のネイティブ Optimized Row Columnar（ORC）リーダーが強化されました。
その他の JindoFS ツール
Jindo DistCp が強化されました。増分移行が最適化されました。たとえば、HDFS データを OSS に移行する場合、ソースパスとデスティネーションパスでチェックサムを実装できます。
JindoFS のエコシステムサポート
Jindo OSS SDK for Python が追加されました。SDK は基本的な OSS 操作をサポートし、OSS2 Python ライブラリと互換性があります。