SmartData は、EMR Jindo エンジンのストレージコンポーネントです。さまざまな EMR コンピューティングエンジンに、統合されたストレージ、キャッシュ、コンピューティングの最適化、および機能拡張を提供します。SmartData には、JindoFS、JindoTable、および関連するツールセットが含まれています。このトピックでは、SmartData 3.0.x の更新内容について説明します。
JindoFS ストレージの最適化
- Jindo 名前空間サービスのスタンドアロン構成が改善されました。スタンドアロンモードで、Tablestore へのメタデータの更新と書き込みを非同期で実行できるようになりました。
- Jindo 名前空間サービスのメタデータバックエンドとして Tablestore を使用するオプションが削除されました。Tablestore ベースの高可用性 (HA) ソリューションはサポートされなくなりました。
- アーカイブストレージのサポートが追加されました。ファイルデータを OSS アーカイブストレージクラスとして保存することで、コストを削減できます。
- JindoFS 階層型ストレージに
Archive、Unarchive、Statusコマンドが追加されました。これらのコマンドは、指定されたフォルダーにデータをアーカイブし、アーカイブ操作の進行状況とステータスを確認します。 - ファイル情報を表示する JindoFS
ls2コマンドが追加されました。 - JindoFS ストレージシステムの fsimage のオフラインエクスポートと分析クエリがサポートされるようになりました。
- JindoFS ストレージシステムへのクラスター間アクセスがサポートされるようになりました。
詳細については、「階層型ストレージコマンドの使用手順」をご参照ください。
JindoFS キャッシュの最適化
- ディスク上のキャッシュデータの構成が改善されました。この変更により、システムディスクへの依存が解消され、データディスクが完全に独立し、ディスクのオフライン操作が強化されました。
- キャッシュサービスが改善され、ノードのフォールトトレランスとノードのオフライン操作が強化されました。
- キャッシュブロックをディスクに書き込むための選択ポリシーが改善されました。ラウンドロビンがデフォルトのポリシーになりました。
- 読み取りと書き込みのフローが改善され、フォールトトレランスが強化されました。
- JindoFS に
Cache、Uncache、Statusコマンドが追加されました。これらのコマンドは、指定されたフォルダーにデータをキャッシュし、データプリロードをサポートし、キャッシュの進行状況とステータスを確認します。 - 小さなファイルがキャッシュ領域を使用する方法が最適化され、関連するメトリクスについて、より正確な統計が提供されるようになりました。
JindoTable コンピューティングの最適化
JindoTable Optimizeコマンドが追加されました。このコマンドは、パーティション内の小さなファイルをマージするなど、Hive テーブル操作を最適化します。JindoTable Archive、Unarchive、Statusコマンドが追加されました。これらのコマンドは、指定されたテーブルとパーティションにデータをアーカイブし、アーカイブ操作の進行状況とステータスを確認します。JindoTable Cache、Uncache、Statusコマンドがサポートされるようになりました。これらのコマンドは、指定されたテーブルとパーティションにデータをキャッシュし、データプリロードをサポートし、キャッシュの進行状況とステータスを確認します。- MaxCompute テーブルを JindoFS キャッシュシステムにエクスポートできるようになりました。これにより、機械学習トレーニングの前に構造化データのプリロードメカニズムが提供されます。
詳細については、「JindoTable の使用方法」をご参照ください。
JindoFS OSS の拡張とサポート
- クライアントでの Ranger 権限統合がサポートされるようになりました。この機能は、さまざまな OSS 操作をキャプチャし、JindoFS サービスレコードを使用して Ranger 権限チェックを実行します。
- クライアントでの操作監査がサポートされるようになりました。この機能は、さまざまな OSS 操作をキャプチャし、JindoFS サービスを通じて監査用にログを記録します。
- Hadoop Credentials Provider フレームワークがサポートされるようになり、標準の Hadoop 方式で OSS アクセスキー構成を指定できるようになりました。
- Flink コネクターがサポートされるようになりました。Flink エンジンで、ソース、シンク、チェックポイントストレージに OSS を使用できるようになりました。
- JindoFS OSS SDK (Hadoop Connector) のライトバージョンが提供されています。このバージョンは、ユーザーのインターネットデータセンター (IDC) クラスターなど、非標準環境向けに設計されています。
JindoManager システム管理
JindoManager は、システムステータス、JindoFS ストレージシステムのファイル統計、およびキャッシュシステムのキャッシュメトリクスを表示するユーザーインターフェイス (UI) を提供するようになりました。
JindoTools ツールセット
Jindo DistCp ツールの配布メカニズムが改善されました。EMR クラスター内での使用と、EMR 以外のクラスター環境での使用向けに、異なる配布パッケージが提供されるようになりました。
Jindo DistCp のライトバージョンが利用可能になりました。これは、ユーザーの IDC クラスターなど、非標準環境向けに設計されています。