SmartData コンポーネントは、EMR Jindo エンジンのストレージレイヤーです。各種 EMR コンピューティングエンジン向けに、統合ストレージ、キャッシュ、コンピューティングの最適化、および機能拡張を提供します。SmartData コンポーネントは、JindoFS、JindoTable、および関連ツールセットで構成されます。このトピックでは、SmartData 3.6.x の更新内容について説明します。
JindoFS
次の表に、このバージョンにおける JindoFS の新機能を示します。
| 機能 | 説明 |
| JindoFS はマルチクラウド、S3 プロトコル、およびキャッシュアクセラレーションをサポート | JindoFS は S3 プロトコルをサポートしています。これにより、Amazon S3 およびその他の S3 互換システムにアクセスできます。また、より効率的にアクセスできるように、キャッシュアクセラレーションもサポートしています。 |
| JindoFS は HDFS 向けキャッシュアクセラレーションをサポート | JindoFS は、Hadoop 分散ファイルシステム (HDFS) にアクセスする際のキャッシュアクセラレーションを新たにサポートします。これにより、アクセス効率が向上します。 |
| JindoFS は MetaSync および Data Cache のトランザクションをサポート | JindoFS は、メタデータキャッシングに対してトランザクションによるロードのオプションを提供します。これにより、プリロードタスク全体がトランザクションとして実行され、ロード中に不完全な中間状態がメタデータビューに表示されるのを防ぎます。 |
| JindoFS がキャッシュのプリロードメカニズムを最適化 |
|
JindoSDK
次の表に、このバージョンにおける JindoSDK の新機能を示します。
| 機能 | 説明 |
| JindoSDK はローカルキャッシュポリシーをサポート | JindoSDK はローカルキャッシュポリシーをサポートしています。これにより、SmartData サービスをデプロイしていない場合でもローカルでデータをキャッシュでき、OSS データへのアクセス効率が向上します。 |
| JindoSDK はファイルシステム API と同等のオブジェクトストア API をサポート | JindoSDK は、既存のファイルシステム API のセマンティクスに加えて、オブジェクトストア API のセマンティクスをサポートするようになりました。オブジェクトストア API は、OSS などのオブジェクトストレージシステムにより近い対応関係を持つため、使いやすくなります。また、オブジェクトストア API は Copy や Rename などの操作も最適化し、実行効率を向上させます。 |
| JindoSDK は OSS 向けサーバーサイドキャッシュの最適化をサポート | JindoSDK は OSS アクセラレータ機能をサポートしています。この機能を有効にすると、アクセラレータの容量に基づいて OSS のアクセス帯域幅をカスタマイズできます。 |
| JindoSDK は OSS 向けセカンドレベルドメイン Endpoint をサポート | JindoSDK は、特定の環境においてセカンドレベルドメインまたは IP アドレスを使用して OSS サービスにアクセスできる新機能を導入します。セカンドレベルドメイン Endpoint を使用したアクセスは、デフォルトで無効になっています。 |
JindoTable
次の表に、このバージョンにおける JindoTable の新機能を示します。
| 機能 | 説明 |
| JindoTable は HDFS 向けデータ階層化と OSS へのアーカイブをサポート | JindoTable は、テーブルまたはパーティションを OSS に一括で移動し、メタデータを同期するための新しいコマンドを追加します。フィルター条件を使用してパーティションを選択し、データを OSS にコピーするためのストレージポリシーを指定できます。すでに OSS に存在するデータについては、一括アーカイブをサポートします。 |
| JindoTable は OSS からのアーカイブデータの復元と取得をサポート | JindoTable は、OSS に保存されているデータを一括で復元および取得するための新しいコマンドを提供します。 |
| JindoTable は Parquet データ向け Presto クエリアクセラレーションをサポート | JindoTable NativeEngine のクエリアクセラレーションエンジンは、Presto と Parquet を使用するシナリオをサポートしています。この機能により、Presto による Parquet データのクエリ効率が大幅に向上します。 |
| JindoTable は Parquet および ORC データ向け Spark 3 クエリアクセラレーションをサポート | JindoTable NativeEngine のクエリアクセラレーションエンジンは、Spark 3 コンピューティングエンジンと Parquet および ORC 形式のデータをサポートするようになりました。これにより、Spark 3 のクエリ効率が包括的に向上します。 |
| JindoTable は HDFS に保存されているデータのクエリアクセラレーションをサポート | JindoTable NativeEngine のクエリアクセラレーションエンジンは、HDFS ストレージをサポートするようになりました。これにより、Spark と Presto は NativeEngine を介して HDFS ファイルを効率的に読み取れます。 |
| JindoTable は OSS アクセスログの分析をサポート | SQL 文を使用して OSS アクセスログを分析できます。 |
JindoFuse
次の表に、このバージョンにおける JindoFuse の新機能を示します。
| 機能 | 説明 |
| JindoFuse がトレーニングおよびオンラインシナリオのサポートを改善 | JindoFuse は、JindoFS の名前空間を指定してマウントする機能を追加します。また、SDK モードでは OSS フォルダを指定してマウントすることもできます。 |