JindoData は、Alibaba Cloud のオープンソースビッグデータチームによって開発されたデータレイクストレージアクセラレーションスイートです。Alibaba Cloud および業界の主要なデータレイクストレージシステム向けに、ビッグデータおよび AI エコシステムのための包括的なアクセスアクセラレーションソリューションを提供します。このトピックでは、JindoData の各バージョンでサポートされている機能について説明します。
背景情報
JindoData は、元の Alibaba Cloud EMR SmartData コンポーネントのアップグレードバージョンです。詳細については、「JindoData (既存ユーザーのみ利用可能)」をご参照ください。
JindoData 4.6.x バージョン
概要
JindoData 4.6.x バージョンでは、Hadoop 分散ファイルシステム (HDFS) から OSS-HDFS への移行をサポートするスムーズな移行機能が導入されています。この機能により、データ移行プロセスが大幅に簡素化されます。JindoFS ストレージシステムは、ファイルインベントリ機能をサポートしており、データ分布と所有権をよりよく理解するのに役立ちます。パフォーマンスの最適化のために、JindoFS ストレージシステムは、完全および増分最適化を通じて `du` および `count` 操作のパフォーマンスを向上させます。JindoSDK 4.6.x バージョンは、書き込みリンクの安定性を向上させるために、ファイルレベルおよびブロックレベルの検証をサポートしています。JindoSDK は、マルチパスアクセスプロトコルもサポートしており、これにより、異なるプロトコルモードを使用して同じバックエンドパスにアクセスできます。
JindoData 4.6.11
JindoData 4.6.11 では、以下の問題が修正されています。
JindoSDK: Alibaba Cloud EMR Hadoop 2.8.5 環境で JindoCommitter が古い mapred API を使用してデータを書き込む問題を修正しました。
JindoTable: Object Storage Service (OSS) のテーブルまたはパーティションを復元する機能を最適化しました。復元日数を設定できるようになりました。詳細については、「JindoTable を使用して OSS のテーブルまたはパーティションをアーカイブおよび復元する」をご参照ください。
JindoData 4.6.10
JindoData 4.6.10 では、以下の問題が修正されています。
JindoFS: `pread` プリフェッチロジックを最適化しました。
JindoSDK: ジョブのコミットパフォーマンスを最適化するために、同時コミットタスクのサポートを追加しました。
JindoSDK: パス再書き込みロジックを最適化しました。
JindoFuse: オブジェクトを追加する際に発生する問題を修正しました。
JindoData 4.6.8
JindoData 4.6.8 では、以下の問題が修正されています。
JindoFS: クライアントがゴミ箱の保持期間を設定できるサポートを追加しました。
JindoSDK: `MALLOC_CONF` を使用してメモリ使用量を最適化するサポートを追加しました。
JindoFuse: OSS-HDFS をマウントする際のグレースフルシャットダウンのサポートを追加しました。
JindoFSx: ワイルドカード文字を使用してキャッシュプリフェッチ用のファイルリストをフィルターするサポートを追加しました。
JindoFSx: キャッシュのクリアが有効にならない問題を修正しました。
JindoData 4.6.7
JindoData 4.6.7 では、以下の問題が修正されています。
JindoFuse: グレースフルシャットダウンメカニズムのサポートを追加しました。
JindoFuse: ログ出力を最適化しました。
JindoFuse: OSS をマウントする際に `O_APPEND` または `O_TRUNC` がサポートされない問題を修正しました。
JindoData 4.6.6
`distjob` および `distcp` タスクの並列処理の次数を最適化しました。最大並列処理の次数はタスク数に制限されるようになりました。
JindoData 4.6.5
JindoData 4.6.5 は、バージョン 4.6.4 に基づく多くの修正と最適化を含んでいます。更新内容は次のとおりです:
`JindoOssFileSystem` を指す OSS スキーム用の ServiceLoader を追加しました。
`isDirectory()` メソッドの例外処理を最適化しました。
Path *のようなワイルドカードを含むパスで呼び出された場合、メソッドは `IllegalPath` 例外をスローする代わりに `false` を返すようになりました。Hadoop ソフトウェア開発キット (SDK) を最適化し、Hadoop 構成が同時に変更された場合に一部のシナリオで発生する可能性のある `ConcurrentModificationException` を防止しました。
JindoMagicCommitter クライアントが OSS に書き込む際のリトライロジックを最適化し、一時ディレクトリが異常であるか、ディスクが破損しているケースを処理するようにしました。この最適化により、ジョブの書き込み成功率が向上し、`InvalidPart` 例外 (
One or more of the specified parts could not be found or the specified entity tag might not have matched the part's entity tag.) を防止します。
JindoData 4.6.4
JindoData 4.6.4 は、マルチプラットフォームのサポートを追加します。
サポートされているプラットフォームの詳細については、「JindoData のダウンロード」をご参照ください。
Java プラットフォームでは、複数の `jindo-core` パッケージをデプロイして、マルチプラットフォームのサポートを実装できます。デフォルトでは、`jindo-core` は主流の Linux システムをサポートしています。他のプラットフォームで使用するには、対応するプラットフォーム拡張パッケージを追加する必要があります。
マルチプラットフォームサポートの依存関係パッケージは、JindoData Maven リポジトリにアップロードされています。たとえば、Maven を使用してプロジェクトをビルドする際に OSS にアクセスするには、「jindosdk_ide_hadoop.md」の依存関係構成をご参照ください。
たとえば、主流の Linux システムに Hadoop クラスターをデプロイするには、`jindo-core-4.6.4.jar` と `jindo-sdk-4.6.4.jar` を指定のクラスパスに追加します。macOS で実行およびデバッグするには、`jindo-core-4.6.4.jar` と `jindo-sdk-4.6.4.jar` に加えて、`jindo-core-macos-10_14-x86_64-4.6.4.jar` 拡張パッケージが必要です。
「JindoData のダウンロード」ページに移動して、`jindosdk-4.6.10-macos-10_14-x86_64.tar.gz` をダウンロードしてください。このパッケージには、この例で必要な `jindo-core-4.6.4.jar`、`jindo-sdk-4.6.4.jar`、および `jindo-core-macos-10_14-x86_64-4.6.4.jar` 拡張パッケージが含まれています。
JindoData 4.6.2
JindoData 4.6.2 は、バージョン 4.6.1 に基づく多くの修正を含んでいます。JindoFS ストレージシステムの修正は次のとおりです:
JindoFS ストレージシステム
階層化ストレージで標準 (STD) から STD に変換する際にサービスがスタックする問題を修正しました。
階層化ストレージによって生成された空のマニフェストファイルが原因でサービスがスタックする問題を修正しました。
階層化ストレージタスクの実行を高速化しました。
RootPolicy 機能のロジックを修正しました。
`setAcl` 操作が時折サービスをクラッシュさせる問題を修正しました。
DB マニフェストファイルがディスクを一杯にするという、発生確率の低い問題を修正しました。
移行サービスのバッチメタデータインポート機能を修正しました。
JindoData 4.6.1
JindoFS ストレージシステム
JindoFS: 冗長なログ出力を削減しました。
JindoFS: 閉じられていないファイルのメタデータインベントリをエクスポートしたときにファイルサイズが正しくない問題を修正しました。
JindoFSx ストレージアクセラレーションシステム
JindoFSx: 一時キャッシュディレクトリの自動クリーンアップのサポートを追加しました。
JindoSDK とツールのサポート
JindoSDK: 過大なログ出力を削減しました。
JindoSDK: デフォルトで `du` および `count` 操作のサーバーサイドパス最適化を有効にしました。
JindoSDK: 頻繁なリクエストによるスロットリングを防ぐために、セキュリティトークンサービス (STS) トークンの更新頻度を減らしました。
JindoSDK: ECS 認証情報不要サービス内でのトークンリフレッシュの失敗を防ぐため、認証情報不要 URL の Resource Access Management (RAM) ロール名を小文字に変更しました。
JindoData 4.6.0
JindoFS ストレージシステム
JindoFS: OSS-HDFS からのファイルインベントリのエクスポートをサポートします。この機能は、データ分布をよりよく理解し、カスタム開発を行うのに役立ちます。
JindoFS: 完全および増分サーバーサイド最適化により、`du` および `count` 操作のパフォーマンスを大幅に向上させます。
JindoFS: HDFS から OSS-HDFS へのスムーズな移行をサポートし、データ移行プロセスを大幅に簡素化します。
JindoFS: マルチパスプロトコルアクセスをサポートします。異なるプロトコルを使用して同じバックエンドパスにアクセスできます。
JindoFSx ストレージアクセラレーションシステム
JindoFSx: キャッシュへの書き込み時にクライアントが予期せず終了する問題を修正しました。
JindoFSx: メトリックレポート中にクライアントが予期せず終了する問題を修正しました。
JindoFSx: Ranger を使用する際のメモリリークの問題を修正しました。
JindoSDK とツールのサポート
JindoSDK: ファイルおよびブロックレベルでの書き込みに対する CRC および MD5 チェックサム検証をサポートします。
JindoSDK: Hadoop 環境を必要とせずにデータ同期を行うための Jindo Sync ツールをサポートします。
JindoSDK: OSS-HDFS TensorFlow Connector をサポートします。
JindoData 4.5.x バージョン
JindoData 4.5.1
概要
バージョン 4.5.1 は、バージョン 4.5.0 のマイナーアップグレードであり、重要な修正と改善が含まれています。JindoFS は、サービスの安定性と例外処理を向上させます。JindoFS と JindoFSx は、アダプティブプリフェッチアルゴリズムをさらに改善し、プリフェッチ効率を向上させます。JindoDistCp には、データコピープロセスの安定性を高めるための多くの修正と最適化が含まれています。JindoFuse は、新しい基盤設計を使用してパフォーマンスを大幅に向上させます。
主な機能
JindoFS ストレージシステム
JindoFS: メモリ使用量を改善しました。
JindoFS:
ASSUME_ROLEエラーに対する例外処理とログベースのアラートを追加しました。JindoFS: リトライ中に動的 AccessKey を更新する機能をサポートします。
JindoFS: アダプティブプリフェッチアルゴリズムをさらに改善し、プリフェッチ効率を向上させました。
JindoFS: ランダムファイル書き込みシナリオの読み取りおよび書き込みパスを修正しました。
JindoFS: `CheckAccess` API をサポートします。
JindoFSx ストレージアクセラレーションシステム
JindoFSx: アダプティブプリフェッチアルゴリズムをさらに改善し、プリフェッチ効率を向上させました。
JindoFSx: パス内のスペースをサポートします。
JindoFSx: マルチレプリカ読み取り中のホットスポットの発生を低減しました。
JindoSDK とツールのサポート
Jindo コマンドは、Hadoop コマンドを完全にカバーするようになりました。
Jindo コマンドは、HDFS のネイティブサポートを含むようになり、パフォーマンスとユーザーエクスペリエンスを大幅に向上させます。
JindoDistCp は、Alibaba Cloud CloudMonitor との統合をサポートします。
JindoDistCp は、OSS から HDFS パスに移行されたデータのチェックサム検証をサポートします。
JindoDistCp は、ジョブ分割パラメーターをサポートします。
JindoDistCp は、コピープロセス中のソースファイルの削除に関するエラー処理ロジックを修正しました。
JindoSDK は、ランダム読み取りのメモリ使用量を最適化します。
JindoFuse POSIX サポート
JindoFuse は、低レベル API を使用して再設計され、
readdirなどの操作のパフォーマンスを大幅に向上させました。JindoFuse は、JindoFSx がマウントされた後に異常なプログラムがルートディレクトリをリストする問題を修正しました。
JindoData 4.5.0
概要
このバージョンは、JindoFS ストレージシステムのメタデータ操作パフォーマンスの最適化に重点を置いており、大幅なパフォーマンス向上を実現しています。JindoFS の階層化ストレージ機能が強化され、低頻度アクセス (IA) およびコールドアーカイブストレージをサポートするようになりました。大規模な抽出・変換・書き出し (ETL) ジョブのパフォーマンスを最適化するために、バッチ書き込みのサポートが追加されました。SDK およびエコシステムコンポーネントについては、Hadoop に依存しない Java SDK が提供されます。
主な機能
JindoFS ストレージシステム
JindoFS: メタデータ操作を最適化し、パフォーマンスを大幅に向上させました。
JindoFS: 階層化ストレージ機能を強化し、IA およびコールドアーカイブストレージタイプをサポートするようになりました。
JindoFS: 大規模な ETL ジョブのパフォーマンスを最適化するために、バッチ書き込み機能を追加しました。
JindoFS: サーバー側の権限付与エラーが原因で OSS にアクセスするとサービス例外が発生する問題を修正しました。
JindoFSx ストレージアクセラレーションシステム
JindoFSx: ストレージサービスにおけるファイルハンドルリークの問題を修正しました。
JindoFSx: クライアント側のメトリックレポートにおけるスレッドセーフの問題を修正しました。
JindoFSx: 親ディレクトリを再帰的に作成するパフォーマンスを最適化しました。
JindoFSx: パス再書き込み機能のパフォーマンスを最適化しました。
JindoSDK とツールのサポート
JindoSDK: アダプティブプリフェッチアルゴリズムをサポートし、プリフェッチ効率を向上させます。
JindoSDK: Tablestore に基づくアトミックな名前変更操作をサポートします。
JindoDistCp: `diff` 機能を最適化し、差分ファイルの出力をサポートするようになりました。
JindoSDK: リトライエラーの統一的な処理を実装し、サーバーの IP アドレス変更によって引き起こされるクライアントのリトライ失敗を解決しました。
JindoSDK: Hadoop に依存しない Java SDK を提供し、Hadoop SDK および Object SDK に匹敵する機能を提供します。
JindoFuse POSIX サポート
JindoFuse: JindoFSx でキャッシングが有効になっている場合にリスト操作によって引き起こされるメモリリークの問題を修正しました。
JindoData 4.4.x バージョン
概要
JindoFS ストレージシステムには、階層化ストレージとデータアーカイブ機能が含まれるようになりました。Alibaba Cloud OSS の階層化ストレージ機能を使用し、HDFS の階層化ストレージポリシーと互換性があります。この機能により、アクセス頻度の低いデータに対して低コストのストレージポリシーを選択し、総ストレージコストを削減できます。さらに、JindoFS は HDFS AuditLog 機能のサポートを追加し、Apache HDFS との API 互換性、機能パリティ、およびデータ移行能力を大幅に向上させます。また、OSS への迅速なデータインポートと、セミマネージド JindoFS インスタンスからの移行も改善されます。JindoFS の機能は、Alibaba Cloud OSS-HDFS サービスを通じて提供されます。詳細については、「OSS-HDFS サービスとは」をご参照ください。
JindoFSx ストレージアクセラレーションシステムでは、JindoData 4.4.x バージョンはクライアントサイドローカルキャッシュ (LocalCache) をサポートし、クライアントサイドのみのキャッシュアクセラレーションを提供します。これにより、メタデータキャッシング能力が大幅に向上し、Alibaba Cloud NAS のキャッシュアクセラレーションが強化されます。
SDK およびエコシステムコンポーネントについては、複数の操作のパフォーマンスとスループットが大幅に向上しました。Object SDK がサポートされるようになりました。OSS オブジェクトストレージ API と互換性があり、さまざまな操作のパフォーマンスを大幅に向上させ、JindoFSx アクセラレーション機能とシームレスに統合します。JindoDistJob ツールが導入され、セミマネージド JindoFS からのファイルメタデータの完全および増分移行をサポートします。これにより、データブロックを移行することなく、JindoFS サービスベースのソリューションにスムーズに切り替えることができます。JindoDistCp 移行ツールは大幅に強化され、Apache HDFS から JindoFS サービスへのロスレス移行を実現し、ファイルメタデータもコピーされることを保証します。
主な機能
JindoFS ストレージシステム
JindoFS は、階層化ストレージとデータアーカイブをサポートし、HDFS ストレージポリシーと互換性があります。
JindoFS は、ファイルデータをバッチでインポートするための `BatchImport` をサポートします。
JindoFS は、HDFS AuditLog をサポートします。
JindoFS は、`Concat` および `SymLink` API をサポートします。
JindoFS は、ファイルデータのバックグラウンドクリーンアッププロセスを最適化します。
JindoFS は、`Lease` および `Lock` 関連の操作のパフォーマンスを最適化します。
JindoFSx ストレージアクセラレーションシステム
JindoFSx は、キャッシュプラグインをサポートし、クライアントサイドキャッシュモードを提供します。
JindoFSx は、プラグインベースの権限付与をサポートします。デフォルトでは、KRB5 および SASL ライブラリの依存関係をインストールする必要はありません。
JindoFSx は、メタデータキャッシュのパフォーマンスを大幅に最適化し、Alibaba Cloud NAS のキャッシュアクセラレーションサポートを向上させます。
JindoSDK とツールのサポート
JindoSDK は、HTTPS のサポートを改善し、脆弱なネットワーク環境でのフォールトトレランスを強化します。
JindoSDK は、デフォルトで KRB5 および SASL ライブラリへの依存を削除することで、デプロイメントを改善します。
JindoSDK は、OSS オブジェクトストレージ API のサポートを追加し、操作パフォーマンスを大幅に向上させ、JindoFSx キャッシュアクセラレーション機能とシームレスに統合します。
JindoDistJob ツールが追加され、ブロックモードのセミマネージド JindoFS から JindoFS サービスへのデータの迅速な移行をサポートします。
JindoDistCp は、Apache HDFS から JindoFS サービスへのデータ移行能力を大幅に向上させ、ファイルメタデータのロスレス移行をサポートします。
JindoFuse POSIX サポート
JindoFuse は、大きなファイルのシーケンシャル読み取りのパフォーマンスを最適化します。
JindoData 4.3.x バージョン
概要
JindoData 4.3.0 は、マルチクラウドアーキテクチャを完全にサポートします。これは、マルチクラウド、複数のストレージシステム、さまざまなアクセラレーション拡張機能、複数のプロトコル、および複数のプログラミング言語をサポートするデータレイクストレージソリューションです。JindoFS ストレージシステムの POSIX サポートが大幅に改善されました。JindoFSx システムは、初めて Kerberos+Ranger セキュリティ拡張機能をサポートします。JindoSDK およびエコシステムツールも、テストカバレッジの点で大幅に改善されました。
主な機能
JindoSDK とツールのサポート
JindoSDK は、Amazon S3、COS、OBS などのマルチクラウドストレージをサポートします。
JindoSDK は JindoTable ツールを提供します。
JindoSDK は、Flink Connector プラグインを最適化します。
JindoSDK は、JindoDistCp を改善します。
JindoFSx ストレージアクセラレーションシステム
JindoFSx は、Amazon S3、COS、OBS などのマルチクラウドストレージをサポートします。
JindoFSx は、データキャッシングとメタデータキャッシングを最適化します。
JindoFSx は、Kerberos+Ranger 権限付与ソリューションをサポートします。
JindoFSx は、可観測性メトリックを大幅に改善します。
JindoFSx は、Fluid と統合されています。
JindoFS ストレージシステム
JindoFS は、POSIX Lock および Fallocate 機能をサポートします。
JindoFS は、ブロックモードの古い JindoFS バージョンのクラスターのアップグレードをサポートします。
JindoFuse POSIX サポート
JindoFuse は、Setxattr、Getxattr、Listxattr、Removexattr などの XAttr 関連 API のサポートを追加します。
JindoFuse は、POSIX Lock および Fallocate 機能をサポートします。
JindoFuse は、Append、Flush、書き込み中の読み取り機能など、OSS の追加可能なオブジェクトをサポートします。
JindoData 4.2.x バージョン
概要
JindoData 4.2.0 は、JindoFSx ストレージアクセラレーションシステムを大幅に改善します。Apache HDFS および Alibaba Cloud NAS ストレージ製品のキャッシュアクセラレーションを追加し、JindoFuse、JindoDistCp、JindoTable などのツールを強化します。
主な機能
JindoFSx ストレージアクセラレーションシステム
Alibaba Cloud Apache HDFS の透過的なキャッシュアクセラレーション (
hdfs://を変更しない) と、統一マウントアクセラレーション (fsx://) をサポートします。Alibaba Cloud NAS ストレージ製品の統一マウントアクセラレーション (
fsx://) をサポートします。Alibaba Cloud OSS-HDFS サービス (JindoFS サービス) と完全に統合し、サポートを改善し、書き込みパスのサポートを向上させます。
JindoSDK とツールのサポート
POSIX ライクな API メソッドを提供する、最初の C/C++ バージョンの JindoSDK を導入します。
JindoFuse POSIX をサポートします。JindoFuse ツールは、C/C++ バージョンの JindoSDK に基づいて構築され、改善されています。
JindoDistCp データ移行をサポートします。JindoDistCp ツールはリファクタリングされ、3.x バージョンからあまり使用されない機能を簡素化および削除することで、使いやすさと堅牢性を向上させています。
JindoTable ツールをサポートします。JindoTable ツールはリファクタリングされ、3.x バージョンからあまり使用されない機能を簡素化および削除することで、使いやすさと堅牢性を向上させています。
JindoData 4.1.x バージョン
概要
JindoData 4.1.0 は、Alibaba Cloud OSS-HDFS サービス (JindoFS サービス) でのランダム書き込みなどの重要な機能を導入します。また、ネイティブの Alibaba Cloud OSS および OSS-HDFS サービス (JindoFS サービス) の分散キャッシングをサポートする JindoFSx ストレージアクセラレーションシステムも追加します。
主な機能
JindoFS ストレージシステム
JindoFS サービスの機能
ランダムファイル書き込みをサポートし、ファイルの変更を可能にします。
HDFS のゴミ箱をサポートします。システムバックエンドは、有効期限に基づいてゴミ箱内のファイルをクリーンアップします。
HDFS スナップショット機能を改善し、ランダムなファイル変更をサポートします。
ディレクトリ削除メカニズムを改善し、操作パフォーマンスを大幅に向上させます。
NsWorker フレームワークを実装し、グローバルメタサービスが一部の重い処理を Follower および Learner ノードにオフロードできるようにします。
JindoShell CLI サポート
コマンドを使用して HDFS のゴミ箱の有効期限を設定できます。
dumpFileコマンドを改善し、ランダム書き込みファイルに関する情報を出力します。
JindoFuse POSIX サポート
ランダムファイル変更 (Seek および Write) をサポートします。
JindoFSx ストレージアクセラレーションシステム
JindoFSx のコア機能
Alibaba Cloud OSS の透過的なキャッシュアクセラレーションをサポートします (
oss://を変更しない)。Alibaba Cloud OSS-HDFS サービス (JindoFS サービス) の透過的なキャッシュアクセラレーションをサポートします (
oss://を変更しない)。統一された名前空間機能を提供し、OSS または OSS-HDFS を同じ名前空間にマウントし、
fsx://プレフィックスを使用して統一された操作を実行できます。大規模なファイルメタデータのキャッシュアクセラレーションをサポートします。
小規模なファイルトレーニングのアクセラレーションをサポートします。
P2P アクセラレーションをサポートし、多くのトレーニングノードがモデルファイルを同時にプリフェッチしてロードするシナリオでキャッシュ読み取りパフォーマンスを大幅に向上させます。
JindoSDK Hadoop サポート
JindoOssFileSystemを提供し、OSS および OSS-HDFS の透過的なキャッシュアクセラレーションをサポートします。JindoFsxFileSystemを提供し、統一された名前空間モードでの使用をサポートします。
JindoShell CLI サポート
JindoFSx データキャッシュコマンドをサポートします。
JindoFSx メタデータキャッシュコマンドをサポートします。
JindoFSx 統一名前空間管理コマンドをサポートします。
JindoFuse POSIX サポート
Fuse を使用して
oss://パスをマウントし、JindoFSx キャッシュから読み書きすることをサポートします。Fuse を使用して
fsx://パスをマウントし、JindoFSx キャッシュから読み書きすることをサポートします。
JindoData 4.0.x バージョン
概要
JindoData 4.0.0 は、元の Alibaba Cloud EMR SmartData コンポーネント (メジャーバージョン 3.8.0 まで) のアーキテクチャアップグレード後にリリースされた最初のバージョンです。このバージョンは、Alibaba Cloud OSS 製品および Alibaba Cloud OSS-HDFS サービス (JindoFS サービス) との統合およびサポートに重点を置いています。
説明JindoFSx ストレージアクセラレーションシステムは、JindoData 4.0.0 ではリリースされていません。
主な機能
Alibaba Cloud OSS サービス
JindoSDK Hadoop サポート
Alibaba Cloud OSS 用の Java Hadoop SDK を提供し、Hadoop OSS Connector と完全に互換性があり、パフォーマンスを大幅に向上させます。
構成、ECS Role、EMR 認証情報不要メカニズムなど、認証情報プロバイダーを設定する複数の方法をサポートします。
書き込み時のアーカイブ (Archive および Deep Cold Archive など) をサポートします。
JindoShell CLI サポート
Hadoop および HDFS Shell の追加のコマンド拡張機能を提供し、Alibaba Cloud OSS 向けの Hadoop 指向の操作を提供します。
標準の `ls` コマンド出力に加えて、OSS 内のファイルまたはオブジェクトのストレージステータス (Standard、IA、Archive など) を表示できる
ls2拡張コマンドをサポートします。アーカイブ操作用のディレクトリを指定できる
archiveコマンドをサポートします。復元操作用のディレクトリを指定できる
restoreコマンドをサポートします。
JindoFuse POSIX サポート
これは、Alibaba Cloud OSS 用に最適化された Fuse クライアントです。そのネイティブコード実装により、パフォーマンスが大幅に向上します。
JindoDistCp データ移行
自己管理の HDFS クラスターから Alibaba Cloud OSS へのデータ移行をサポートし、大きなファイルや多数の小さなファイルに対して最適化されています。
Alibaba Cloud OSS-HDFS サービス (JindoFS サービス)
JindoFS サービス
Alibaba Cloud OSS 製品の新しいバケットストレージオプションを追加します。メタデータアクセラレーション機能を提供し、バイナリ互換性があり、Apache HDFS 機能と完全に整合しており、HDFS のリフトアンドシフト移行をサポートします。
ファイルシステムのディレクトリセマンティクスをネイティブにサポートし、ディレクトリ操作を大幅に最適化し、超大規模ディレクトリのアトミックかつミリ秒レベルの名前変更機能をサポートします。
HDFS 書き込みリース、1 回の書き込みで複数回の読み取り、書き込み中の読み取りなど、ファイルシステムのファイルセマンティクスをネイティブにサポートします。
ファイルの
append、flush、sync、およびtruncate操作をサポートします。ほぼ無制限のスナップショット数をサポートする HDFS スナップショットをサポートし、データバックアップ、ディザスタリカバリ、および復元を容易にします。
ファイル権限をサポートします。
JindoShellコマンドを使用して、ユーザーグループ情報 (UserGroupsMapping) をインポートおよび設定できます。Hadoop プロキシユーザーアクセス制御メカニズムをサポートします。
JindoSDK Hadoop サポート
JindoSDK には、Alibaba Cloud OSS-HDFS サービス (JindoFS サービス) へのアクセスが組み込みでサポートされており、包括的な HDFS API アクセスおよび使用体験を提供します。
JindoShell CLI サポート
Hadoop および HDFS Shell の追加のコマンド拡張機能を提供し、Alibaba Cloud OSS-HDFS サービス (JindoFS サービス) 向けの Hadoop 指向の操作を提供します。
コマンドを使用してユーザーグループ情報 (UserGroupsMapping) をインポートおよび設定できます。
コマンドを使用して Hadoop プロキシユーザーのルールを設定できます。
JindoFuse POSIX サポート
Alibaba Cloud OSS-HDFS サービス (JindoFS サービス) 用に最適化された Fuse クライアントを提供します。完全なネイティブコード実装の恩恵を受け、パフォーマンスが大幅に向上します。
既知の問題
JindoSDK は、80 GB を超えるファイルを OSS に書き込むことをサポートしていません。
JindoSDK は、追加モードでの OSS への書き込みをサポートしていません。
JindoSDK は、OSS のクライアントベースの暗号化をサポートしていません。
JindoSDK は、ブロックモードまたはキャッシュモードの古いバージョンの JindoFS をサポートしていません。
Alibaba Cloud OSS-HDFS サービス (JindoFS サービス) は、ブロックモードの古いバージョンの JindoFS からのシステムアップグレードをサポートしていません。JindoDistCp 移行ツールを使用して、古いシステムから新しいサービスにデータを移行する必要があります。