JindoData 4.x には、安定性、パフォーマンス、またはデータの正確性に影響を与える可能性のある既知の問題があります。ご利用のバージョンに関する問題を確認し、推奨される修正を適用してください。
バージョン 4.6.x
バージョン 4.6.2
JindoSDK 4.6.0 以降のバージョンでは、書き込みパスに対して CRC64 チェックサム検証がサポートされています。fs.oss.checksum.crc64.enable パラメーターは、デフォルトで有効になっています。
この設定により、OSS-HDFS への書き込みパフォーマンスが大幅に低下します。パフォーマンスを優先する場合は、これを無効化できます。EMR の Hadoop-Common サービスの Configure タブで、core-site.xml に設定項目を追加し、fs.oss.checksum.crc64.enable パラメーターを false に設定します。設定項目の追加方法については、「Manage configuration items」をご参照ください。
バージョン 4.6.1
-
JindoSDK 4.6.1 では、EMR クラスター内で OSS-HDFS へのパスワードなしのアクセスを使用すると、トークン更新を待機中に一部のジョブが中断されます。
固定 AccessKey を使用するか、JindoSDK をバージョン 4.6.2 以降にスペックアップしてください。スペックアップ手順については、「Upgrade and roll back JindoSDK for an EMR cluster (X86)」をご参照ください。
-
JindoSDK 4.6.1 では、EMR クラスター内でパスワードなしのアクセスを使用して JindoUtil ツールを実行すると、権限エラーが発生します。
固定 AccessKey を使用するか、JindoSDK をバージョン 4.6.2 以降にスペックアップしてください。スペックアップ手順については、「Upgrade and roll back JindoSDK for an EMR cluster (X86)」をご参照ください。
-
JindoSDK 4.6.0 以降のバージョンでは、書き込みパスに対して CRC64 チェックサム検証がサポートされています。fs.oss.checksum.crc64.enable パラメーターは、デフォルトで有効になっています。
この設定により、OSS-HDFS への書き込みパフォーマンスが大幅に低下します。パフォーマンスを優先する場合は、これを無効化できます。EMR の Hadoop-Common サービスの Configure タブで、core-site.xml に設定項目を追加し、fs.oss.checksum.crc64.enable パラメーターを false に設定します。設定項目の追加方法については、「Manage configuration items」をご参照ください。
バージョン 4.6.0
-
JindoSDK 4.6.0 では、EMR クラスター内で OSS-HDFS へのパスワードなしのアクセスを使用すると、トークン更新を待機中に一部のジョブが一部サービス停止状態になります。
固定 AccessKey を使用するか、JindoSDK をバージョン 4.6.2 以降にスペックアップしてください。スペックアップ手順については、「Upgrade and roll back JindoSDK for an EMR cluster (X86)」をご参照ください。
-
JindoSDK 4.6.0 および JindoFSx 4.6.0 では、Kerberos クラスター内で fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider を設定すると、JindoFSx Namespace Service でメモリリークが発生します。
JindoFSx および JindoSDK の両方をバージョン 4.6.2 以降にスペックアップしてください。詳細については、「Upgrade JindoData for an EMR cluster」および「Upgrade and roll back JindoSDK for an EMR cluster (X86)」をご参照ください。
-
JindoSDK 4.6.0 では、EMR クラスター内でパスワードなしのアクセスを使用して JindoUtil ツールを実行すると、権限エラーが発生します。
固定 AccessKey を使用するか、JindoSDK をバージョン 4.6.2 以降にスペックアップしてください。スペックアップ手順については、「Upgrade and roll back JindoSDK for an EMR cluster (X86)」をご参照ください。
-
JindoSDK 4.6.0 以降のバージョンでは、書き込みパスに対して CRC64 チェックサム検証がサポートされています。fs.oss.checksum.crc64.enable パラメーターは、デフォルトで有効になっています。
この設定により、OSS-HDFS への書き込みパフォーマンスが大幅に低下します。パフォーマンスを優先する場合は、これを無効化できます。EMR の Hadoop-Common サービスの Configure タブで、core-site.xml に設定項目を追加し、fs.oss.checksum.crc64.enable パラメーターを false に設定します。設定項目の追加方法については、「Manage configuration items」をご参照ください。
バージョン 4.5.x
バージョン 4.5.2
-
JindoSDK 4.5.2 および JindoFSx 4.5.2 では、Kerberos クラスター内で fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider を設定すると、JindoFSx Namespace Service でメモリリークが発生します。
JindoFSx および JindoSDK の両方をバージョン 4.6.2 以降にスペックアップしてください。詳細については、「Upgrade JindoData for an EMR cluster」および「Upgrade and roll back JindoSDK for an EMR cluster (X86)」をご参照ください。
-
JindoSDK 4.5.2 では、EMR クラスター内でパスワードなしのアクセスを使用して JindoUtil ツールを実行すると、権限エラーが発生します。
固定 AccessKey を使用するか、JindoSDK をバージョン 4.6.2 以降にスペックアップしてください。スペックアップ手順については、「Upgrade and roll back JindoSDK for an EMR cluster (X86)」をご参照ください。
バージョン 4.5.1
-
JindoSDK 4.5.1 および JindoFSx 4.5.1 では、Kerberos クラスター内で fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider を設定すると、JindoFSx Namespace Service でメモリリークが発生します。
JindoFSx および JindoSDK の両方をバージョン 4.6.2 以降にスペックアップしてください。詳細については、「Upgrade JindoData for an EMR cluster」および「Upgrade and roll back JindoSDK for an EMR cluster (X86)」をご参照ください。
-
JindoSDK 4.5.1 では、EMR クラスター内でパスワードなしのアクセスを使用して JindoUtil ツールを実行すると、権限エラーが発生します。
固定 AccessKey を使用するか、JindoSDK をバージョン 4.6.2 以降にスペックアップしてください。スペックアップ手順については、「Upgrade and roll back JindoSDK for an EMR cluster (X86)」をご参照ください。
バージョン 4.5.0
-
JindoSDK 4.5.0 および JindoFSx 4.5.0 では、Kerberos クラスター内で fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider を設定すると、JindoFSx Namespace Service でメモリリークが発生します。
JindoFSx および JindoSDK の両方をバージョン 4.6.2 以降にスペックアップしてください。詳細については、「Upgrade JindoData for an EMR cluster」および「Upgrade and roll back JindoSDK for an EMR cluster (X86)」をご参照ください。
-
JindoSDK 4.5.0 では、EMR クラスター内で OSS または OSS-HDFS へのパスワードなしのアクセスが失敗した場合、クライアントがリトライ時にトークンを更新しないため、一部のジョブが一部サービス停止状態になります。
固定 AccessKey を使用するか、JindoSDK をバージョン 4.6.2 以降にスペックアップしてください。スペックアップ手順については、「Upgrade and roll back JindoSDK for an EMR cluster (X86)」をご参照ください。
-
JindoSDK 4.5.0 では、EMR クラスター内でパスワードなしのアクセスを使用して JindoUtil ツールを実行すると、権限エラーが発生します。
固定 AccessKey を使用するか、JindoSDK をバージョン 4.6.2 以降にスペックアップしてください。スペックアップ手順については、「Upgrade and roll back JindoSDK for an EMR cluster (X86)」をご参照ください。
バージョン 4.4.x
-
JindoSDK 4.4.0、4.4.1、および 4.4.2、ならびに JindoFSx 4.4.0、4.4.1、および 4.4.2 では、Kerberos クラスター内で fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider を設定すると、JindoFSx Namespace Service でメモリリークが発生します。
JindoFSx および JindoSDK の両方をバージョン 4.6.2 以降にスペックアップしてください。詳細については、「Upgrade JindoData for an EMR cluster」および「Upgrade and roll back JindoSDK for an EMR cluster (X86)」をご参照ください。
-
JindoSDK 4.4.0 では、EMR クラスター内で OSS および OSS-HDFS への高同時実行数のパスワードなしのアクセスがコアダンプをトリガーする可能性があります。
固定 AccessKey を使用するか、JindoSDK をバージョン 4.6.2 以降にスペックアップしてください。スペックアップ手順については、「Upgrade and roll back JindoSDK for an EMR cluster (X86)」をご参照ください。
バージョン 4.3.x
-
JindoSDK 4.3.0 (EMR-3.40.0 または EMR-5.6.0 クラスター上) では、ディレクトリのタイムスタンプを表示すると
lsコマンドのパフォーマンスが低下するため、ディレクトリのタイムスタンプは表示されません。タイムスタンプを表示するには、JindoSDK をバージョン 4.3.1 以降にスペックアップしてください。スペックアップ手順については、「Upgrade and roll back JindoSDK for an EMR cluster (X86)」をご参照ください。
-
JindoSDK 4.3.0 (EMR-3.40.0 または EMR-5.6.0 クラスター上) では、MagicCommitter が頻繁な
uploadPart呼び出しをトリガーし、"Part number must be an integer between 1 and 10000" エラーが発生する可能性があります。この問題を解決するには、JindoSDK をバージョン 4.3.1 以降にスペックアップしてください。スペックアップ手順については、「Upgrade and roll back JindoSDK for an EMR cluster (X86)」をご参照ください。
-
JindoFSx 4.3.0 では、特定のパスからキャッシュデータを読み取る際にエラー処理が不適切に行われます。サーバーがクライアントにエラーを返さないため、クライアントは誤ったデータを受け取ります。
この問題を解決するには、JindoFSx をバージョン 4.3.1 以降にスペックアップしてください。詳細については、「Upgrade JindoData for an EMR cluster」をご参照ください。
-
JindoFSx 4.3.0 では、メモリキャッシュのプリロードコマンドの処理が不適切であるため、キャッシュデータが破損し、その後の読み取りで誤った結果が返される可能性があります。
この問題を解決するには、JindoFSx をバージョン 4.3.1 以降にスペックアップしてください。詳細については、「Upgrade JindoData for an EMR cluster」をご参照ください。
-
JindoFSx 4.3.0 および 4.3.1 では、ファイルハンドルがリークします。時間の経過とともにプロセスがオペレーティングシステムのファイルハンドル制限に達し、新しいハンドルを開けなくなるため、サービスが利用できなくなります。
この問題を解決するには、JindoFSx をバージョン 4.3.2 以降にスペックアップしてください。詳細については、「Upgrade JindoData for an EMR cluster」をご参照ください。
バージョン 4.2.x
JindoSDK 4.2.0 では、大規模ファイルに対する SEEK 操作によって整数オーバーフローが発生し、OSS から大規模ファイルを読み取る SEEK ベースのジョブが失敗する可能性があります。
バージョン 4.1.x
JindoSDK 4.1.0 では、大規模ファイルに対する SEEK 操作によって整数オーバーフローが発生し、OSS から大規模ファイルを読み取る SEEK ベースのジョブが失敗する可能性があります。
バージョン 4.0.x
JindoSDK 4.0.0 (EMR-3.39.0 または EMR-5.5.0 クラスター上) では、大規模ファイルに対する SEEK 操作によって整数オーバーフローが発生し、OSS から大規模ファイルを読み取る SEEK ベースのジョブが失敗する可能性があります。
制限事項
-
JindoSDK は、80 GB を超えるファイルを OSS に書き込むことをサポートしていません。
-
JindoSDK は、OSS への追加モードでの書き込みをサポートしていません。
-
JindoSDK は、OSS のクライアント側暗号化をサポートしていません。
-
JindoSDK は、古いバージョンの JindoFS のブロックモードおよびキャッシュモードをサポートしていません。
-
Alibaba Cloud OSS-HDFS サービス (JindoFS サービス) は、ブロックモードで実行中の古いバージョンの JindoFS からのスペックアップをサポートしていません。
JindoDistCp ツールを使用して、旧システムから新サービスへデータを移行できます。