このトピックでは、Data Lake Formation(DLF)の制限について説明します。 DLF コンソールを使用する場合、または API オペレーションを呼び出す場合は、関連する要件が満たされていることを確認してください。満たされていない場合は、エラーが発生します。
メタデータ
項目 | クォータ |
1 秒あたりの単一テーブルに対するクエリ数 | 500 |
単一テーブルのパーティション数 | 1,000,000 |
データインポートの前処理
項目 | クォータ |
リージョンごとのデータインポートタスク数 | 1,000 |
各データインポートタスクの最大リソース数(コンピュートユニット(CU)で測定) | 100 |
互換性と制限事項
次の Hive 関連機能はサポートされていません。代わりに最新の Apache Hudi、Apache Iceberg、または Delta Lake を使用することをお勧めします。
Hive DB Lock Manager API
Hive DB Transaction Manager API
PRIMARY KEY や FOREIGN KEY などの Hive の制約
Hive の SQL 標準ベースの承認はサポートされていません。
この承認モードは、以前のバージョンの Hive で導入されたものであり、オープンソースコミュニティによって更新されなくなりました。代わりに DLF のデータ権限管理機能を使用することをお勧めします。
Metastore リスナーはサポートされていません。
メタデータ操作を監視および管理するには、Alibaba Cloud ActionTrail API オペレーションを呼び出すことをお勧めします。
Hive の Live Long and Process(LLAP)機能はサポートされていません。
代わりに Presto や Spark などのエンジンを使用することをお勧めします。
現在、DLF はセルフマネージド Hadoop クラスタをサポートしていません。データレイクを使用する場合は、Alibaba Cloud E-MapReduce クラスタを選択してください。