AnalyticDB for MySQL は、RDS MySQL、MongoDB、OSS、MaxCompute、Kafka などのさまざまなデータソースからデータウェアハウスまたはデータレイクにデータをインポートすることをサポートしています。インポートメソッドはデータソースによって異なります。このドキュメントを使用して、適切なインポートメソッドを選択してください。
概要
データウェアハウスとデータレイクへのデータ取り込みの違いは次のとおりです。
データウェアハウスへのデータ取り込み:
データは前処理されてからデータウェアハウスにインポートされます。
データウェアハウスは、AnalyticDB for MySQL によって開発された独自の Xuanwu 分析ストレージエンジン を使用します。このストレージエンジンは、高い信頼性、高い可用性、パフォーマンス専有型、および費用対効果の高いエンタープライズグレードのデータストレージを提供します。このエンジンにより、AnalyticDB for MySQL は、高スループットのリアルタイム書き込みとパフォーマンス専有型のリアルタイムクエリをサポートできます。
データウェアハウスへのデータ取り込みは、データ分析に高いパフォーマンスを必要とするビジネスシナリオに適しています。
データレイクへのデータ取り込み:
生データは、Iceberg や Paimon などのオープンソースのテーブルフォーマットでデータレイクにインポートされます。
AnalyticDB for MySQL が提供する レイクストレージ または独自の OSS バケットをデータレイクストレージとして使用できます。データレイクはオープンソースであり、Iceberg や Paimon などのオープンフォーマットでデータを保存するため、データは AnalyticDB for MySQL の Spark および XIHE エンジンと、MaxCompute などの外部エンジンの両方からアクセスできます。
データレイクへのデータ取り込みは、オープンソースソリューションを必要とし、分析パフォーマンスに厳しい要件がないビジネスシナリオに適しています。データレイクに高いアクセスパフォーマンスが必要な場合は、LakeCache を有効にすることで、OSS と比較してより高い帯域幅とより低いレイテンシーを実現できます。
データウェアハウスへのデータ取り込み
カテゴリ | データソース | インポート方法 | プロダクトエディション | ドキュメント |
データベース | RDS MySQL | 外部テーブル | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | |
DTS | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | |||
DataWorks | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | |||
シームレス統合 | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | |||
RDS SQL Server | DTS | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | ||
DataWorks | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | |||
PolarDB 分散版 (旧 DRDS) | DTS | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | ||
DataWorks | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | |||
ワンストップ同期 | Enterprise Edition、Basic Edition、または Data Lakehouse Edition | |||
PolarDB for MySQL | 統合分析 | Enterprise Edition、Basic Edition、または Data Lakehouse Edition | ||
DTS | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | |||
シームレス統合 | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | |||
MongoDB | 外観 | Enterprise Edition、Basic Edition、または Data Lakehouse Edition | ||
シームレス統合 | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | |||
Lindorm | シームレス統合 | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | ||
Oracle | DataWorks | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | ||
自己管理 MySQL | 外観 | Data Warehouse Edition | ||
自己管理 HBase | DTS | Data Warehouse Edition | ||
ストレージ | OSS | 外部テーブル | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | |
DataWorks | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | |||
Tablestore | 外部テーブル | Enterprise Edition、Basic Edition、または Data Lakehouse Edition | ||
HDFS | 外部テーブル | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | ||
DataWorks | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | |||
ビッグデータ | MaxCompute | 外部テーブル | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | |
DataWorks | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | |||
Flink | Flink | Data Warehouse Edition | ||
メッセージキュー | Kafka | DataWorks | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | |
Logstash プラグイン | Data Warehouse Edition | |||
ログデータ | ログデータ | データ同期 | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | |
Logstash プラグイン | Data Warehouse Edition | |||
ローカルデータ | SQLAlchemy | Data Warehouse Edition、Enterprise Edition、Basic Edition、または Data Lakehouse Edition | ||
LOAD DATA | Data Warehouse Edition | |||
インポートツール | Data Warehouse Edition | |||
Kettle | Data Warehouse Edition | |||
データレイクへのデータ取り込み
この機能は、Enterprise Edition、Basic Edition、または Data Lakehouse Edition クラスターでのみ利用可能です。
カテゴリ | データソース | インポート方法 | ドキュメント |
メッセージキュー | Kafka | データ同期 | データ同期を使用して ApsaraMQ for Kafka から Data Lakehouse Edition にデータを同期する（推奨） |
ログデータ | Simple Log Service (SLS) | データ同期 | |
ビッグデータ | Hive | データ移行 | |
ストレージ | OSS | メタデータディスカバリー |
参照
AnalyticDB for MySQL は、データインポートタスクの非同期送信もサポートしています。詳細については、「非同期インポートタスクを送信する」をご参照ください。