Dataphin を使用する前に、ご自身のビジネスシナリオに合ったデータベースまたはデータウェアハウスをデータソースとして選択する必要があります。このデータソースは、開発プロセスにおいて生データの読み取りおよびデータの書き込みに使用されます。Dataphin は多様なコンピュートエンジンと統合されており、MaxCompute や Hive などのデータウェアハウスに加え、MySQL や Oracle などの従来型の企業向けデータベースにも接続可能です。
背景情報
Dataphin は、ビッグデータストレージ、ファイル、メッセージキュー、リレーショナル、NoSQL の各タイプのデータソースへの接続をサポートしています。各モジュールでサポートされるデータソースの種類は、以下のとおりです。
Dataphin でデータソースに接続するには、まず「データソース管理」で該当のデータソースを作成する必要があります。
Dataphin では、本番用および開発用のデータソースの両方を追加できます。基本プロジェクトおよび Dev-Prod プロジェクトの本番（Prod）環境では、本番用データソースを使用します。一方、Dev-Prod プロジェクトの開発（Dev）環境では、開発用データソースを使用します。DataService Studio では、基本モードおよび Dev-Prod モードの Prod 環境で本番用データソースが使用され、Dev 環境では開発用データソースが使用されます。同期タスクは、Dev/Prod の二重環境をサポートしておらず、本番用データソースのみを使用できます。
説明必要とするデータソースの種類が利用できない場合は、カスタムのオフラインまたはリアルタイムデータソースタイプを作成し、Dataphin に接続できます。これにより、さまざまな統合要件を満たすことができます。詳細については、以下をご参照ください。
データソースの説明
シナリオ | 説明 | 関連ドキュメント |
オフライン統合 | オフライン統合では、入力、出力、変換など、さまざまなコンポーネントをサポートしています。キャンバス上でコンポーネントをドラッグ＆ドロップし、設定・組み合わせることで、単一のオフライン統合パイプラインを生成できます。また、より高度なカスタマイズを可能にするため、コードエディタも提供されています。カスタム RDBMS データソースを作成すると、その入力および出力コンポーネントが自動的にコンポーネントライブラリに追加され、多様なデータ同期ニーズに対応できます。 | |
リアルタイム統合 | Dataphin はリアルタイム統合をサポートしています。この機能では、ソースデータソースのデータベース全体またはすべてのテーブルから発生するデータ変更を、宛先データソースへ統合します。これにより、ソースおよび宛先のデータソースがリアルタイムで同期されます。 | |
オフライン開発 - データベース SQL | Dataphin にデータソースを接続した後、開発用にデータベース SQL ノードを作成します。 | |
メタデータ取得 | メタデータセンターは、さまざまな業務システムからメタデータを抽出・処理し、一元的に格納・管理します。これにより、データガバナンスが支援され、組織におけるデータの整理、取得、分析能力が向上します。 | |
リアルタイム開発 | 接続済みのデータソースを活用して、リアルタイムメタテーブルを作成し、リアルタイムノードを開発します。 | |
Data Quality | Dataphin の機能である Data Quality は、データ開発と利用のための完全なソリューションセットを提供します。ご利用のデータソースに基づいて、グローバルテーブル品質ルールまたはデータソース品質ルールを作成します。 データソース品質ルールでは、Dataphin 内の任意のデータソースを選択してモニタリングルールを作成できます。サポートされているすべてのデータソースで接続性をテストできます。ただし、テーブルスキーマ変更をモニターするルールをサポートしているのは一部のデータソースのみです。詳細については、以下の表の データソース品質 - テーブルスキーマ変更 列をご参照ください。 | |
DataService Studio | DataService Studio (OneService) は、Dataphin を使用したデータ中台構築における最終ステップです。データサービスの統一出口として機能し、集中化されたマーケット指向のデータ管理を提供します。これにより、データのアクセシビリティ向上とセキュリティ確保が実現されます。 | |
Tag Factory | Tag Factoryは、タグ作成からサービス提供までのエンドツーエンドのプロセスを提供します。これは、エンタープライズデータチームと開発者向けのワンストッププラットフォームです。リスク管理やマーケティングなどのシナリオに適しています。Tag Factoryは、オフライン、リアルタイム、サービスタグを開発、管理、探索、提供するためのツールを提供します。これにより、ビジネスアプリケーションを強化し、企業がタグ資産を構築するのに役立ちます。タグ開発を効率化し、管理を簡素化します。 |
このトピックでは、Dataphin がサポートするデータソースとそのアプリケーションシナリオについて説明します。各データソースがさまざまなシナリオでサポートする機能の詳細については、以下をご参照ください。
ビッグデータストレージデータソース
データソースタイプ | オフライン統合 | リアルタイム統合 | オフライン開発 - データベース SQL | メタデータ取得 | リアルタイム開発 | グローバルテーブル品質 | データソース品質 - テーブルスキーマ変更 | DataService Studio | Tag Factory | 作成ガイド |
MaxCompute | サポート対象 | サポート対象 | 非サポート | 非サポート | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | |
Hive | サポート対象 | サポート対象 | 非サポート | サポート対象 | サポート対象 | サポート対象 | サポート対象 | 非サポート | 非サポート | |
Hologres | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | |
Impala | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | サポート対象 | サポート対象 | 非サポート | |
TDH Inceptor | サポート対象 | 非サポート | 非サポート | 非サポート | サポート対象 | サポート対象 | サポート対象 | サポート対象 | 非サポート | |
Kudu | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート | 非サポート | |
StarRocks | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | 非サポート | |
Hudi | 非サポート | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | |
Doris | サポート対象 | 非サポート | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | 非サポート | |
GreenPlum | サポート対象 | 非サポート | 非サポート | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | サポート対象 | |
TDengine | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート | |
ArgoDB | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | サポート対象 | サポート対象 | 非サポート | 非サポート | |
Paimon | 非サポート | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | |
SelectDB | サポート対象 | 非サポート | サポート対象 | サポート対象 | 非サポート | サポート対象 | サポート対象 | サポート対象 | 非サポート | |
Lindorm (compute engine) | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート | 非サポート | |
Databricks | サポート対象 | サポート対象 | 非サポート | 非サポート | 非サポート | サポート対象 | サポート対象 | サポート対象 | 非サポート | |
Amazon Redshift | サポート対象 | 非サポート | 非サポート | サポート対象 | 非サポート | サポート対象 | サポート対象 | サポート対象 | 非サポート | |
DolphinDB | サポート対象 | 非サポート | 非サポート | サポート対象 | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート | |
Snowflake | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | |
Data Lake Formation | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート |
ファイルデータソース
データソースタイプ | オフライン統合 | リアルタイム統合 | オフライン開発 - データベース SQL | メタデータ取得 | リアルタイム開発 | グローバルテーブル品質 | データソース品質 - テーブルスキーマ変更 | DataService Studio | Tag Factory | 作成ガイド |
HDFS | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | |
FTP | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | |
OSS | サポート対象 | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | |
Amazon S3 | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート |
メッセージキュー データソース
データソースタイプ | オフライン統合 | リアルタイム統合 | オフライン開発 - データベース SQL | メタデータ取得 | リアルタイム開発 | グローバルテーブル品質 | データソース品質 - テーブルスキーマ変更 | DataService Studio | Tag Factory | 作成ガイド |
Log Service | サポート対象 | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | |
Kafka | サポート対象 | サポート対象 | 非サポート | 非サポート | サポート対象 | 非サポート | 非サポート | 非サポート | サポート対象 | |
DataHub | サポート対象 | サポート対象 | 非サポート | 非サポート | サポート対象 | 非サポート | 非サポート | 非サポート | サポート対象 | |
RabbitMQ | 非サポート | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート |
リレーショナルデータソース
データソースタイプ | オフライン統合 | リアルタイム統合 | オフライン開発 - データベース SQL | メタデータ取得 | リアルタイム開発 | グローバルテーブル品質 | データソース品質 - テーブルスキーマ変更 | DataService Studio | Tag Factory | 作成ガイド |
PolarDB | サポート対象 | 非サポート | 非サポート | 非サポート | サポート対象 | サポート対象 | サポート対象 | 非サポート | 非サポート | |
PolarDB-X (formerly DRDS) | サポート対象 | 非サポート | 非サポート | サポート対象 | サポート対象 | サポート対象 | サポート対象 | 非サポート | 非サポート | |
PolarDB-X 2.0 | サポート対象 | 非サポート | サポート対象 | 非サポート | 非サポート | サポート対象 | サポート対象 | サポート対象 | 非サポート | |
MySQL | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | |
SAP HANA | サポート対象 | 非サポート | 非サポート | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | 非サポート | |
Microsoft SQL Server | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | 非サポート | |
PostgreSQL | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | |
AnalyticDB for MySQL 2.0 | サポート対象 | 非サポート | サポート対象 | 非サポート | サポート対象 | 非サポート | サポート対象 | サポート対象 | 非サポート | |
AnalyticDB for MySQL 3.0 | サポート対象 | 非サポート | サポート対象 | サポート対象 | サポート対象 | 非サポート | サポート対象 | サポート対象 | 非サポート | |
AnalyticDB for PostgreSQL | サポート対象 | 非サポート | サポート対象 | 非サポート | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | |
OceanBase | サポート対象 | 非サポート | サポート対象 | サポート対象 | サポート対象 | 非サポート | サポート対象 | サポート対象 | 非サポート | |
Oracle | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | |
Vertica | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート | 非サポート | |
IBM DB2 | サポート対象 | サポート対象 | 非サポート | サポート対象 | 非サポート | サポート対象 | サポート対象 | 非サポート | 非サポート | |
Teradata | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート | 非サポート | |
ClickHouse | サポート対象 | 非サポート | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 | 非サポート | |
DM | サポート対象 | 非サポート | サポート対象 | サポート対象 | 非サポート | サポート対象 | サポート対象 | サポート対象 | 非サポート | |
GBase 8a | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | |
KingbaseES | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | |
TiDB | サポート対象 | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | |
GoldenDB | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | サポート対象 | サポート対象 | 非サポート | 非サポート | |
OpenGauss | サポート対象 | 非サポート | サポート対象 | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | サポート対象 | |
GaussDB (DWS) | サポート対象 | 非サポート | サポート対象 | 非サポート | サポート対象 | サポート対象 | サポート対象 | サポート対象 | 非サポート | |
Amazon RDS for MySQL | サポート対象 | 非サポート | 非サポート | サポート対象 | 非サポート | サポート対象 | サポート対象 | サポート対象 | 非サポート | |
Amazon RDS for PostgreSQL | サポート対象 | 非サポート | 非サポート | サポート対象 | 非サポート | サポート対象 | サポート対象 | サポート対象 | 非サポート | |
Amazon RDS for SQL Server | サポート対象 | 非サポート | 非サポート | サポート対象 | 非サポート | サポート対象 | サポート対象 | サポート対象 | 非サポート | |
Amazon RDS for Oracle | サポート対象 | 非サポート | 非サポート | サポート対象 | 非サポート | サポート対象 | サポート対象 | サポート対象 | 非サポート | |
Amazon RDS for DB2 | サポート対象 | 非サポート | 非サポート | サポート対象 | 非サポート | サポート対象 | サポート対象 | 非サポート | 非サポート | |
TDSQL for MySQL | サポート対象 | 非サポート | 非サポート | サポート対象 | 非サポート | サポート対象 | サポート対象 | 非サポート | 非サポート | |
GBase 8c | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート |
NoSQL データソース
データソースタイプ | オフライン統合 | リアルタイム統合 | オフライン開発 - データベース SQL | メタデータ取得 | リアルタイム開発 | グローバルテーブル品質 | データソース品質 - テーブルスキーマ変更 | DataService Studio | Tag Factory | 作成ガイド |
HBase 0.9.4 | サポート対象 | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート | 非サポート | サポート対象 | サポート対象 | |
HBase 1.1.x | サポート対象 | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート | サポート対象 | サポート対象 | サポート対象 | |
HBase 2.0 | サポート対象 | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート | サポート対象 | サポート | サポート対象 | |
Elasticsearch | サポート対象 | 非サポート | 非サポート | サポート対象 | サポート対象 | 非サポート | 非サポート | サポート対象 | サポート | |
MongoDB | サポート対象 | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート | サポート対象 | サポート対象 | 非サポート | |
Tablestore | サポート対象 | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート | 非サポート | 非サポート | サポート対象 | |
Aliyun HBase | 非サポート | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート | サポート対象 | 非サポート | 非サポート | |
Redis | サポート対象 | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | |
Lindorm (ワイドテーブル) | サポート対象 | 非サポート | 非サポート | 非サポート | サポート対象 | 非サポート | サポート対象 | サポート対象 | サポート対象 | |
Presto | 非サポート | 非サポート | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | |
Easysearch | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | |
Trino | 非サポート | 非サポート | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | |
OpenSearch | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート |
半構造化ストレージデータソース
データソースタイプ | オフライン統合 | リアルタイム統合 | オフライン開発 - データベース SQL | メタデータ取得 | リアルタイム開発 | グローバルテーブル品質 | データソース品質 - テーブルスキーマ変更 | DataService Studio | Tag Factory | 作成ガイド |
API | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | サポート対象 | |
SAP Table | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | |
Salesforce | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | |
Lark Bitable data source | サポート対象 | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート | 非サポート |