Dataphin を使用する前に、ビジネスニーズに合ったデータベースまたはデータウェアハウスをデータソースとして選択する必要があります。このソースは、生データを読み取り、データ開発プロセスからの出力を保存するために使用されます。Dataphin は、MaxCompute や Hive などのデータウェアハウス、MySQL や Oracle などの従来のデータベースをサポートしており、さまざまなデータエンジンと統合できます。
背景情報
Dataphin は、ビッグデータストレージ、ファイル、メッセージキュー、リレーショナル、NoSQL など、さまざまなタイプのデータソースに接続します。
-
Dataphin でデータソースに接続するには、まずデータソース管理でデータソースを作成する必要があります。
-
Dataphin では、本番データソースと開発データソースの両方を追加できます。Basic プロジェクトおよび Dev-Prod プロジェクトの Prod 環境では本番データソースが使用され、Dev 環境では開発データソースが使用されます。データサービスでは、Basic プロジェクトと Dev-Prod プロジェクトの両方の Prod 環境で本番データソースが使用され、Dev 環境では開発データソースが使用されます。同期タスクには Dev 環境と Prod 環境が分かれておらず、常に本番データソースが使用されます。
説明組み込みのデータソースタイプがニーズを満たさない場合は、カスタムのオフラインまたはリアルタイムのデータソースタイプを作成できます。これにより、カスタムデータソースを Dataphin に接続できます。詳細については、次のトピックをご参照ください。
データソース
|
シナリオ |
説明 |
関連ドキュメント |
|
バッチ統合 |
バッチ統合は、ソース、シンク、および変換コンポーネントを提供します。キャンバス上でこれらのコンポーネントを組み立ててパイプラインを構築するか、スクリプトモードを使用してよりカスタマイズされた構成を行うことができます。カスタム RDBMS データソースを作成すると、Dataphin は対応するソースおよびシンクコンポーネントを自動的に生成し、データ同期タスクをサポートします。 |
|
|
リアルタイム統合 |
リアルタイム統合機能は、ソースデータベースまたはそのテーブルからのデータ変更をターゲットデータソースに同期し、ソースとターゲットの同期を維持します。 |
|
|
バッチ開発 - Database SQL |
データソースを Dataphin に接続した後、Database SQL タスクを作成して開発できます。 |
|
|
メタデータ収集 |
メタデータセンターは、さまざまな業務システムからメタデータを抽出し、処理し、一元管理します。これにより、データガバナンスがサポートされ、データの整理、取得、分析が向上します。 |
|
|
リアルタイム開発 |
接続されたデータソースを使用して、リアルタイムメタテーブルを作成し、リアルタイムタスクを開発できます。 |
|
|
データ品質 |
アセット品質は、Dataphin 内の包括的なデータ品質ソリューションであり、データ開発とデータ消費のために設計されています。データソースに基づいて、グローバルテーブル品質ルールまたはデータソース品質ルールを作成できます。 データソース品質ルールを使用すると、Dataphin 内の任意のデータソースに対してモニタリングルールを作成できます。サポートされているすべてのデータソースで接続性テストを実行できます。ただし、テーブルスキーマ変更モニタリングのルールを構成できるのは一部のデータソースのみです。詳細については、以下の表の [データソース品質 - テーブルスキーマ変更] 列をご参照ください。 |
|
|
データサービス |
Data Service (OneService) は、Dataphin でデータミドルプラットフォームを構築する最後のステップです。データの単一エンドポイントとして機能し、マーケットプレイススタイルの管理を提供します。このアプローチにより、セキュリティを維持しながらデータアクセスを簡素化します。 |
|
|
Label Factory |
Label Factory は、作成からサービングまでのラベルライフサイクル全体をカバーするエンドツーエンドのプラットフォームです。データエンジニアリングチームとソフトウェアエンジニアにワンストップサービスを提供します。リスク管理やマーケティングなどのシナリオに適しており、バッチ、リアルタイム、およびサービスラベルの開発、管理、探索、サービングをサポートします。Label Factory は、下流の業務アプリケーションを可能にし、企業が価値あるラベルアセットを構築するのに役立ちます。このプラットフォームは、プロセス全体が効率的で、発見可能で、使用可能で、管理可能であることを保証します。 |
このトピックでは、Dataphin に接続できるデータソースと、それらがサポートするシナリオを一覧表示します。特定のシナリオで各データソースがサポートする機能の詳細については、次のドキュメントをご参照ください。
ビッグデータストレージソース
|
データソースタイプ |
バッチ統合 |
リアルタイム統合 |
バッチ開発 - Database SQL |
メタデータ収集 |
リアルタイム開発 |
グローバルテーブル品質 |
テーブル構造の変動 |
データサービス |
Label Factory |
ガイド |
|
MaxCompute |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
|
|
Hive |
サポート済み |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
|
|
Hologres |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
|
|
Impala |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート済み |
サポート対象外 |
|
|
TDH Inceptor |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
|
|
Kudu |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
|
|
StarRocks |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
|
|
Hudi |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
Doris |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
|
|
Greenplum |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
|
|
TDengine |
サポート済み |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
|
|
ArgoDB |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
|
|
SelectDB |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
|
|
Databricks |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
|
|
Amazon Redshift |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
|
|
DolphinDB |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
|
|
Snowflake |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
Data Lake Formation |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
ファイルデータソース
|
データソースタイプ |
バッチ統合 |
リアルタイム統合 |
バッチ開発 - Database SQL |
メタデータ収集 |
リアルタイム開発 |
グローバルテーブル品質 |
データソース品質 - スキーマ変更 |
データサービス |
タグファクトリ |
非構造化ファイルストレージ |
ガイド |
|
HDFS |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
FTP |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
OSS |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
|
|
Amazon S3 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
|
|
OBS |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
メッセージキューデータソース
|
データソースタイプ |
バッチ統合 |
リアルタイム統合 |
バッチ開発 - Database SQL |
メタデータ収集 |
リアルタイム開発 |
グローバルテーブル品質 |
スキーマ変更 |
データサービス |
Label Factory |
設定 |
|
Log Service |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
Kafka |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
|
|
DataHub |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
|
|
RabbitMQ |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
リレーショナルデータソース
|
データソースタイプ |
バッチ統合 |
リアルタイム統合 |
バッチ開発 - Database SQL |
メタデータ収集 |
リアルタイム開発 |
グローバルテーブル品質 |
スキーマ変更 |
データサービス |
タグファクトリ |
非構造化メタデータテーブル |
作成ガイド |
|
PolarDB |
サポート済み |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
PolarDB-X |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
PolarDB-X 2.0 |
サポート済み |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
|
|
MySQL |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
|
|
SAP HANA |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
|
|
Microsoft SQL Server |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
|
|
PostgreSQL |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
|
|
AnalyticDB for MySQL 2.0 |
サポート済み |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
|
|
AnalyticDB for MySQL 3.0 |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
|
|
AnalyticDB for PostgreSQL |
サポート済み |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
|
|
OceanBase |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート対象外 |
サポート済み |
|
|
Oracle |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
|
|
Vertica |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
IBM Db2 |
サポート済み |
サポート済み |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
Teradata |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
ClickHouse |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
|
|
DM |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
|
|
GBase 8a |
サポート済み |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
|
|
KingbaseES |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
TiDB |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
GoldenDB |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
openGauss |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
|
|
GaussDB(DWS) |
サポート済み |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
|
|
Amazon RDS for MySQL |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
|
|
Amazon RDS for PostgreSQL |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
|
|
Amazon RDS for SQL Server |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
|
|
Amazon RDS for Oracle |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
|
|
Amazon RDS for Db2 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
TDSQL for MySQL |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート対象外 |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
|
|
GBase 8c |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
|
|
TDSQL for PostgreSQL |
サポート済み |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
|
|
OushuDB |
サポート済み |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
YashanDB |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
NoSQL データソース
|
データソースタイプ |
バッチ統合 |
リアルタイム統合 |
バッチ開発 - Database SQL |
メタデータ収集 |
リアルタイム開発 |
グローバルテーブル品質 |
データソース品質 - テーブルスキーマ変更 |
データサービス |
タグファクトリ |
ナレッジグラフ |
作成ガイド |
|
HBase 0.9.4 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート済み |
サポート対象外 |
|
|
HBase 1.1.x |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート済み |
サポート対象外 |
|
|
HBase 2.0 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート済み |
サポート対象外 |
|
|
Elasticsearch |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
||
|
MongoDB |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
|
|
Tablestore |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
|
|
ApsaraDB for HBase |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
Redis |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
Presto |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
Easysearch |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
Trino |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
OpenSearch |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
||
|
InfluxDB |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
Lindorm |
サポート済み |
サポート対象外 |
サポート済み (ワイドカラムエンジン (HBase) 接続タイプのデータソースを除く) |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート済み (ワイドカラムエンジン (HBase) 接続タイプのデータソースのみ) |
サポート済み |
半構造化データソース
|
データソースタイプ |
バッチ統合 |
リアルタイム統合 |
バッチ開発 - Database SQL |
メタデータ収集 |
リアルタイム開発 |
グローバルテーブル品質 |
テーブル構造の変更 |
データサービス |
タグファクトリー |
ナレッジグラフ |
ガイド |
|
API |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
サポート対象外 |
|
|
SAP Table |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
Salesforce |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
Lark Bitable |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
|
|
Neo4j |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |
ベクトルデータベース
|
データソースタイプ |
バッチ統合 |
リアルタイム統合 |
バッチ開発 - Database SQL |
メタデータ収集 |
リアルタイム開発 |
グローバルテーブル品質 |
データソース品質 - テーブルスキーマ変更 |
データサービス |
タグファクトリー |
ナレッジグラフ |
非構造化メタデータテーブル |
ガイド |
|
Milvus |
サポート済み |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート対象外 |
サポート済み |