Dataphin でサポートされているデータソース - Dataphin - Alibaba Cloud ドキュメントセンター

Dataphin を使用する前に、データソースとしてデータベースまたはデータウェアハウスを選択します。このソースは、開発中に生データを読み取り、データを書き込むために使用されます。Dataphin は多くのコンピュートエンジンを統合しています。MaxCompute や Hive などのデータウェアハウスをサポートし、MySQL や Oracle などの従来のエンタープライズデータベースにも接続します。

背景情報

Dataphin は、ビッグデータストレージ、ファイル、メッセージキュー、リレーショナル、NoSQL データソースなど、さまざまなデータソースをサポートしています。各モジュールでサポートされているデータソースタイプについては、以下で説明します。

Dataphin でデータソースに接続するには、まずデータソース管理でデータソースを作成します。
Dataphin では、本番データソースと開発データソースの両方を追加できます。基本プロジェクトおよび Dev-Prod プロジェクトの本番 (Prod) 環境では本番データソースが使用され、Dev-Prod プロジェクトの開発 (Dev) 環境では開発データソースが使用されます。DataService Studio では、基本モードおよび Dev-Prod モードの本番 (Prod) 環境は本番データソースから読み取り、開発 (Dev) 環境は開発データソースから読み取ります。同期タスクは開発 (Dev) 環境と本番 (Prod) 環境の分離をサポートしておらず、常に本番データソースを使用します。
説明
組み込みのデータソースタイプがニーズを満たさない場合は、カスタムのオフラインまたはリアルタイムデータソースを作成します。その後、Dataphin に接続できます。詳細については、以下をご参照ください。
- カスタムオフラインデータソースの種類を作成する
- カスタムリアルタイムデータソースの種類を作成する

データソースの説明

シナリオ	説明	参照
オフライン統合	オフライン統合は、入力、出力、変換ウィジェットなど、さまざまなウィジェットをサポートしています。これらのウィジェットをキャンバス上でドラッグ、設定、組み立てることで、単一のオフライン統合パイプラインを作成できます。オフライン統合は、より多くのカスタマイズのためのコードエディタも提供します。カスタム RDBMS データソースを作成すると、その入力および出力コンポーネントが自動的にコンポーネントライブラリに追加され、多様なデータ同期のニーズに対応します。	オフライン統合
リアルタイム統合	Dataphin のリアルタイム統合機能は、ソースから宛先へのデータ変更をリアルタイムで同期します。データベース全体またはすべてのテーブルからの変更を統合して、ソースと宛先のデータソースを同期させることができます。	リアルタイム統合
オフライン開発 - データベース SQL	データソースを Dataphin に接続した後、Dataphin でデータベース SQL ノードを作成して開発を行うことができます。	データベース SQL ノードの作成
メタデータ取得	メタデータセンターは、さまざまな業務システムからメタデータを抽出し、処理、一元的に保存、管理します。これにより、データガバナンスをサポートし、組織内でのデータの整理、取得、分析能力を向上させます。	メタデータセンター
リアルタイム開発	接続されたデータソースを使用して、リアルタイムメタテーブルを作成し、リアルタイムノードを開発することができます。	Flink_SQL ノードの開発
Data Quality	アセット品質は、Dataphin プラットフォーム上のデータ開発および利用のための包括的なデータ品質ソリューションです。データソースに基づいて、グローバルテーブル品質ルールまたはデータソース品質ルールを作成できます。データソース品質ルールを使用すると、Dataphin 内の任意のデータソースに対して品質モニタリングルールを作成できます。サポートされているすべてのデータソースで接続性をテストできます。ただし、テーブルスキーマの変更を監視する品質ルールをサポートしているのは一部のデータソースのみです。詳細については、以下の表の [Data Quality - テーブルスキーマ変更] 列をご参照ください。	アセット品質の概要
DataService Studio	DataService Studio (OneService) は、Dataphin を使用してデータ中台を構築する最終ステップです。統一されたデータサービスエンドポイントとして、DataService Studio は一元化されたマーケットプレイス形式のデータ管理を提供します。これにより、データセキュリティを確保しながら、データアクセシビリティの障壁を低減します。	DataService Studio
Tag Factory	Tag Factory は、作成からサービスまでのタグのライフサイクル全体を網羅するワンストッププラットフォームを提供します。データ R&D チームや開発者向けに設計されており、リスク管理やマーケティングなどのシナリオに適しています。このプラットフォームは、オフライン、リアルタイム、およびサービスタグの開発、管理、探索をサポートします。これにより、ビジネスアプリケーションを強化し、効率的で、発見可能、使用可能、かつ管理可能な価値あるタグアセットを構築するのに役立ちます。	Tag Factory の概要

このトピックでは、Dataphin に接続できるデータソースと、それらがサポートするアプリケーションシナリオを一覧表示します。各データソースがさまざまなシナリオでサポートする具体的な機能の詳細については、以下をご参照ください。

ビッグデータストレージデータソース

データソースの種類	オフライン統合	リアルタイム統合	オフライン開発 - データベース SQL	メタデータ取得	リアルタイム開発	グローバルテーブル品質	Data Quality - テーブルスキーマ変更	DataService Studio	Tag Factory	作成ガイド
MaxCompute	サポートされています	サポート対象	サポート対象外	サポート対象外	サポートされています	サポートされています	サポートされています	サポート対象	サポート対象	MaxCompute データソースを作成する
Hive	サポートされています	サポートされています	サポート対象外	サポートされています	サポート対象	サポートされています	サポート対象	サポート対象外	サポート対象外	Hive データソースを作成する
Hologres	サポートされています	サポートされています	サポートされています	サポートされています	サポートされています	サポートされています	サポートされています	サポート対象	サポートされています	Hologres データソースを作成する
Impala	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポートされています	サポート対象	サポート対象外	Impala データソースを作成する
TDH Inceptor	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポートされています	サポートされています	サポートされています	サポートされています	サポート対象外	TDH Inceptor データソースを作成する
Kudu	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポートされています	サポート対象外	サポート対象外	Kudu データソースを作成する
StarRocks	サポートされています	サポートされていません	サポートされています	サポートされています	サポートされています	サポート	サポート対象	サポートされています	サポートされていません	StarRocks データソースを作成する
Hudi	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポート	サポートされていません	サポートされていません	サポートされていません	サポートされていません	Hudi データソースを作成する
Doris	サポートされています	サポートされていません	サポートされています	サポート対象	サポート対象	サポートされています	サポートされています	サポートされています	サポートされていません	Doris データソースを作成する
GreenPlum	サポートされています	サポートされていません	サポートされていません	サポートされています	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポートされています	GreenPlum データソースを作成する
TDengine	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポートされています	サポート対象外	TDengine データソースを作成する
ArgoDB	サポートされています	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポートされています	サポートされています	サポートされていません	サポートされていません	ArgoDB データソースを作成する
Paimon	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポートされています	サポートされていません	サポートされていません	サポートされていません	サポートされていません	Paimon データソースを作成する
SelectDB	サポートされています	サポートされていません	サポートされています	サポートされています	サポートされていません	サポート	サポートされています	サポート対象	サポートされていません	SelectDB データソースを作成する
Lindorm (コンピューティングエンジン)	サポートされています	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポートされています	サポートされていません	サポートされていません	Lindorm (コンピューティングエンジン) データソースを作成する
Databricks	サポート対象	サポートされています	サポートされていません	サポートされていません	サポートされていません	サポートされています	サポートされています	サポートされています	サポートされていません	Databricks データソースを作成する
Amazon Redshift	サポートされています	サポートされていません	サポートされていません	サポートされています	サポートされていません	サポート対象	サポートされています	サポート対象	サポートされていません	Amazon Redshift データソースを作成する
DolphinDB	サポートされています	非サポート	非サポート	サポート	非サポート	非サポート	非サポート	サポート	非サポート	DolphinDB データソースを作成する
Snowflake	サポートされています	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポートされていません	Snowflake データソースの作成

ファイルデータソース

データソースの種類	オフライン統合	リアルタイム統合	オフライン開発 - データベース SQL	メタデータ取得	リアルタイム開発	グローバルテーブル品質	Data Quality - テーブルスキーマ変更	DataService Studio	Tag Factory	作成ガイド
HDFS	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	HDFS データソースを作成する
FTP	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	FTP データソースを作成する
OSS	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	OSS データソースを作成する
Amazon S3	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	Amazon S3 データソースを作成する

メッセージキューデータソース

データソースの種類	オフライン統合	リアルタイム統合	オフライン開発 - データベース SQL	メタデータ取得	リアルタイム開発	グローバルテーブル品質	Data Quality - テーブルスキーマ変更	DataService Studio	Tag Factory	作成ガイド
Log Service	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート対象外	Log Service データソースを作成する
Kafka	サポートされています	サポートされています	サポート対象外	サポート対象外	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポートされています	Kafka データソースを作成する
DataHub	サポートされています	サポートされています	サポート対象外	サポート対象外	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポートされています	DataHub データソースを作成する
RabbitMQ	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート対象外	RabbitMQ データソースを作成する

リレーショナルデータソース

データソースタイプ	オフライン統合	リアルタイム統合	オフライン開発 - データベース SQL	メタデータ取得	リアルタイム開発	グローバルテーブル品質	Data Quality - テーブルスキーマ変更	DataService Studio	Tag Factory	作成ガイド
PolarDB	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポートされています	サポート対象	サポートされています	サポート対象外	サポート対象外	PolarDB データソースを作成する
PolarDB-X (旧 DRDS)	サポート対象	サポート対象外	サポート対象外	サポートされています	サポートされています	サポートされています	サポート対象	サポート対象外	サポート対象外	PolarDB-X データソースを作成する
PolarDB-X 2.0	サポートされています	サポート対象外	サポートされています	サポート対象外	サポート対象外	サポートされています	サポートされています	サポート対象	サポート対象外	PolarDB-X 2.0 データソースの作成
MySQL	サポートされています	サポートされています	サポートされています	サポートされています	サポート対象	サポート対象	サポートされています	サポートされています	サポートされています	MySQL データソースを作成する
SAP HANA	サポートされています	サポート対象外	サポート対象外	サポートされています	サポートされています	サポートされています	サポートされています	サポート対象	サポート対象外	SAP HANA データソースの作成
Microsoft SQL Server	サポート対象	サポートされています	サポート	サポートされています	サポートされています	サポートされています	サポートされています	サポートされています	サポート対象外	Microsoft SQL Server データソースを作成する
PostgreSQL	サポートされています	サポートされています	サポートされています	サポートされています	サポートされています	サポートされています	サポートされています	サポートされています	サポートされています	PostgreSQL データソースを作成する
AnalyticDB for MySQL 2.0	サポートされています	サポート対象外	サポートされています	サポート対象外	サポートされています	サポート対象外	サポートされています	サポートされています	サポート対象外	AnalyticDB for MySQL 2.0 データソースを作成する
AnalyticDB for MySQL 3.0	サポート対象	サポート対象外	サポート対象	サポート対象	サポートされています	サポート対象外	サポートされています	サポートされています	サポート対象外	AnalyticDB for MySQL 3.0 データソースを作成する
AnalyticDB for PostgreSQL	サポートされています	サポート対象外	サポートされています	サポート対象外	サポートされています	サポートされています	サポートされています	サポートされています	サポートされています	AnalyticDB for PostgreSQL データソースを作成する
OceanBase	サポートされています	サポートされていません	サポート	サポート対象	サポートされています	サポートされていません	サポート対象	サポートされています	サポートされていません	OceanBase データソースを作成する
Oracle	サポートされています	サポート対象	サポートされています	サポートされています	サポートされています	サポートされています	サポートされています	サポートされています	サポートされています	Oracle データソースを作成する
Vertica	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポートされています	サポート対象外	サポート対象外	Vertica データソースを作成する
IBM DB2	サポート対象	サポートされています	サポート対象外	サポートされています	サポート対象外	サポートされています	サポート対象	サポート対象外	サポート対象外	IBM DB2 データソースを作成する
Teradata	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポートされています	サポート対象外	サポート対象外	Teradata データソースを作成する
ClickHouse	サポートされています	サポート対象外	サポートされています	サポートされています	サポートされています	サポートされています	サポートされています	サポート対象	サポート対象外	ClickHouse データソースを作成する
DM	サポートされています	サポート対象外	サポートされています	サポートされています	サポート対象外	サポートされています	サポートされています	サポートされています	サポート対象外	DM データソースの作成
GBase 8a	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	GBase 8a データソースを作成する
KingbaseES	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	KingbaseES データソースを作成する
TiDB	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート対象外	TiDB データソースを作成する
GoldenDB	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象	サポート対象	サポート対象外	サポート対象外	GoldenDB データソースを作成する
OpenGauss	サポートされています	サポートされていません	サポートされています	サポートされています	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポートされています	OpenGauss データソースを作成する
GaussDB (DWS)	サポートされています	サポートされていません	サポートされています	サポートされていません	サポートされています	サポートされています	サポートされています	サポートされています	サポートされていません	GaussDB (DWS) データソースを作成する
Amazon RDS for MySQL	サポートされています	サポート対象外	サポート対象外	サポートされています	サポート対象外	サポートされています	サポートされています	サポート対象	サポート対象外	Amazon RDS for MySQL データソースを作成する
Amazon RDS for PostgreSQL	サポートされています	サポートされていません	サポートされていません	サポート対象	サポートされていません	サポートされています	サポートされています	サポート対象	サポートされていません	Amazon RDS for PostgreSQL データソースを作成する
Amazon RDS for SQL Server	サポートされています	サポート対象外	サポート対象外	サポートされています	サポート対象外	サポートされています	サポートされています	サポート対象	サポート対象外	Amazon RDS for SQL Server データソースを作成する
Amazon RDS for Oracle	サポートされています	サポートされていません	サポートされていません	サポート対象	サポートされていません	サポートされています	サポートされています	サポート対象	サポートされていません	Amazon RDS for Oracle データソースを作成する
Amazon RDS for DB2	サポート対象	サポートされていません	サポートされていません	サポートされています	サポートされていません	サポート	サポート対象	サポート対象外	サポートされていません	Amazon RDS for DB2 データソースを作成する
TDSQL for MySQL	サポートされています	サポート対象外	サポート対象外	サポートされています	サポート対象外	サポート済み	サポートされています	サポート対象外	サポート対象外	TDSQL for MySQL の作成
GBase 8c	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	サポート	非サポート	GBase 8c データソースの作成

NoSQL データソース

データソースの種類	オフライン統合	リアルタイム統合	オフライン開発 - データベース SQL	メタデータ取得	リアルタイム開発	グローバルテーブル品質	Data Quality - テーブルスキーマ変更	DataService Studio	Tag Factory	作成ガイド
HBase 0.9.4	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート対象	サポート対象外	サポート対象外	サポートされています	サポートされています	HBase データソースを作成する
HBase 1.1x	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポートされています	サポート対象外	サポートされています	サポートされています	サポートされています	HBase データソースを作成する
HBase2.0	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポートされています	サポート対象外	サポートされています	サポートされています	サポートされています	HBase データソースを作成する
Elasticsearch	サポートされています	サポート対象外	サポート対象外	サポートされています	サポートされています	サポート対象外	サポート対象外	サポートされています	対象外	Elasticsearch データソースを作成する
MongoDB	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポートされています	サポート対象外	サポートされています	サポートされています	サポート対象外	MongoDB データソースを作成する
Tablestore	サポートされています	サポートされていません	サポートされていません	サポートされていません	サポートされています	サポートされていません	サポートされていません	サポートされていません	サポートされています	Tablestore データソースを作成する
Aliyun HBase	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポートされています	サポートされていません	サポートされています	サポートされていません	サポートされていません	Aliyun HBase データソースを作成する
Redis	サポートされています	サポートされていません	サポートされていません	サポートされていません	サポートされています	サポートされていません	サポートされていません	サポート対象外	サポートされていません	Redis データソースを作成する
Lindorm (ワイドテーブル)	サポートされています	サポートされていません	サポートされていません	サポートされていません	サポートされています	サポートされていません	サポートされています	サポートされています	サポートされています	Lindorm データソースを作成する
Presto	サポートされていません	サポートされていません	サポートされています	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポートされていません	Presto データソースを作成する
Easysearch	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	Easysearch データソースの作成
Trino	サポート対象外	サポート対象外	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	Trino データソースの作成
OpenSearch	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	OpenSearch データソースの作成

半構造化ストレージデータソース

データソース種別	オフライン統合	リアルタイム統合	オフライン開発 - データベース SQL	メタデータ取得	リアルタイム開発	グローバルテーブル品質	Data Quality - テーブルスキーマ変更	DataService Studio	Tag Factory	作成ガイド
API	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポートされています	API データソースを作成する
SAP Table	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	SAP Table データソースの作成
Salesforce	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	Salesforce データソースを作成する
Lark Bitable データソース	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	Lark Bitable データソースの作成