Dataphin でサポートされるデータソース - Dataphin - Alibaba Cloud ドキュメントセンター

Dataphin を使用する前に、データ構築プロセス中に生データの読み取りとデータの書き込みを行うためのデータソースとして、ビジネス要件を満たすデータベースまたはデータウェアハウスを選択する必要があります。 Dataphin はさまざまなデータエンジンを統合し、MaxCompute や Hive などのデータウェアハウスへの接続に加えて、MySQL や Oracle などの従来のエンタープライズデータベースへの接続もサポートしています。

背景情報

Dataphin は、ビッグデータストレージデータソース、ファイルデータソース、メッセージキューデータソース、リレーショナルデータソース、および NoSQL データソースへの接続をサポートしています。各モジュールでサポートされているデータソースの種類は次のとおりです。

Dataphin でデータソースに接続するには、まずデータソース管理でデータソースを作成する必要があります。
データソースを追加する場合、Dataphin は本番データソースと開発データソースの追加をサポートしています。基本プロジェクトと開発プロダクションプロジェクトの本番環境は、本番データソースの読み取りと書き込みを行います。開発プロダクションプロジェクトの開発環境は、開発データソースの読み取りと書き込みを行います。 DataService Studio では、基本モードと開発プロダクションモードの本番環境は本番データソースから読み取り、開発プロダクションモードの開発環境は開発データソースから読み取ります。同期タスクは、二重の本番環境と開発環境をサポートしておらず、プロダクト内のすべてのデータソースは本番データソースの読み取りと書き込みを行います。
説明
必要なデータソースタイプが組み込みのデータソースタイプにない場合は、オフラインまたはリアルタイムのデータソースタイプをカスタマイズして Dataphin に接続し、さまざまなデータソース統合要件を満たすことができます。詳細については、以下をご参照ください。
- カスタムオフラインデータソースの種類を作成する
- カスタムリアルタイムデータソースの種類を作成する

データソースの説明

シナリオ	説明	参照
オフライン統合	オフライン統合は、入力、出力、変換コンポーネントなど、複数のコンポーネントをサポートしています。キャンバス上でこれらのコンポーネントをドラッグ、構成、組み立てることで、オフライン統合パイプラインを構築できます。オフライン統合には、よりパーソナライズされた構成を作成できるコードエディタも用意されています。さらに、カスタム RDBMS データソースを作成すると、その入力および出力コンポーネントがコンポーネントライブラリに自動的に追加され、多様なデータ同期要件をサポートします。	オフライン統合
リアルタイム統合	Dataphin のリアルタイム統合機能は、ソースデータソースのデータベース全体またはすべてのテーブルからのデータ変更を、リアルタイムで宛先データソースに統合し、ソースと宛先のデータソースを同期させます。	リアルタイム統合
オフライン開発 - データベース SQL	データソースを Dataphin に接続した後、データベース SQL タスクを作成および開発できます。	データベース SQL タスクを作成する
メタデータ取得	メタデータセンターは、さまざまな業務システムからメタデータを抽出し、処理し、一元的に保存および管理します。このプロセスはデータガバナンスをサポートし、組織内でのデータの整理、取得、分析の方法を改善します。	メタデータセンター
リアルタイム開発	接続されたデータソースを使用して、リアルタイムメタテーブルを作成し、リアルタイムタスクを開発できます。	Flink_SQL タスク開発方法
Data Quality	Dataphin のアセット品質機能は、データ開発と利用のための完全なデータ品質ソリューションを提供します。テーブルに対するグローバル品質ルールや、データソースに対する特定の品質ルールを作成できます。データソース品質ルールを使用すると、Dataphin 内の任意のデータソースを選択し、その品質監視ルールを作成できます。サポートされているすべてのデータソースで接続性テストを実行できます。ただし、これらのデータソースの一部についてのみ、テーブルスキーマの変更を監視するための品質ルールを構成できます。詳細については、以下の表の「データソース品質 - テーブル構造の変更」列をご参照ください。	アセット品質の概要
データサービス	DataService Studio (OneService) は、Dataphin に基づいてデータ中台を構築する最終ステップです。データサービスの統一エンドポイントとして、DataService Studio はデータの一元的なマーケットスタイル管理を提供します。このアプローチにより、データセキュリティを確保しながらデータアクセスへの障壁を低減します。	DataService Studio
Tag Factory	Tag Factory は、企業のデータ研究開発 (R&D) チームおよび開発者向けのワンストッププラットフォームです。タグ作成からサービス配信までのライフサイクル全体をカバーします。このプラットフォームは、リスク管理やマーケティングなどのさまざまなシナリオに適しており、オフライン、リアルタイム、およびサービスベースのタグを開発、管理、探索、提供する機能を提供します。Tag Factory は、ビジネスアプリケーションを強化し、企業がタグアセットを構築するのを支援し、タグを効率的に開発し、簡単に見つけ、使用し、管理できるようにします。	Tag Factory の概要

このドキュメントでは、Dataphin に接続できるデータソースと、Dataphin でサポートされているアプリケーションシナリオのみをリストしています。各シナリオでデータソースがサポートする具体的な機能の詳細については、以下を参照してください。

ビッグデータストレージデータソース

データソースの種類	オフライン統合	リアルタイム統合	オフライン開発 - データベース SQL	メタデータ取得	リアルタイム開発	グローバルテーブル品質	データソースの品質 - テーブル構造の変更	データサービス	Tag Factory	作成ガイド
MaxCompute	サポート対象	サポート対象	サポート対象外	サポート対象外	サポート	サポート対象	サポート対象	サポート対象	サポート対象	MaxCompute データソースを作成する
Hive	サポート対象	サポート対象	サポート対象外	サポート対象	サポート対象	サポート対象	サポート対象	サポート対象外	サポート対象外	Hive データソースを作成する
Hologres	サポート	サポート対象外	サポート対象	サポート対象	サポート対象	サポート	サポート対象	サポート対象	サポート対象	Hologres データソースを作成する
IMPALA	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象	サポート対象	サポート対象外	Impala データソースを作成する
TDH Inceptor	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象	サポート対象	サポート対象外	TDH Inceptor データソースを作成する
Kudu	サポート	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象	サポート対象外	サポート対象外	Kudu データソースを作成する
StarRocks	サポート	サポートされていません	サポート	サポート対象	サポート	サポート	サポート対象	サポート	サポートされていません	StarRocks データソースを作成する
Hudi	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポート対象	サポートされていません	サポートされていません	サポートされていません	サポートされていません	Hudi データソースを作成する
Doris	サポート対象	サポートされていません	サポート対象	サポート対象	サポート対象	サポート	サポート対象	サポート対象	サポートされていません	Doris データソースを作成する
GreenPlum	サポート対象	サポートされていません	サポートされていません	サポート対象	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポート対象	GreenPlum データソースを作成する
TDengine	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象	サポート対象外	TDengine データソースを作成する
ArgoDB	サポート対象	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポート	サポート	サポートされていません	サポートされていません	ArgoDB データソースを作成する
Paimon	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポート対象	サポートされていません	サポートされていません	サポートされていません	サポートされていません	Paimon データソースを作成する
SelectDB	サポートされています	サポートされていません	サポート対象	サポート	サポートされていません	サポート	サポート対象	サポート対象	サポートされていません	SelectDB データソースを作成する
Lindorm (コンピューティングエンジン)	サポート	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポート対象	サポートされていません	サポートされていません	Lindorm (コンピューティングエンジン) データソースを作成する
Databricks	サポート対象	サポート対象	サポートされていません	サポートされていません	サポートされていません	サポート	サポート対象	サポート対象	サポートされていません	Databricks データソースを作成する
Amazon Redshift	サポート	サポートされていません	サポートされていません	サポート対象	サポートされていません	サポート対象	サポート対象	サポート対象	サポートされていません	Amazon Redshift データソースを作成する
DolphinDB	サポート	非サポート	非サポート	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	DolphinDB データソースを作成する

ファイルデータソース

データソースの種類	オフライン統合	リアルタイム統合	オフライン開発 - データベース SQL	メタデータ取得	リアルタイム開発	グローバルテーブル品質	データソース品質 - テーブル構造の変更	データサービス	Tag Factory	作成ガイド
HDFS	サポート	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	HDFS データソースを作成する
FTP	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	FTP データソースを作成する
OSS	サポート	サポート対象外	サポート対象外	サポート対象外	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	OSS データソースを作成する
Amazon S3	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	Amazon S3 データソースを作成する

メッセージキューデータソース

データソースの種類	オフライン統合	リアルタイム統合	オフライン開発 - データベース SQL	メタデータ取得	リアルタイム開発	グローバルテーブル品質	データソース品質 - テーブル構造の変更	データサービス	Tag Factory	作成ガイド
Log Service	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート対象外	Log Service データソースを作成する
Kafka	サポートされています	サポートされています	サポート対象外	サポート対象外	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート	Kafka データソースを作成する
DataHub	サポートされています	サポート	サポート対象外	サポート対象外	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポートされています	DataHub データソースを作成する
RabbitMQ	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	RabbitMQ データソースを作成する

リレーショナルデータソース

データソースタイプ	オフライン統合	リアルタイム統合	オフライン開発 - データベース SQL	メタデータ取得	リアルタイム開発	グローバルテーブル品質	データソース品質 - テーブル構造の変更	データサービス	Tag Factory	作成ガイド
PolarDB	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート	サポート対象	サポート対象	サポート対象外	サポート対象外	PolarDB データソースを作成する
PolarDB-X (旧 DRDS)	サポート対象	サポート対象外	サポート対象外	サポート対象	サポート対象	サポート対象	サポート対象	サポート対象外	サポート対象外	PolarDB-X データソースを作成する
PolarDB-X 2.0	サポート対象	サポート対象外	サポート対象	サポート対象外	サポート対象外	サポート対象	サポート対象	サポート対象	サポート対象外	PolarDB-X 2.0 データソースの作成
MySQL	サポート	サポート対象	サポート	サポート対象	サポート対象	サポート対象	サポート対象	サポート対象	サポート対象	MySQL データソースを作成する
SAP HANA	サポート	サポート対象外	サポート対象外	サポート対象	サポート対象	サポート対象	サポート対象	サポート対象	サポート対象外	SAP HANA データソースを作成する
Microsoft SQL Server	サポート対象	サポート	サポート対象	サポート対象	サポート対象	サポート	サポート	サポート対象	サポート対象外	Microsoft SQL Server データソースを作成する
PostgreSQL	サポート対象	サポート対象	サポート対象	サポート対象	サポート対象	サポート対象	サポート対象	サポート対象	サポート対象	PostgreSQL データソースを作成する
AnalyticDB for MySQL 2.0	サポート対象	サポート対象外	サポート対象	サポート対象外	サポート対象	サポート対象外	サポート	サポート対象	サポート対象外	AnalyticDB for MySQL 2.0 データソースを作成する
AnalyticDB for MySQL 3.0	サポート対象	サポート対象外	サポート対象	サポート対象	サポート対象	サポート対象外	サポート対象	サポート対象	サポート対象外	AnalyticDB for MySQL 3.0 データソースを作成する
AnalyticDB for PostgreSQL	サポート対象	サポート対象外	サポート対象	サポート対象外	サポート対象	サポート対象	サポート	サポート対象	サポート対象	AnalyticDB for PostgreSQL データソースを作成する
OceanBase	サポート	サポートされていません	サポート	サポート対象	サポート対象	サポートされていません	サポート対象	サポート	サポートされていません	OceanBase データソースを作成する
Oracle	サポート対象	サポート対象	サポート	サポート対象	サポート対象	サポート対象	サポート	サポート対象	サポート対象	Oracle データソースを作成する
Vertica	サポート	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象	サポート対象外	サポート対象外	Vertica データソースを作成する
IBM DB2	サポート対象	サポート	サポート対象外	サポート対象	サポート対象外	サポート対象	サポート対象	サポート対象外	サポート対象外	IBM DB2 データソースを作成する
Teradata	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象	サポート対象外	サポート対象外	Teradata データソースを作成する
ClickHouse	サポート対象	サポート対象外	サポート対象	サポート対象	サポート対象	サポート対象	サポート対象	サポート対象	サポート対象外	ClickHouse データソースを作成する
DM (DaMeng)	サポート対象	サポート対象外	サポート対象	サポート対象	サポート対象外	サポート	サポート対象	サポート対象	サポート対象外	DaMeng (DM) データソースを作成する
GBase 8a	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	GBase 8a データソースを作成する
KingbaseES	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	KingbaseES データソースを作成する
TiDB	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	TiDB データソースを作成する
GoldenDB	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象	サポート対象	サポート対象外	サポート対象外	GoldenDB データソースを作成する
OpenGauss	サポートされています	サポートされていません	サポート対象	サポート	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポート	OpenGauss データソースを作成する
GaussDB (DWS)	サポート対象	サポートされていません	サポート対象	サポートされていません	サポートされていません	サポート対象	サポート対象	サポート対象	サポートされていません	GaussDB (DWS) データソースを作成する
Amazon RDS for MySQL	サポート対象	サポート対象外	サポート対象外	サポート対象	サポート対象外	サポート対象	サポート対象	サポート対象	サポート対象外	Amazon RDS for MySQL データソースを作成する
Amazon RDS for PostgreSQL	サポート対象	サポートされていません	サポートされていません	サポート対象	サポートされていません	サポート対象	サポート対象	サポート対象	サポートされていません	Amazon RDS for PostgreSQL データソースを作成する
Amazon RDS for SQL Server	サポート対象	サポート対象外	サポート対象外	サポート対象	サポート対象外	サポート対象	サポート対象	サポート対象	サポート対象外	Amazon RDS for SQL Server データソースを作成する
Amazon RDS for Oracle	サポート対象	サポートされていません	サポートされていません	サポート対象	サポートされていません	サポート対象	サポート対象	サポート対象	サポートされていません	Amazon RDS for Oracle データソースを作成する
Amazon RDS for DB2	サポート対象	サポートされていません	サポートされていません	サポート	サポートされていません	サポート	サポート対象	サポート対象外	サポートされていません	Amazon RDS for DB2 データソースを作成する
TDSQL for MySQL	サポート対象	サポート対象外	サポート対象外	サポート	サポート対象外	サポート済み	サポート対象	サポート対象外	サポート対象外	TDSQL for MySQL データソースを作成する

NoSQL データソース

データソースの種類	オフライン統合	リアルタイム統合	オフライン開発 - データベース SQL	メタデータ取得	リアルタイム開発	グローバルテーブル品質	データソースの品質 - テーブル構造の変更	データサービス	Tag Factory	作成ガイド
HBase 0.9.4	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象	サポート対象外	サポート対象外	サポートされています	サポートされています	HBase データソースを作成する
HBase 1.1x	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポート	サポート対象外	サポート	サポートされています	サポートされています	HBase データソースを作成する
HBase2.0	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポートされています	サポート対象外	サポート対象	サポート	サポート	HBase データソースを作成する
Elasticsearch	サポート	サポート対象外	サポート対象外	サポート	サポート対象	サポート対象外	サポート対象外	サポート	対象外	Elasticsearch データソースを作成する
MongoDB	サポートされています	サポート対象外	サポート対象外	サポート対象外	サポートされています	サポート対象外	サポート対象	サポート	サポート対象外	MongoDB データソースを作成する
Tablestore	サポートされています	サポートされていません	サポートされていません	サポートされていません	サポート対象	サポートされていません	サポートされていません	サポートされていません	サポート対象	Tablestore データソースを作成する
Aliyun HBase	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポート対象	サポートされていません	サポート対象	サポートされていません	サポートされていません	Aliyun HBase データソースを作成する
Redis	サポートされています	サポートされていません	サポートされていません	サポートされていません	サポートされています	サポートされていません	サポートされていません	サポート対象外	サポートされていません	Redis データソースを作成する
Lindorm (ワイドテーブル)	サポート対象	サポートされていません	サポートされていません	サポートされていません	サポート対象	サポートされていません	サポート対象	サポートされています	サポートされています	Lindorm データソースを作成する
Presto	サポートされていません	サポートされていません	サポート対象	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポートされていません	サポートされていません	Presto データソースを作成する
Easysearch	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	Easysearch データソースの作成
Trino	サポート対象外	サポート対象外	サポート	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	Trino データソースの作成
OpenSearch	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	OpenSearch データソースの作成

半構造化ストレージデータソース

データソース種別	オフライン統合	リアルタイム統合	オフライン開発 - データベース SQL	メタデータ取得	リアルタイム開発	グローバルテーブル品質	データソース品質 - テーブル構造の変更	データサービス	Tag Factory	作成ガイド
API	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象	API データソースを作成する
SAP Table	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	SAP Table データソースを作成する
Salesforce	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	Salesforce データソースを作成する
Lark Bitable データソース	サポート対象	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	サポート対象外	Lark Bitable データソースの作成