Dataphin データソース - Dataphin - Alibaba Cloud ドキュメントセンター

背景情報

Dataphin は、ビッグデータストレージ、ファイル、メッセージキュー、リレーショナル、NoSQL データソースなど、さまざまなデータソースに接続します。

Dataphin でデータソースを接続するには、まずデータソース管理でデータソースを作成する必要があります。
Dataphin では、本番データソースと開発データソースの両方を追加できます。Basic プロジェクトおよび Dev-Prod プロジェクトの本番環境は、本番データソースから読み書きを行います。Dev-Prod プロジェクトの開発環境は、開発データソースから読み書きを行います。データサービスの場合、Basic プロジェクトと Dev-Prod プロジェクトの両方の本番環境は本番データソースから読み取り、Dev-Prod プロジェクトの開発環境は開発データソースから読み取ります。同期タスクは、本番と開発のデュアル環境をサポートしておらず、本番データソースからのみ読み書きが可能です。
説明
必要なデータソースタイプが組み込まれていない場合は、カスタムのオフラインまたはリアルタイムのソースタイプを作成して、データソースを Dataphin に接続できます。詳細については、以下をご参照ください。
- オフラインのカスタムソースタイプの作成
- リアルタイムのカスタムソースタイプの作成

データソース

ユースケース	説明	関連ドキュメント
オフライン統合	オフライン統合は、入力、出力、変換コンポーネントを含むさまざまなコンポーネントをサポートしています。これらのコンポーネントをキャンバス上でドラッグ、設定、組み立てることで、単一のオフライン統合パイプラインを作成できます。オフライン統合は、よりパーソナライズされた設定のためのスクリプトモードもサポートしています。さらに、カスタム RDBMS データソースを作成すると、その入力および出力コンポーネントが自動的にコンポーネントライブラリに追加され、多様なデータ同期のニーズに対応します。	オフライン統合
リアルタイム統合	Dataphin はリアルタイム統合をサポートしており、ソースデータベースまたはそのすべてのテーブルからのデータ変更を宛先データソースに統合します。これにより、ソースと宛先のデータソースがリアルタイムで同期されます。	リアルタイム統合
オフライン開発 - データベース SQL	データソースを Dataphin に接続した後、Dataphin でデータベース SQL タスクを作成して開発を行うことができます。	データベース SQL タスクの作成
メタデータ収集	メタデータセンターは、さまざまな業務システムからメタデータを抽出し、処理し、一元管理します。これにより、データガバナンスをサポートし、組織がデータを整理、取得、分析するのに役立ちます。	メタデータセンター
リアルタイム開発	接続されたデータソースを使用して、リアルタイムメタテーブルを作成し、リアルタイムタスクを開発できます。	Flink_SQL タスク開発
データ品質	アセット品質は、Dataphin における包括的なデータ品質ソリューションであり、データ開発と使用をエンドツーエンドでサポートします。グローバルテーブル品質ルールまたはデータソース固有の品質ルールを作成できます。データソース固有の品質ルールを使用すると、Dataphin 内の任意のデータソースに対してモニタリングルールを作成できます。これらすべてのデータソースに対して接続性テストを実行できます。ただし、テーブルスキーマの変更をモニタリングするための品質ルールをサポートしているのは一部のデータソースのみです。詳細については、以下の表のデータソース品質 - テーブルスキーマ変更の列をご参照ください。	アセット品質の概要
OneService	OneService は、Dataphin を使用してデータミドルプラットフォームを構築する最終ステップです。統一されたサービスポータルとして機能し、一元化されたマーケットプレイス形式のデータ管理を提供します。これにより、データセキュリティを確保しながらデータアクセスを簡素化します。	OneService
Tag Factory	Tag Factory は、作成からサービス配信までのタグライフサイクル全体をワンストップで提供するプラットフォームです。データ R&D チームと開発者は、リスク管理やマーケティングなどのさまざまなシナリオ向けに、オフライン、リアルタイム、およびサービスベースのタグを開発、管理、探索、提供できます。Tag Factory は、上流の業務アプリケーションを強化し、企業がタグアセットを構築するのを支援し、タグを効率的に開発し、簡単に見つけ、シンプルに使用し、便利に管理できるようにします。	Tag Factory の概要

このトピックでは、Dataphin に接続できるデータソースとそのサポートされているユースケースのみをリストアップしています。さまざまなシナリオで各データソースがサポートする具体的な機能の詳細については、以下のドキュメントをご参照ください。

ビッグデータストレージソース

タイプ	バッチ統合	リアルタイム統合	オフライン SQL	メタデータ収集	リアルタイム開発	グローバルテーブル品質	スキーマ変更品質	データサービス	Tag Factory	ガイド
MaxCompute	サポート	サポート	非サポート	非サポート	サポート	サポート	サポート	サポート	サポート	MaxCompute データソースの作成
Hive	サポート	サポート	非サポート	サポート	サポート	サポート	サポート	サポート	非サポート	Hive データソースの作成
Hologres	サポート	サポート	サポート	サポート	サポート	サポート	サポート	サポート	サポート	Hologres データソースの作成
Impala	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	サポート	サポート	非サポート	Impala データソースの作成
TDH Inceptor	サポート	非サポート	非サポート	非サポート	サポート	サポート	サポート	サポート	非サポート	TDH Inceptor データソースの作成
Kudu	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	サポート	非サポート	非サポート	Kudu データソースの作成
StarRocks	サポート	サポート	サポート	サポート	サポート	サポート	サポート	サポート	非サポート	StarRocks データソースの作成
Hudi	非サポート	非サポート	非サポート	非サポート	サポート	非サポート	非サポート	非サポート	非サポート	Hudi データソースの作成
Doris	サポート	非サポート	サポート	サポート	サポート	サポート	サポート	サポート	非サポート	Doris データソースの作成
Greenplum	サポート	非サポート	非サポート	サポート	非サポート	非サポート	非サポート	非サポート	サポート	Greenplum データソースの作成
TDengine	サポート	非サポート	サポート	非サポート	非サポート	非サポート	非サポート	サポート	非サポート	TDengine データソースの作成
ArgoDB	サポート	非サポート	非サポート	非サポート	非サポート	サポート	サポート	非サポート	非サポート	ArgoDB データソースの作成
SelectDB	サポート	非サポート	サポート	サポート	非サポート	サポート	サポート	サポート	非サポート	SelectDB データソースの作成
Databricks	サポート	サポート	非サポート	非サポート	非サポート	サポート	サポート	サポート	非サポート	Databricks データソースの作成
Amazon Redshift	サポート	非サポート	非サポート	サポート	非サポート	サポート	サポート	サポート	非サポート	Amazon Redshift データソースの作成
DolphinDB	サポート	非サポート	非サポート	サポート	非サポート	非サポート	非サポート	サポート	非サポート	DolphinDB データソースの作成
Snowflake	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	Snowflake データソースの作成
Data Lake Formation	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	Data Lake Formation データソースの作成

ファイルデータソース

データソースタイプ	オフライン統合	リアルタイム統合	オフライン SQL 開発	メタデータ収集	リアルタイム開発	グローバルテーブル品質	スキーマ変更	データサービス	Tag Factory	作成ガイド
HDFS	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	HDFS データソースの作成
FTP	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	FTP データソースの作成
OSS	サポート	非サポート	非サポート	非サポート	サポート	非サポート	非サポート	非サポート	非サポート	OSS データソースの作成
Amazon S3	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	Amazon S3 データソースの作成

メッセージキューデータソース

データソースタイプ	バッチ統合	リアルタイム統合	バッチ SQL	メタデータ収集	リアルタイム開発	グローバルテーブル品質	スキーマの揮発性	データサービス	Tag Factory	アクション
Log Service	サポート	非サポート	非サポート	非サポート	サポート	非サポート	非サポート	非サポート	非サポート	Log Service データソースの作成
Kafka	サポート	サポート	非サポート	非サポート	サポート	非サポート	非サポート	非サポート	サポート	Kafka データソースの作成
DataHub	サポート	サポート	非サポート	非サポート	サポート	非サポート	非サポート	非サポート	サポート	DataHub データソースの作成
RabbitMQ	非サポート	非サポート	非サポート	非サポート	サポート	非サポート	非サポート	非サポート	非サポート	RabbitMQ データソースの作成

リレーショナルデータソース

データソースタイプ	バッチ統合	リアルタイム統合	オフライン SQL	メタデータ収集	リアルタイム開発	グローバルテーブル品質	スキーマ変更	データサービス	ラベルファクトリー	非構造化データセット	ガイド
PolarDB	サポート	非サポート	非サポート	非サポート	サポート	サポート	サポート	非サポート	非サポート	非サポート	PolarDB データソースの作成
PolarDB-X	サポート	非サポート	非サポート	サポート	サポート	サポート	サポート	非サポート	非サポート	非サポート	PolarDB-X データソースの作成
PolarDB-X 2.0	サポート	非サポート	サポート	非サポート	非サポート	サポート	サポート	サポート	非サポート	非サポート	PolarDB-X 2.0 データソースの作成
MySQL	サポート	サポート	サポート	サポート	サポート	サポート	サポート	サポート	サポート	非サポート	MySQL データソースの作成
SAP HANA	サポート	非サポート	非サポート	サポート	サポート	サポート	サポート	サポート	非サポート	非サポート	SAP HANA データソースの作成
Microsoft SQL Server	サポート	サポート	サポート	サポート	サポート	サポート	サポート	サポート	非サポート	非サポート	Microsoft SQL Server データソースの作成
PostgreSQL	サポート	サポート	サポート	サポート	サポート	サポート	サポート	サポート	サポート	サポート	PostgreSQL データソースの作成
AnalyticDB for MySQL 2.0	サポート	非サポート	サポート	非サポート	サポート	非サポート	サポート	サポート	非サポート	非サポート	AnalyticDB for MySQL 2.0 データソースの作成
AnalyticDB for MySQL 3.0	サポート	非サポート	サポート	サポート	サポート	非サポート	サポート	サポート	非サポート	非サポート	AnalyticDB for MySQL 3.0 データソースの作成
AnalyticDB for PostgreSQL	サポート	非サポート	サポート	非サポート	サポート	サポート	サポート	サポート	サポート	非サポート	AnalyticDB for PostgreSQL データソースの作成
OceanBase	サポート	非サポート	サポート	サポート	サポート	非サポート	サポート	サポート	非サポート	非サポート	OceanBase データソースの作成
Oracle	サポート	サポート	サポート	サポート	サポート	サポート	サポート	サポート	サポート	非サポート	Oracle データソースの作成
Vertica	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	サポート	非サポート	非サポート	非サポート	Vertica データソースの作成
IBM DB2	サポート	サポート	非サポート	サポート	非サポート	サポート	サポート	非サポート	非サポート	非サポート	IBM DB2 データソースの作成
Teradata	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	サポート	非サポート	非サポート	非サポート	Teradata データソースの作成
ClickHouse	サポート	非サポート	サポート	サポート	サポート	サポート	サポート	サポート	非サポート	非サポート	ClickHouse データソースの作成
DM	サポート	非サポート	サポート	サポート	非サポート	サポート	サポート	サポート	非サポート	非サポート	DM データソースの作成
GBase 8a	サポート	非サポート	サポート	非サポート	非サポート	非サポート	非サポート	サポート	非サポート	非サポート	GBase 8a データソースの作成
KingbaseES	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	KingbaseES データソースの作成
TiDB	サポート	非サポート	非サポート	非サポート	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	TiDB データソースの作成
GoldenDB	サポート	非サポート	非サポート	非サポート	非サポート	サポート	サポート	非サポート	非サポート	非サポート	GoldenDB データソースの作成
openGauss	サポート	非サポート	サポート	サポート	非サポート	非サポート	非サポート	非サポート	サポート	非サポート	openGauss データソースの作成
GaussDB(DWS)	サポート	非サポート	サポート	非サポート	サポート	サポート	サポート	サポート	非サポート	非サポート	GaussDB(DWS) データソースの作成
Amazon RDS for MySQL	サポート	非サポート	非サポート	サポート	非サポート	サポート	サポート	サポート	非サポート	非サポート	Amazon RDS for MySQL データソースの作成
Amazon RDS for PostgreSQL	サポート	非サポート	非サポート	サポート	非サポート	サポート	サポート	サポート	非サポート	非サポート	Amazon RDS for PostgreSQL データソースの作成
Amazon RDS for SQL Server	サポート	非サポート	非サポート	サポート	非サポート	サポート	サポート	サポート	非サポート	非サポート	Amazon RDS for SQL Server データソースの作成
Amazon RDS for Oracle	サポート	非サポート	非サポート	サポート	非サポート	サポート	サポート	サポート	非サポート	非サポート	Amazon RDS for Oracle データソースの作成
Amazon RDS for DB2	サポート	非サポート	非サポート	サポート	非サポート	サポート	サポート	非サポート	非サポート	非サポート	Amazon RDS for DB2 データソースの作成
TDSQL for MySQL	サポート	非サポート	サポート	サポート	非サポート	サポート	サポート	サポート	非サポート	非サポート	TDSQL for MySQL データソースの作成
GBase 8c	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	サポート	非サポート	非サポート	GBase 8c データソースの作成
TDSQL for PostgreSQL	サポート	非サポート	サポート	非サポート	非サポート	サポート	非サポート	サポート	非サポート	非サポート	TDSQL for PostgreSQL データソースの作成
OushuDB	サポート	サポート	サポート	非サポート	非サポート	サポート	非サポート	非サポート	非サポート	非サポート	OushuDB データソースの作成

NoSQL データソース

データソースタイプ	バッチ統合	リアルタイム統合	バッチ開発 (SQL)	メタデータ収集	リアルタイム開発	グローバルテーブル品質	スキーマ変更	データサービス	Tag Factory	ナレッジグラフ	アクション
HBase 0.9.4	サポート	非サポート	非サポート	非サポート	サポート	非サポート	非サポート	サポート	サポート	非サポート	HBase データソースの作成
HBase 1.1x	サポート	非サポート	非サポート	非サポート	サポート	非サポート	非サポート	サポート	サポート	非サポート	HBase データソースの作成
HBase 2.0	サポート	非サポート	非サポート	非サポート	サポート	非サポート	非サポート	サポート	サポート	非サポート	HBase データソースの作成
Elasticsearch	サポート	非サポート	非サポート	サポート	サポート	非サポート	非サポート	サポート	サポート	非サポート	Elasticsearch データソースの作成
MongoDB	サポート	非サポート	非サポート	非サポート	サポート	非サポート	非サポート	サポート	非サポート	非サポート	MongoDB データソースの作成
Tablestore	サポート	非サポート	非サポート	非サポート	サポート	非サポート	非サポート	非サポート	サポート	非サポート	Tablestore データソースの作成
ApsaraDB for HBase	非サポート	非サポート	非サポート	非サポート	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	ApsaraDB for HBase データソースの作成
Redis	サポート	非サポート	非サポート	非サポート	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	Redis データソースの作成
Presto	非サポート	非サポート	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	Presto データソースの作成
Easysearch	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	Easysearch データソースの作成
Trino	非サポート	非サポート	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	Trino データソースの作成
OpenSearch	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	OpenSearch データソースの作成
InfluxDB	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	InfluxDB データソースの作成
Lindorm	サポート	非サポート	サポート (ワイドカラムエンジン-HBase 接続を除く)	非サポート	非サポート	非サポート	非サポート	サポート	サポート (ワイドカラムエンジン-HBase 接続のみ)	サポート	Lindorm データソースの作成

半構造化データソース

データソースタイプ	オフライン統合	リアルタイム統合	オフライン SQL	メタデータ収集	リアルタイム開発	グローバルテーブル品質	スキーマ変更	データサービス	ラベルファクトリー	ナレッジグラフ	ガイド
API	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	サポート	非サポート	API データソースの作成
SAP Table	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	SAP Table データソースの作成
Salesforce	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	Salesforce データソースの作成
Feishu Bitable データソース	サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	Feishu Bitable データソースの作成
Neo4j	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	非サポート	サポート	Neo4j データソースの作成

ベクトルデータベース

データソースタイプ

オフライン統合

リアルタイム統合

オフライン SQL 開発

メタデータ収集

リアルタイム開発

グローバルテーブル品質

テーブルスキーマ変更

データサービス

Tag Factory

ナレッジグラフ

非構造化データセット

作成ガイド

Milvus

サポート

非サポート

サポート

Milvus データソースの作成