Dataphin Data Integration のオフラインパイプライン機能を使用すると、ビジュアルコンポーネントを開発できます。オフラインパイプラインスクリプトを作成したら、包括的なライブラリからコンポーネントをドラッグアンドドロップして簡単に開発できます。このビジュアルアプローチにより、開発が簡素化され、効率が向上し、ソースデータソースとデスティネーションデータソースの編成が合理化されます。このトピックでは、コンポーネントライブラリを使用してオフラインパイプラインタスクを開発するプロセスについて概要を説明します。
前提条件
オフラインパイプラインを開発するには、まず対応する開発スクリプトを作成する必要があります。オフラインパイプラインスクリプトの作成の詳細については、「単一パイプラインで統合タスクを作成する」をご参照ください。
オフラインパイプラインコンポーネント開発エントリ
Dataphin ホームページに移動し、トップメニューバーから [開発] -> [data Integration] を選択します。
[オフラインパイプラインコンポーネント] 開発ページにアクセスするには、次の手順に従います。
プロジェクト を選択 (開発プロダクションモードでは環境の選択が必要) -> [バッチパイプライン] をクリック -> 開発するオフラインパイプラインを選択してクリック -> [コンポーネントライブラリ] をクリックします。
オフラインコンポーネントライブラリの開発手順
通常、完全なオフラインパイプラインは、1 つ以上の [入力]、0 個以上の [変換] と [フロー]、および 1 つ以上の [出力] で構成されます。
単一オフラインパイプラインスクリプトの開発ページで、右上隅にある [コンポーネントライブラリ] をクリックすると、[お気に入り]、[入力]、[変換]、[フロー]、[出力]、[カスタム] コンポーネントなどのコンポーネントが表示されます。
お気に入りコンポーネント
をクリックすると、他のコンポーネントライブラリで現在ログインしているアカウントがお気に入り登録したコンポーネントにアクセスできます。これにより、お気に入りコンポーネントライブラリから頻繁に使用するコンポーネントをすばやく選択して使用できます。
入力コンポーネント
初期データの発生元です。ビジネスデータのタイプに応じて、適切なコンポーネントを選択し、左側のパイプラインキャンバスにドラッグしてデータ入力を開始します。各入力コンポーネントの機能の説明については、「各コンポーネントの構成の詳細」をご参照ください。
[入力] コンポーネントは、先祖ノードと互換性がありません。
[入力] の子孫ノードは、[変換]、[出力]、または [フロー] にすることができます。
[入力] コンポーネントが [出力] や [変換] などの子孫ノードに複数接続されている場合は、[データ送信方法] を [入力] コンポーネントに選択する必要があります。
[レプリケーション]: 先祖ノードのデータは子孫ノード間で均等に複製され、各子孫ノードは先祖ノードから完全なデータセットを受信します。
[ラウンドロビン配信]: 先祖ノードのデータは、ラウンドロビン方式で子孫ノードに配信され、すべての子孫ノードのデータの合計が先祖ノードのデータと等しくなります。
出力コンポーネント
ビジネス要件に合った適切な出力コンポーネントを選択して、データソースを統合します。選択したコンポーネントを左側のパイプラインキャンバスにドラッグして、データ出力を容易にします。各出力コンポーネントの機能の包括的な情報については、「各コンポーネントの構成の詳細」をご参照ください。
[出力] コンポーネントは、子孫ノードと互換性がありません。
フローコンポーネント
Dataphin は、速度制限と条件付き配信の 2 種類のコンポーネントを通じて、データ統合中にフロー制御を提供します。各コンポーネントの機能の詳細については、「各コンポーネントの構成の詳細」をご参照ください。
[フロー] コンポーネントは、オフラインパイプラインの初期ノードまたは端末ノードとして機能できません。ただし、パイプラインスクリプトの開始と終了の間の任意の場所に配置できます。
[フロー] コンポーネントが [変換]、[出力]、または [フロー] などの子孫ノードに複数接続されている場合は、[データ送信方法] を [入力] コンポーネントから選択する必要があります。
[フロー] コンポーネントで [条件付き配信] コンポーネントを選択した場合は、コンポーネントを接続するときに配信条件を指定する必要があります。
先祖ノードの結果が true の場合にデータをダウンストリームに送信するには、[条件の結果が True] を選択します。
先祖ノードの結果が false の場合にデータをダウンストリームに送信するには、[条件の結果が False] を選択します。
変換コンポーネント
これは、データフィールドの計算、フィルタリング、暗号化などの操作を実行することにより、入力コンポーネントからのソースデータを処理するために使用できます。各変換コンポーネントの機能の包括的な情報については、「各コンポーネントの構成の詳細」をご参照ください。
[変換] コンポーネントは、[ダウンストリーム] コンポーネント ( [変換]、[出力]、[フロー] など) に複数接続できます。これらの接続を確立する際には、[入力] コンポーネントの [データ送信方法] を指定する必要があります。
方向付き接続
必要なコンポーネントを選択した後、方向付き接続を使用して、アップストリーム入力コンポーネントをダウンストリーム変換、フロー、および出力コンポーネントにリンクし、方向付きラインを形成します。統合タスクランタイムは、これらの有向接続に基づいて各コンポーネントを順番に実行します。コンポーネントを接続する際のアップストリームとダウンストリームの関係の視覚的表現については、下の図を参照ください。
キャンバス操作
パイプラインキャンバスは、複数のパイプラインスクリプトの同時構築をサポートしています。さらに、パイプラインキャンバスを右クリックすると、さまざまな操作を実行できます。
操作 | 説明 |
[コピー] | パイプラインキャンバス上の既存のコンポーネントをコピーします。 |
[貼り付け] | コピーされたパイプラインコンポーネントをパイプラインキャンバスに貼り付けます。 |
[削除] | 選択したコンポーネントをキャンバスから削除します。 |
[すべて選択] | パイプラインキャンバス上のすべてのコンポーネントを選択します。 |
[投げ縄選択] | マウスを使用して投げ縄でキャンバス上の複数のコンポーネントを選択します。 |
コードエディタコンポーネントへの切り替え
LogicalTable、コードエディタ、ローカルファイル 以外のコンポーネントの場合、構成ダイアログボックスの入力コンポーネントと出力コンポーネントは、[コードエディタ] モードへの切り替えをサポートしています。切り替えると元に戻すことはできません。次の図は、MySQL 入力コンポーネント を例として使用しています。
切り替え前 | 切り替え後 |
|
|
コンポーネント構成手順
Dataphin でサポートされているコンポーネントの構成手順については、以下の表を参照ください。
入力コンポーネント
コンポーネント名 | コンポーネント構成 |
MYSQL | 「MySQL 入力コンポーネント」をご参照ください。 |
Oracle | 「Oracle 入力コンポーネント」をご参照ください。 |
Vertica | 「Vertica 入力コンポーネント」をご参照ください。 |
FTP | 「FTP 入力コンポーネント」をご参照ください。 |
Hive | 「Hive 入力コンポーネントの構成」をご参照ください。 |
HBase | 「HBase 入力コンポーネントの管理 」をご参照ください。 |
LogicalTable | 「LogicalTable 入力コンポーネント」をご参照ください。 |
AnalyticDB for PostgreSQL | 「AnalyticDB for PostgreSQL 入力コンポーネント」をご参照ください。 |
PolarDB | 「PolarDB 入力コンポーネント」をご参照ください。 |
ローカルファイル | 「ローカルファイル入力コンポーネント」をご参照ください。 |
Teradata | 「Teradata 入力コンポーネント」をご参照ください。 |
OceanBase | 「OceanBase 入力コンポーネント」をご参照ください。 |
Hologres | 「Hologres 入力コンポーネント」をご参照ください。 |
TDH Inceptor | 「TDH Inceptor 入力コンポーネント」をご参照ください。 |
DataHub | 「DataHub 入力コンポーネント」をご参照ください。 |
DM | 「DM (Dameng) 入力コンポーネント」をご参照ください。 |
TiDB | 「TiDB 入力コンポーネント」をご参照ください。 |
GBase 8a | 「GBase 8a 入力コンポーネント」をご参照ください。 |
SAP Table | 「SAP Table 入力コンポーネント」をご参照ください。 |
StarRocks | 「StarRocks 入力コンポーネント 」をご参照ください。 |
Elasticsearch | 「Elasticsearch 入力コンポーネント」をご参照ください。 |
ArgoDB | 「ArgoDB 入力コンポーネント」をご参照ください。 |
Salesforce | 「Salesforce 入力コンポーネント」をご参照ください。 |
SelectDB | 「SelectDB 入力コンポーネント」をご参照ください。 |
Microsoft SQL Server | 「Microsoft SQL Server 入力コンポーネント」をご参照ください。 |
PostgreSQL | 「PostgreSQL 入力コンポーネント」をご参照ください。 |
PolarDB-X (旧 DRDS) | 「PolarDB-X (旧 DRDS) 入力コンポーネント」をご参照ください。 |
HDFS | 「HDFS 入力コンポーネント」をご参照ください。 |
MaxCompute | 「MaxCompute 入力コンポーネント」をご参照ください。 |
MongoDB | 「MongoDB 入力コンポーネント」をご参照ください。 |
AnalyticDB for MySQL 3.0 | 「AnalyticDB for MySQL 3.0 入力コンポーネント」をご参照ください。 |
Log Service | 「Log Service 入力コンポーネント 」をご参照ください。 |
OSS | 「OSS 入力コンポーネント」をご参照ください。 |
SAP HANA | 「SAP HANA 入力コンポーネント」をご参照ください。 |
IBM DB2 | 「IBM DB2 入力コンポーネント」をご参照ください。 |
コードエディタ入力 | 「エディタ入力コンポーネント」をご参照ください。 |
ClickHouse | 「ClickHouse 入力コンポーネント」をご参照ください。 |
Kafka | 「Kafka 入力コンポーネント」をご参照ください。 |
API | 「API 入力コンポーネント」をご参照ください。 |
KingbaseES | 「KingbaseES 入力コンポーネント」をご参照ください。 |
GoldenDB | 「GoldenDB 入力コンポーネント」をご参照ください。 |
Impala | 「Impala 入力コンポーネント」をご参照ください。 |
OpenGauss | 「OpenGauss 入力コンポーネント」をご参照ください。 |
Kudu | 「Kudu 入力コンポーネントを構成する」をご参照ください。 |
Greenplum | 「Greenplum 入力コンポーネント 」をご参照ください。 |
Doris | 「Doris 入力コンポーネント」をご参照ください。 |
Amazon S3 | 「Amazon S3 入力コンポーネント」をご参照ください。 |
Lindorm (コンピューティングエンジン) | 「Lindorm 入力コンポーネント」をご参照ください。 |
出力コンポーネント
コンポーネント名 | 構成手順 |
MYSQL | 「MySQL 出力コンポーネント」をご参照ください。 |
Oracle | 「Oracle 出力コンポーネント」をご参照ください。 |
Vertica | 「Vertica 出力コンポーネント 」をご参照ください。 |
FTP | 「FTP 出力コンポーネント」をご参照ください。 |
Hive | 「Hive 出力コンポーネントの設定」をご参照ください。 |
HBase | 「HBase 出力コンポーネント」をご参照ください。 |
AnalyticDB for MySQL 2.0 | 「AnalyticDB for MySQL 2.0 出力コンポーネント」をご参照ください。 |
AnalyticDB for MySQL 3.0 | 「AnalyticDB for MySQL 3.0 出力コンポーネント」をご参照ください。 |
PolarDB | 「PolarDB 出力コンポーネント」をご参照ください。 |
SAP HANA | 「SAP HANA 出力コンポーネント」をご参照ください。 |
IBM DB2 | 「IBM DB2 出力コンポーネント」をご参照ください。 |
コードエディタからの出力 | 「コードエディタコンポーネントの構成 」をご参照ください。 |
ClickHouse | 「ClickHouse 出力コンポーネント」をご参照ください。 |
Kafka | 「Kafka 出力コンポーネント」をご参照ください。 |
KingbaseES | 「KingbaseES 出力コンポーネント」をご参照ください。 |
GoldenDB | 「GoldenDB 出力コンポーネント」をご参照ください。 |
Impala | 「Impala 出力コンポーネント」をご参照ください。 |
StarRocks | 「StarRocks 出力コンポーネント」をご参照ください。 |
Greenplum | 「Greenplum 出力コンポーネント」をご参照ください。 |
ArgoDB | 「ArgoDB 出力コンポーネントを構成する」をご参照ください。 |
Amazon S3 | 「Amazon S3 出力コンポーネント」をご参照ください。 |
Microsoft SQL Server | 「Microsoft SQL Server 出力コンポーネント」をご参照ください。 |
PostgreSQL | 「PostgreSQL 出力コンポーネント」をご参照ください。 |
PolarDB-X (旧 DRDS) | 「PolarDB-X 出力コンポーネント」をご参照ください。 |
HDFS | 「HDFS 出力コンポーネント」をご参照ください。 |
MaxCompute | 「MaxCompute 出力コンポーネント 」をご参照ください。 |
MongoDB | 「MongoDB 出力コンポーネント」をご参照ください。 |
Elasticsearch | 「Elasticsearch 出力コンポーネント」をご参照ください。 |
AnalyticDB for PostgreSQL | 「AnalyticDB for PostgreSQL 出力コンポーネント」をご参照ください。 |
OSS | 「OSS 出力コンポーネント」をご参照ください。 |
Teradata | 「Teradata 出力コンポーネント」をご参照ください。 |
OceanBase | 「OceanBase 出力コンポーネント」をご参照ください。 |
Hologres | 「Hologres 出力コンポーネント」をご参照ください。 |
TDH Inceptor | 「TDH Inceptor 出力コンポーネント」をご参照ください。 |
DataHub | 「DataHub 出力コンポーネント」をご参照ください。 |
DM | 「DM (Dameng) 出力コンポーネント」をご参照ください。 |
TiDB | 「TiDB 出力コンポーネント」をご参照ください。 |
GBase 8a | 「GBase 8a 出力コンポーネント」をご参照ください。 |
OpenGauss | 「OpenGauss 出力コンポーネント 」をご参照ください。 |
API | 「API 出力コンポーネント」をご参照ください。 |
Redis | 「Redis 出力コンポーネント」をご参照ください。 |
Doris | 「Doris 出力コンポーネント」をご参照ください。 |
SelectDB | 「SelectDB 出力コンポーネント」をご参照ください。 |
Lindorm (コンピューティングエンジン) | 「Lindorm 出力コンポーネント」をご参照ください。 |
変換コンポーネント
コンポーネント名 | コンポーネント構成 |
フィールドの選択 | 「フィールド選択変換コンポーネント」をご参照ください。 |
署名の計算 | 「フィールド計算変換コンポーネント」をご参照ください。 |
フィルター | 「フィルター変換コンポーネント」をご参照ください。 |
暗号化 | 「暗号化変換コンポーネント」をご参照ください。 |
復号化 | 「復号化変換コンポーネント」をご参照ください。 |
フローコンポーネント
コンポーネント名 | 構成手順 |
速度制限 | 「速度制限フローコンポーネント」をご参照ください。 |
条件付き配信 | 「条件付き配信フローコンポーネント」をご参照ください。 |
カスタムコンポーネント
Dataphin でカスタムコンポーネントを使用するには、まずプラットフォーム内でカスタムコンポーネントを作成する必要があります。作成したら、必要に応じて選択して使用できます。詳細な手順については、「オフラインカスタムソースタイプを作成する」をご参照ください。