データソースは、外部データシステム (データベース、ストレージ、またはメッセージキュー) の接続詳細を DataWorks に登録し、モジュール間でデータの読み書きができるようにします。Standard-mode ワークスペースは環境を隔離でき、開発環境と本番環境で個別のデータソースを使用することで、テスト操作が本番データに影響を与えることを防ぎます。
機能
データソースの使用方法
DataWorks のデータソースは、ワークスペースの で一元管理されます。接続を作成してテストした後、DataWorks の各モジュールで使用できます。
モジュール | ユースケース | サポートされているタイプ |
Data Integration | MySQL から MaxCompute など、データソース間でデータを移行するためのデータ同期タスクを実行します。単一テーブル、データベース全体、バッチ、リアルタイムなど、さまざまな同期タイプをサポートします。 | |
Data Studio | ノードを開発、デバッグし、定期的にスケジュールします。標準モードでは、タスクは開発環境または本番環境用に指定されたデータソースを自動的に使用します。 | |
データマップ | データソースからメタデータを収集します。テーブル構造とリネージ情報を参照できます。 | |
データ分析 | データ処理、分析、変換、可視化のためにデータベースに接続します。 | |
データサービス | データソースのテーブル構造に基づいて API サービスを生成し、データクエリ用のインターフェイスを提供します。 |
データソース環境分離
標準モードのワークスペースは データソース環境分離 をサポートします。開発と本番でデータソースを分けることで、テスト操作が本番データに与える影響を防ぎます。詳細については、「データソース環境の説明」をご参照ください。
データソースタイプ
DataWorks は 2 つのデータソースタイプをサポートしています。
比較 | 標準タイプ | メタデータタイプ |
主な目的 | 物理データにアクセスするための接続情報を保存します。読み取り、書き込み、コンピューティングに使用します。 | データレイクのメタデータセンター用の接続情報を保存します。メタデータ収集とガバナンスにのみ使用されます。 |
対象 | 物理データそのもの。 | データに関する記述情報 (メタデータ)。データベース、テーブル、列の構造など。 |
タスク実行での使用可否 | はい。同期タスクのリーダーとライターは、このタイプのデータソースを参照する必要があります。 | いいえ。タスクの入力または出力として使用できません。 |
代表的な例 | MySQL、MaxCompute、Hologres、DLF、OSS など。 | Paimon カタログ。 |
概要：データの読み取り、書き込み、またはコンピューティングには、標準データソースを使用します。Paimon などのデータレイクのテーブル構造をガバナンスと参照のために DataWorks に取り込むには、メタデータデータソースを使用します。
前提条件
データソースを設定する前に、次の要件を満たしていることを確認してください。
権限要件：対象のワークスペースで ワークスペース管理者 または オペレーター のロールが付与されているか、
AliyunDataWorksFullAccessまたはAdministratorAccessポリシーが付与された RAM ユーザーである必要があります。権限付与については、「RAM ユーザーへの権限付与」および「ワークスペースロールとメンバーの管理」をご参照ください。接続詳細：接続情報 (インスタンスまたはエンドポイント (エンドポイント/JDBC URL)、ポート、データベース名、ユーザー名、パスワード) を準備してください。
ネットワーク接続：DataWorks の リソースグループ がデータソースにアクセスできることを確認してください。データソースがインターネット経由でアクセス可能で、サーバーレスリソースグループ を使用する場合は、リソースグループに関連付けられた VPC に インターネット NAT ゲートウェイ と EIP を設定する必要があります。
注意事項
使用制限：クロスリージョン、クロスアカウント、または AccessKey を使用して作成したデータソースは、データ同期にのみ使用でき、データ開発やタスクスケジューリングには使用できません。
作成モジュールによる違い：標準モードでは、[管理] で作成されたデータソースには、開発環境と本番環境の両方の情報が含まれます。[Data Integration] で作成されたデータソースには、本番環境の情報のみが含まれます。すべてのデータソースは、[管理] で作成および保守してください。
作成方法：自動作成と手動作成
作成方法 | 説明 | 適用シナリオ |
自動作成 | コンピューティングリソース (MaxCompute や Hologres など) をワークスペースに関連付けると、システムが対応するデータソースを自動的に作成して管理します。ライフサイクルと権限は、コンピューティングリソースから継承されます。 | 推奨：データソースをデータ開発に使用する場合は、この方法を必ず使用してください。使用しない場合、タスクを実行できません。 |
手動作成 | データソースの接続情報、認証情報、その他のパラメーターを手動で指定します。データソースのライフサイクルと権限の割り当てを制御できます。 | すべてのデータソースタイプに適用できます。特に、Data Integration、Data Service、またはきめ細かい権限コントロールが必要なシナリオに適しています。 |
エントリポイント
[Management Center] ページに移動します。
DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、[Management Center] をクリックします。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[管理センターに移動] をクリックします。
ナビゲーションペインで、 データソース をクリックして、 データソースリスト ページに移動します。
ページの左上にある データソースの追加 をクリックします。
データソースの作成
ステップ 1: 接続モードの選択
DataWorks は、データソース接続を設定するために、[インスタンスモード] と パブリック IP あり をサポートしています。
シナリオ 1: インスタンスモード (現在の Alibaba Cloud アカウント)
データソースが現在のアカウント配下にある Alibaba Cloud サービス (ApsaraDB RDS や PolarDB など) の場合は、[インスタンスモード] を選択します。リージョン と インスタンス を指定すると、システムが自動的に接続詳細を取得します。
新しいインスタンスを購入する場合は、ネットワーク設定を最小限に抑えるために、DataWorks のリソースグループと同じ VPC を使用します。
すでにデータソースインスタンスがあり、その VPC が DataWorks リソースグループで使用されている VPC と異なる場合は、データソースへ正しくアクセスできるように、必ずネットワーク接続を設定してください。
シナリオ 2: インスタンスモード (別の Alibaba Cloud アカウント)
インスタンスモードでデータソースを追加する際に、その他の Alibaba Cloud アカウント 配下のインスタンスにアクセスする必要がある場合は、他のルートアカウント ID と RAM ユーザー権限付与ロール名称 を設定して、クロスアカウントデータソースを作成できます。
クロスアカウントデータソースを作成する際は、以下を確認してください：
使用する RAM ロールがターゲットデータソースへのアクセス権を持っていること。クロスアカウント認可については、「データソースのクロスアカウント認可」および「インスタンスのクロスアカウント認可」をご参照ください。
コンシューマーアカウント (現在のアカウント) の [リソースグループ] と、リソース所有者アカウント (別のアカウント) の [データソース] との間でネットワーク接続が確立されていること。
シナリオ 3: 接続文字列モード
ECS インスタンス上、オンプレミスデータセンター、またはパブリックネットワーク上のセルフマネージドデータソースには、[接続文字列モード] を使用します。ネットワークアドレス (エンドポイント/JDBC URL)、ポート、データベース名、認証情報 (ユーザー名/パスワード/AccessKey) を手動で設定します。
接続文字列モードを使用する場合、IP アドレスとポートが DataWorks リソースグループのネットワークからアクセス可能であることを確認してください。必要に応じて、[パブリックネットワークアクセス] を有効にするか判断し、[セキュリティグループ] と [許可リスト] を設定してください。「ネットワーク接続の設定」をご参照ください。
データソースの IP アドレスが頻繁に変更される、またはドメインベースのアクセスを使用している場合は、「データ統合専用リソースグループへのホストのバインド」またはサーバーレスリソースグループの「PrivateZone DNS 名前解決」を設定することで解決できます。
[接続文字列モード] を使用すると、DataWorks は JDBC URL を自動的に解析します。URL にサポートされていないパラメーターが含まれている場合、システムはそれらのパラメーターを自動的に削除します。特別なパラメーターを保持するには、してテクニカルサポートにお問い合わせください。
ステップ 2: 接続詳細の入力
標準モードでは、開発環境と本番環境で接続詳細を個別に設定する必要があります。2 つの環境で同じ設定を使用するか、異なる設定を使用するかを選択できます。
データソース名：ワークスペース内で一意である必要があります。ビジネスと環境を明確に識別できる名前を使用することを推奨します (例:
rds_mysql_order_dev)。データソースの説明：データソースの目的を簡潔に説明します。
接続詳細：前述の接続モードに基づいて、データソースのインスタンスまたは URL アドレス、ポート、およびその他の情報を入力します。
ステップ 3: 認証情報の設定
DataWorks は複数の認証方法をサポートしています。データソースのタイプと設定ページに基づいて認証情報を設定してください。認証情報が必要なデータベース権限を持っていることを確認してください。
認証方法 | ユースケース |
[ユーザー名とパスワード] | ほとんどのデータベースタイプ (ApsaraDB RDS や StarRocks など) に適用されます。DataWorks は、[ユーザー名とパスワード認証] を介してデータソースにアクセスします。 |
[RAM アカウント] | 以下に説明する複数の方法がサポートされています。MaxCompute や Hologres など、RAM アカウント認証をサポートする Alibaba Cloud サービスに適用されます。必要な権限に基づいてアカウントを設定できます。
|
[Kerberos 認証] | サードパーティの認証メカニズム。Hive、HDFS、HBase などのビッグデータコンポーネントに適用されます。Kerberos 認証では、Keytab、krb5.conf、およびその他の認証ファイルをアップロードする必要があります。設定については、「Kerberos 認証の設定」をご参照ください。 |
[AccessKey] | AccessKey ペアは、[AccessKey ID] と [AccessKey Secret] で構成される永続的なアクセス認証情報です。OSS や Tablestore などのデータソースに適用されます。AccessKey ペアはセキュリティレベルが低いため、利用可能な場合は RAM ロールベースの認証を使用してください。 |
[KMS 一般的なシークレット] | Alibaba Cloud Key Management Service (KMS) でデータソースのアクセス認証情報を管理します。データソースを作成する際に、[アクセス ID] を [Key Management Service] に設定し、KMS の一般的なシークレットが存在する [KMS リージョン] を選択し、[KMS リスト] からターゲットの一般的なシークレットを選択します。シークレットがローテーションされた後、DataWorks は自動的に最新の認証情報を使用するため、DataWorks での再設定は不要です。まず KMS で一般的なシークレットを作成する必要があります。詳細については、「一般的なシークレットの管理と使用」をご参照ください。KMS の一般的なシークレットの内容は、次の 2 つの JSON 形式をサポートしています： 現在 KMS の一般的なシークレットをサポートしているデータソースタイプ：DB2、FTP、MongoDB、MySQL、Oracle、PolarDB、PolarDB-O、PostgreSQL、PolarDB-X 2.0、SQL Server。 説明 KMS の一般的なシークレットの内容が変更された後、DataWorks は最大 5 分間シークレットをキャッシュします。新しいシークレットは遅くとも 5 分以内に有効になります。 |
データベースで SSL 認証が有効になっている場合は、データソースを作成する際にも SSL を有効にしてください。「PostgreSQL データソースの SSL 認証を有効にする」をご参照ください。
ステップ 4: 接続テスト
ページの下部で、ワークスペースに関連付けられている各リソースグループの 接続テスト をクリックします。
到達可能 と表示された場合、設定は正しいです。
Cannot Connect と表示された場合、システムはトラブルシューティングに役立つ診断ツールを提供します。一般的な原因には、認証情報の間違い、ネットワークの問題 (IP 許可リストが設定されていない)、または NAT ゲートウェイの欠落などがあります。
標準モードでは、[開発環境] と [本番環境] の両方で 到達可能 と表示されることを確認してください。そうしないと、その後の使用中にエラーが発生します。
データソースの設定モード、リージョン、インスタンスの所有権、およびデプロイ場所に基づいてネットワークを設定できます：
シナリオ | 手順 |
データソースが Alibaba Cloud サービスであり、DataWorks ワークスペースと同じ Alibaba Cloud アカウントに属し、同じリージョンにある。 | |
データソースが Alibaba Cloud サービスであり、DataWorks ワークスペースと同じ Alibaba Cloud アカウントに属しているが、異なるリージョンにある。 | |
データソースが Alibaba Cloud サービスであるが、DataWorks ワークスペースとは異なる Alibaba Cloud アカウントに属している。 | |
データソースが Alibaba Cloud ECS インスタンスにデプロイされている。 | |
データソースがオンプレミスデータセンターにデプロイされている。 | |
データソースにパブリックエンドポイントがある。 |
データソースの管理
データソース管理ページでは、データソースタイプ と データソース名 でデータソースをフィルタリングできます。また、データソースに対して次の操作を実行できます：
編集、クローン、権限管理
編集：必要に応じて、データソースの設定を変更します。データソース名と適用環境は変更できません。
[管理] でコンピューティングリソースを関連付けた際に自動作成されるデータソースは、直接編集できません。変更するには、コンピューティングリソース管理ページで編集してください。
クローン：データソースをクローンして、同じ設定で新しいデータソースをすばやく作成します。
権限管理：
アイコンをクリックして、データソースのワークスペース間使用権限を管理できます。データソースの権限管理では、現在のデータソースへのアクセスを、他のワークスペースまたは他のワークスペース内の特定ユーザーに付与できます。利用可能 権限を付与すると、ユーザーはデータソースを参照および使用できますが、編集はできません。データソース権限に関するその他の問題については、データソース権限に関する FAQ をご参照ください。
データソースの削除と影響
データソースリストで削除ボタンをクリックして、データソースを削除します。ただし、[管理] でコンピューティングリソースを関連付けた際に自動作成されるデータソースは、直接削除できません。[管理] の左側メニューで 計算リソース をクリックし、対象のコンピューティングリソースを見つけて、デタッチ をクリックします。関連付けを解除すると、対応するデータソースも削除されます。
データソースを削除した場合の [Data Integration] モジュールへの影響は次のとおりです：
事前確認：データソースを削除する前に、本番環境のいずれかの同期タスクにデータソースが関連付けられているかどうかを確認してください。
解決策：関連付けられているタスクがある場合は、一括編集 を使用してタスクのデータソースを変更し、再送信してデプロイします。
削除シナリオ | 影響 |
開発 と 本番 の両環境を削除 | • 本番タスクがすべて失敗し、実行できなくなります。 • 開発環境で新しいタスクを設定する際に、データソースが表示されなくなります。 |
開発 環境のみを削除 | • 本番タスクは正常に実行できます。 • ただし、タスクを編集する際に、メタデータ (テーブル構造など) を取得できません。 • 開発環境で新しいタスクを設定する際に、データソースが表示されなくなります。 |
本番 環境のみを削除 | • 本番タスクがすべて失敗し、実行できなくなります。 • 開発環境でこのデータソースを使用するタスクは、本番環境に送信およびデプロイできません。 |
その他のモジュールへの影響は次のとおりです：
モジュール | リスクレベル | 主な影響と解決策 |
オペレーションセンター | High | 影響：このデータソースに依存するすべての定期コンピューティングタスクおよび Data Integration タスクが失敗します。 解決策：一括編集 を使用してタスクのデータソースを変更し、再デプロイします。 |
データサービス API | High | 影響：このデータソースに基づいて 生成された API と API オーケストレーション は、呼び出しに失敗します。 解決策：影響を受ける API のデータソースを置き換えます。 |
データ分析 | Medium | 影響：[データ分析] モジュールで、このデータソースを対象とする クエリタスク が失敗します。 解決策：SQL クエリを実行する際に、利用可能な別のデータソースに切り替えます。 |
データ品質 | Medium | 影響：データ品質モニタリングルール を設定したタスクで、チェック例外が報告されます。 解決策：オペレーションセンターに移動し、DQC ルールからタスクの関連付けを解除するか、ルールを変更します。 |
データソースがワークスペース間での使用を許可されている場合、データソースを削除すると、他のワークスペースでこのデータソースを使用しているタスクも失敗します。
高度なトピック
データソース環境の説明
ワークスペースモード： 基本モードと標準モード
DataWorks は、基本モードと標準モードのワークスペースを提供しています。「基本モードと標準モード」をご参照ください。
基本モード： 単一環境です。すべての開発操作が本番環境に直接影響します。迅速な検証や個人的なテストに適しています。
標準モード： 企業での使用に推奨されます。開発環境と本番環境が組み込まれています。各環境に異なるデータソース (テスト用データベースと本番用データベースなど) や異なるアクセス権限を設定して、データ分離を実現できます。
データソース環境の分離
標準モードのワークスペース は、データソース環境の分離をサポートしています。同じ名前のデータソースに対して、開発用と本番用の2つの設定を持つことができ、それぞれ異なるデータベースまたはインスタンスに接続します。これにより、テスト時と本番スケジューリング時にアクセスするデータが分離され、デバッグ操作によって本番データが汚染されるのを防ぎます。
[Data Integration] モジュールでは、標準モードワークスペースの単一テーブルバッチ同期タスクのみが、開発環境と本番環境におけるデータソース分離をサポートしています。その他のタイプの 同期タスク は、本番環境のデータソースを使用します。
本番環境のみが設定されており、開発環境情報がないデータソースは、Data Studio でノードを設定する際に選択できません。
ワークスペースを基本モードから標準モードにアップグレードすると、元のデータソースの設定は本番環境用として引き継がれ、同じデータソースに対して開発環境用の設定が追加されます。「基本モードから標準モードへのワークスペースのアップグレード」をご参照ください。
Data Integration のデータソースとの関係
基本モード：
ワークスペースが基本モードの場合、環境は1つのみです。Data Integration で作成されたデータソースと管理センターで作成されたデータソースは同一です。
標準モード：
管理センターでデータソースを作成すると、Data Integration に同じ名前のデータソースが自動的に作成されます。どちらも、データソースの 本番環境 設定を共有します。
Data Integration でデータソースを作成すると、管理センターにも同じ名前のデータソースが自動的に作成されます。ただし、このデータソースには本番環境情報のみがあり、開発環境の情報が不足していると表示されます。Data Studio でデータソースを使用する前に、開発環境の情報を補完する必要があります。
データソース情報の完全性を確保するため、すべてのデータソースは常に管理センターで作成および管理することを推奨します。
よくある質問
Q：標準モードのワークスペースでデータソースを設定したタスクは、開発環境では成功しますが、本番スケジューリングでは失敗します。なぜですか？
A：
データソースの開発環境と本番環境の両方で、接続性テストが成功しているかどうかを確認します。
開発環境と本番環境のデータベース内のデータに整合性があり、業務要件を満たしているかどうかを確認します。
開発環境と本番環境のデータソースは何に使用しますか？
開発環境と本番環境で、それぞれ別のデータソースを設定できます。開発環境のデータソースはノードの開発とデバッグにのみ使用され、本番環境のデータソースはデプロイ済みノードの定期スケジューリングを処理します。この厳格な分離により、テスト操作が本番データに影響を与えるのを防ぎます。
Q：データソースの接続性テストが失敗するのはなぜですか？
A：通常、以下の原因が考えられます。1 つずつ確認してください。ネットワーク接続の設定については、ネットワーク接続の設定をご参照ください。
認証情報が正しくない：入力したユーザー名とパスワードが正しいかどうかを確認してください。
アクセス先が正しくない：入力したデータベース、バケットなどの接続先名が正しいか、また、アカウントに必要なアクセス許可があるかどうかを確認してください。
アドレスまたはポートが正しくない：データソースの接続アドレスとポート番号が正しいかどうかを確認してください。アドレスとしてホストのドメイン名を指定している場合は、ドメイン名が正しく名前解決できることを確認してください。PrivateZone DNS 名前解決をご参照ください。
ネットワークの問題：データソースとリソースグループが接続されているかどうかを確認してください。データソースに許可リストの制御がある場合は、リソースグループに関連付けられている vSwitch の CIDR ブロックが許可リストに追加されているかどうかを確認してください。サーバーレスリソースグループを使用してパブリックネットワークのデータソースに接続する場合は、NAT ゲートウェイが設定されているかどうかを確認してください。
Q：コンピューティングリソースとデータソースの違いは何ですか？
A：
コンピューティングリソースとは、DataWorks でデータ処理および分析タスクを実行できる、コンピューティング機能を持つリソースインスタンスのことです。通常、MaxCompute、Hologres、AnalyticDB などの基盤となるコンピューティングエンジンのことで、主にデータ開発およびスケジューリングタスクに使用されます。
DataWorks のデータソースは、さまざまなデータストレージサービスに接続し、データの保存および管理機能を提供するために使用されます。データソースはデータの読み取りと書き込みのためのインターフェイスを提供し、主に同期タスクと統合タスクに使用されます。また、データソースはデータベースノード、データサービス API、クエリ分析などの機能もサポートします。
Q：DLF データソースと Paimon カタログデータソースの違いは何ですか？
A：DLF データソースは、Data Integration とデータ分析で使用できる標準的なデータソースタイプです。また、DLF に登録されたメタデータを使用する Paimon や Iceberg などのテーブル形式のメタデータ管理もサポートします。Paimon カタログデータソースは、DLF 以外のソースから Paimon レイク形式のメタデータを収集するためにのみ使用されます。メタデータの取得、参照、データ品質モニタリングなどのガバナンス機能をサポートします。現在、データ同期はサポートしていません。