プロジェクトは Dataphin における基本的な組織単位で、マルチユーザーの隔離とアクセス制御の主要な境界となります。Dataphin サービスを有効化した後、プラットフォームを使用するにはプロジェクトを作成する必要があります。このトピックでは、プロジェクトの作成方法について説明します。
前提条件
開始する前に、次の要件を満たしていることを確認してください。
-
ストリームとバッチの統合処理タスクを開発する必要がある場合は、この機能をサポートするコンピューティングソースを作成する必要があります。
-
Dataphin のコンピューティングエンジンとして MaxCompute を選択し、データ開発中に標準モデリング、アドホッククエリ、MaxCompute SQL コンピューティングタスクなどの機能を使用する必要がある場合は、プロジェクトスペースを作成する前に MaxCompute コンピューティングソースを作成する必要があります。詳細については、「MaxCompute コンピューティングソースの作成」をご参照ください。
選択したコンピューティングエンジンが MaxCompute の場合、Hologres コンピューティングソースを作成することもできます。Hologres コンピューティングソースをプロジェクトにバインドすると、アドホッククエリや HOLOGRES_SQL コンピューティングタスクなどの機能を使用できます。詳細については、「Hologres コンピューティングソースの作成」をご参照ください。
-
Dataphin のコンピューティングエンジンとして Hadoop を選択し、標準モデリング、アドホッククエリ、Hive SQL コンピューティングタスクなどの機能を使用する必要がある場合は、プロジェクトを作成する前に Hadoop コンピューティングソースを作成する必要があります。詳細については、「Hadoop コンピューティングソースの作成」をご参照ください。
-
Dataphin のコンピューティングエンジンとして Transwarp TDH を選択し、標準モデリング、アドホッククエリ、INCEPTOR_SQL コンピューティングタスクなどの機能を使用する必要がある場合は、プロジェクトを作成する前に TDH Inceptor コンピューティングソースを作成する必要があります。詳細については、「TDH Inceptor コンピューティングソースの作成」をご参照ください。
-
Dataphin のコンピューティングエンジンとして ArgoDB を選択し、アドホッククエリや ARGODB_SQL コンピューティングタスクなどの機能を使用する必要がある場合は、プロジェクトを作成する前に ArgoDB コンピューティングソースを作成する必要があります。詳細については、「ArgoDB コンピューティングソースの作成」をご参照ください。
-
Dataphin のコンピューティングエンジンとして StarRocks を選択し、アドホッククエリや STARROCKS_SQL コンピューティングタスクなどの機能を使用する必要がある場合は、プロジェクトを作成する前に StarRocks コンピューティングソースを作成する必要があります。詳細については、「StarRocks コンピューティングソースの作成」をご参照ください。
-
Dataphin のコンピューティングエンジンとして Amazon EMR を選択し、アドホッククエリやコンピューティングタスクなどの機能を使用する必要がある場合は、プロジェクトを作成する前に Amazon EMR コンピューティングソースを作成する必要があります。詳細については、「Amazon EMR コンピューティングソースの作成」をご参照ください。
-
Dataphin のコンピューティングエンジンとして SelectDB/Doris を選択し、アドホッククエリや SELECTDB_SQL/DORIS_SQL コンピューティングタスクなどの機能を使用する必要がある場合は、プロジェクトを作成する前に SelectDB/Doris コンピューティングソースを作成する必要があります。詳細については、「SelectDB または Doris コンピューティングソースの作成」をご参照ください。
背景情報
Dataphin は、次の 2 つのプロジェクト開発モードをサポートしています。
-
Dev-Prod モード: このモードでプロジェクトを作成すると、開発環境 (Dev プロジェクト) と本番環境 (Prod プロジェクト) が自動的に生成されます。Prod プロジェクトは、本番環境でのデータセキュリティの確保に役立ちます。ガバナンス要件が厳しく、明確な役割を持つ大規模なデータ開発チームがあり、コンピューティングとストレージに十分な予算がある場合は、このモードを推奨します。
-
ベーシックモード: このモードでプロジェクトを作成すると、開発環境と本番環境を組み合わせた単一のベーシックプロジェクトが生成されます。このモードは、データ本番環境のための安定的かつ効率的なプロセスを提供します。開発効率を優先し、柔軟なチーム構成で、コンピューティングとストレージの予算が限られている場合は、このモードを推奨します。
権限
-
スーパー管理者、システム管理者、およびドメインアーキテクトがプロジェクトを作成できます。
-
スーパー管理者、システム管理者、およびドメインアーキテクトは、データテーブルの読み取りおよび書き込みに関する権限リクエストを有効または無効にできます。
操作手順
-
Dataphin ホームページの上部メニューで、[Plan] > [Projects] を選択します。
-
[Project management] ページで、[Create universal project] をクリックして [Create project] ダイアログボックスを開きます。
-
[Create project] ダイアログボックスで、[Dev-Prod mode] または [Basic mode] を選択し、[Next] をクリックします。
重要ベーシックモードから Dev-Prod モードにプロジェクトをアップグレードすることはできません。ベーシックモードでは、本番環境が直接変更されるリスクがあります。このモードは慎重に選択してください。
ベーシックモードを選択した場合は、安定したデータ本番環境を確保するために、プロジェクトメンバーを慎重に管理してください。
-
[Create project] ダイアログボックスで、パラメーターを設定します。
[Dev-Prod mode] と [Basic mode] のパラメーターは同じです。次の例では [Dev-Prod mode] を使用します。
パラメーター
説明
[所属ドメイン]
[データドメイン]
プロジェクトが所属するデータドメインを選択します。
[基本情報]
[共有英語名]
プロジェクトの共有英語名を入力します。名前は次の要件を満たす必要があります。
-
文字、数字、アンダースコア (_) のみを含めること。
-
LD_で始まらないこと。 -
長さが 64 文字以内であること。
開発プロジェクトの英語名には、自動的に
_devサフィックスが含まれます。説明MaxCompute をコンピューティングエンジンとして使用する場合、プロジェクトの 共有英語名 は、対応する MaxCompute プロジェクトの名前と一致させることを 推奨 します。
[共有名]
プロジェクトの共有名を入力します。名前は次の要件を満たす必要があります。
-
中国語文字、英字、数字、アンダースコア (_)、ハイフン (-) のみを含めること。
-
LD_で始まらないこと。 -
長さが 64 文字以内であること。
[コンピューティングソースタイプ]
コンピューティングソースタイプを選択し、対応するコンピューティングソースを選択します。
重要-
すでにプロジェクトにバインドされているコンピューティングソースは、別のプロジェクトにバインドできません。
-
Dev プロジェクトと Prod プロジェクトは、同じコンピューティングソースを使用する必要があります。
Dataphin が MaxCompute コンピューティングエンジンで初期化されている場合、オフラインエンジンとして [MaxCompute] または [Hologres] を選択できます。MaxCompute を選択した場合は、[機械学習] PAI を有効にすることもできます。
Dataphin は、アルゴリズムスケジューリングのために Platform for AI (PAI) と統合されています。PAI では、ビジュアルモデリングワークスペースを作成する際に、MaxCompute ベースの AI コンピューティングリソースグループをリソースとして選択する必要があります。詳細については、Platform for AI (PAI) ドキュメントの AI コンピューティングリソースグループの概要をご参照ください。PAI を有効にする場合は、次のパラメーターを設定する必要があります。
-
PAI リージョン:Dataphin インスタンスと同じリージョンを選択します。
-
アクセス方法:PAI のアクセス方法を選択します。オプションは [VPC] と [パブリックネットワーク] です。
-
AccessKey ID および AccessKey シークレット:PAI へのアクセスに使用するアカウントの AccessKey ID と AccessKey シークレットを入力します。
-
PAI プロジェクト名:PAI プロジェクトを選択します。
Dataphin で使用される MaxCompute プロジェクトを PAI でも使用することを 推奨 します。
オフラインエンジンとして StarRocks を選択し、そのエンジンが External catalog のデータベースを使用する場合、標準モデリング、データ統合書き込み、アドホッククエリ結果の完全なデータダウンロードなどの機能はサポートされません。
[プロジェクトのデフォルトリソースグループ]
このプロジェクトで作成されたスケジューリングタスクのデフォルトリソースグループです。このパラメーターは、オフラインコンピューティングエンジンが有効な場合にのみ使用できます。この設定は、タスク設定時に個々のタスクで上書きできます。
-
プロジェクトに 関連付けられている、状態が 正常 で、デイリータスクスケジューリング 用に指定されている リソースグループ のみを選択できます。
-
ここでデフォルトのリソースグループを変更すると、プロジェクトのデフォルトリソースグループ を使用するように設定されているタスクは、自動的に新しいリソースグループを使用します。この自動更新を望まない場合は、タスクに別のカスタムリソースグループを指定してください。詳細については、「コンピューティングタスクリソースの設定」をご参照ください。
説明-
このパラメーターは、テナントでカスタムリソースグループ機能が有効になっている場合にのみ設定できます。詳細については、「リソースグループの概要」をご参照ください。
-
このプロジェクトは、テナントのデフォルトのパブリックスケジューリングリソースグループを使用します。ピーク時にはリソースの競合が発生する可能性があります。
[説明]
プロジェクトの簡単な説明を入力します (128 文字以内)。
[ビジネス情報]
[ワークスペースタイプ]
開発タスクとそのデータ出力の特性を定義します。デフォルトはアプリケーションレイヤーです。利用可能なタイプは次のとおりです。
-
中間レイヤー:データを保存および処理して、一貫性があり、正確で、クリーンなデータを提供します。
-
ODS レイヤー:ビジネスシステムから統合された生データを保存します。これは、後続の処理と開発のソースとして機能します。
-
アプリケーションレイヤー:さまざまなユースケースに合わせて、パーソナライズされた多様なデータメトリックを定義および生成することで、ビジネス要件を満たします。
-
共通レイヤー:特定のデータドメイン内のディメンションのサマリーデータなど、一般的な集計データを保存します。
[セキュリティ設定]
[グローバルセキュリティ設定]
セキュリティ設定により、データセキュリティとアクセスをきめ細かく制御し、データを保護するために Spark タスクのオン/オフ状態と認証モードを設定できます。詳細については、「セキュリティ設定」をご参照ください。
[データ結果のダウンロード ](ダウンロード承認)
Dataphin はビジネスデータのダウンロードをサポートしています。プロジェクトレベルでデータをダウンロードできるかどうかを設定できます。データがダウンロードされると、システムのガバナンス下には置かれなくなります。ウォーターマークを設定して、データを安全に取り扱い、不正な共有を避けるように注意を促すことができます。詳細については、「データダウンロードの設定」をご参照ください。
重要ビジター以外のロールを持つユーザーのみが、データ結果をローカルマシンにダウンロードできます。
[データ権限承認]
データ権限承認ポリシーを使用すると、異なるデータセキュリティレベルに対して異なる承認ルールを指定できます。これにより、承認者は機密性の高いデータに集中でき、公開データを承認プロセスから除外することで承認作業の負荷を軽減できます。詳細については、「データ権限の設定」をご参照ください。
[アセットセキュリティポリシー]
データセキュリティポリシーを使用して機密データを保護できます。これらのポリシーは [Governance] > [Data Security] > [Project security policies] モジュールで変更できます。詳細については、「プロジェクトセキュリティポリシー」をご参照ください。
[コミット設定]
[コードレビュー]
デフォルトでは無効になっています。有効にした場合は、[Approval settings] を設定します。このプロジェクトのコンピューティングタスクは、送信時にコードレビューが必要になります。
-
[承認者の指定]:デフォルトでは [Project administrator] が選択されています。[Custom] を選択して、複数のメンバーを承認者として選択することもできます。
-
[承認テンプレートの指定]:選択したテンプレートに従って承認が行われます。[Code review] ユースケース用に作成されたカスタム承認テンプレートのみを選択できます。適切なテンプレートがない場合は、[+ New Template] をクリックして [Approval templates] ページに移動し、作成します。詳細については、「承認テンプレートの作成と管理」をご参照ください。
[リリース設定]
[リリース承認]
有効にした場合は、[Approval settings] を設定します。このプロジェクトのオブジェクトは、リリース前に承認が必要になります。
-
[承認者の指定]:リクエストは、承認者からの最初の応答に基づいて承認または拒否されます。[Project administrator] または [Custom] を選択できます。[Custom] を選択した場合は、1〜10 人の 承認者 を選択する必要もあります。
-
[承認テンプレートの指定]:選択したテンプレートに従って承認が行われます。適切なテンプレートがない場合は、[+ New Template] をクリックして [Approval templates] ページに移動し、作成します。詳細については、「承認テンプレートの作成と管理」をご参照ください。
[タスクパラメーター設定]
[デフォルトの Flink タスクパラメーター]
-
[リアルタイムエンジン]を有効にした後、テキストボックスに Flink 関連のパラメーターを入力できます。これらのパラメーターは、プロジェクトで作成される新しい Flink タスクにデフォルト値として自動的に適用されます。
-
パラメーターはキーと値のペア形式である必要があります:
key:value。例:taskmanager.numberOfTaskSlots:1。
[その他の設定]
[デフォルトの機能メニュー]
プロジェクトのデータドメインを選択すると、選択したワークスペースタイプに基づいて、システムが対応する機能メニューを自動的に選択します。必要に応じてこれらの選択を変更できます。
説明Hologres コンピューティングエンジンを選択した場合、デフォルトの機能メニューはサポートされません。
[本番環境の定期スケジューリング]
説明ベーシックプロジェクトの場合、この設定は [Periodic scheduling] という名前になります。
[有効:タスクは自動的にスケジュールされます]:有効にすると、このプロジェクトの定期タスクの新しいインスタンスは、タスクのステータスに従って実行されます。これは過去のインスタンスには影響しません。
[無効:タスクのスケジューリングは一時停止されます]:無効にすると、このプロジェクトの定期タスクの新しいインスタンスは一時停止状態で作成されます。これは過去のインスタンスには影響しません。定期スケジューリングを無効にすると重大な結果を招く可能性があるため、慎重に進めてください。
説明Dev 環境では、インスタンスはデフォルトで Suspended 状態で作成されます。
-
-
[OK] をクリックしてプロジェクトを作成します。
マルチエンジン搭載の単一テナント
マルチエンジンモードでは、ほとんどの設定はシングルエンジンモードと同じです。以下のセクションでは、異なるパラメーターである[エンジン設定]と[データドメインとワークスペース]について説明します。
|
パラメーター |
説明 |
|
|
[エンジン設定] |
[オフラインコンピューティング] |
オフラインコンピューティングを有効または無効にします。有効にした場合は、[オフラインエンジンタイプ] と [オフラインコンピューティングソース] を選択する必要があります。無効にした場合、このプロジェクトはオフラインコンピューティングタスクをサポートしません。
|
|
[リアルタイムコンピューティング] |
リアルタイムコンピューティングを有効または無効にします。有効にした場合は、既存のリアルタイムコンピューティングソースからリアルタイムコンピューティングエンジンを選択する必要があります。無効にした場合、このプロジェクトはリアルタイムコンピューティングタスクをサポートしません。プロジェクト編集時にリアルタイムエンジンタイプは変更できません。
|
|
|
[機械学習] |
オフラインエンジンタイプとして MaxCompute を選択した場合、[機械学習] を有効または無効にできます。機械学習を有効にすると、デフォルトで [PAI] が選択され、次のパラメーターを設定する必要があります。
|
|
|
[プロジェクトのデフォルトリソースグループ] |
このプロジェクトで作成されたスケジューリングタスクのデフォルトリソースグループです。このパラメーターは、オフラインコンピューティングエンジンが有効な場合にのみ使用できます。この設定は、タスク設定時に個々のタスクで上書きできます。
説明
|
|
|
[説明] |
プロジェクトの簡単な説明を入力します (128 文字以内)。 |
|
|
[データドメインとワークスペース] |
[データドメイン] |
プロジェクトが所属するデータドメインを選択します。 |
|
[ワークスペースタイプ] |
開発タスクとそのデータ出力の特性を定義します。デフォルトはアプリケーションレイヤーです。利用可能なタイプは次のとおりです。
|
|
次のステップ
プロジェクトを作成したら、データ開発モジュールで開発を開始できます。詳細については、「データ開発の概要」をご参照ください。