このトピックでは、ワークスペースを作成し、ワークスペースにリソースを追加し、ノートブックにコードとユーザーデータを保存するためのObject Storage Service (OSS) バケットを設定する方法について説明します。
ステップ1: 作成してワークスペースに移動
DMSコンソールV5.0 にログインします。
左上隅の
アイコンをクリックし、 を選択します。 説明DMSコンソールをシンプルモードで使用していない場合は、上部のナビゲーションバーで を選択します。
[Create Workspace] をクリックします。 [ワークスペースの作成] ダイアログボックスで、[ワークスペース名] と [リージョン] パラメーターを設定し、[OK] をクリックします。
説明ワークスペース名には、英数字、およびアンダースコア (_) を使用できます。
選択できるのはシンガポールリージョンのみです。
ワークスペースの [操作] 列で [ワークスペースに移動] をクリックし、ワークスペースに移動します。
説明デフォルトでは、ワークスペース作成者のみがワークスペースにアクセスできます。 共同開発が必要な場合、ワークスペース作成者は、ワークスペースにアクセスする必要がある特定のユーザーに開発権限を付与する必要があります。
手順2: ワークスペースメンバーの追加
ワークスペースに複数のユーザーがいる場合、これらのユーザーに異なるロールを割り当てる必要があります。
ロールを割り当てるユーザーがDMSに追加されている必要があります。 詳細については、「ユーザーの管理」をご参照ください。
手順3: コードを格納するためのOSSバケットの設定
ワークスペースに移動したら、
タブの [ストレージ管理] をクリックします。 [ストレージ管理] ページで、[コードストレージ領域] の右側にある
アイコンをクリックします。 [OSSディレクトリの選択] ダイアログボックスで、[バケット] パラメーターに使用するバケットを選択します。
選択したバケットはワークスペースと同じリージョンにあり、バケットのストレージクラスはStandardである必要があります。
説明指定されたリージョンで使用可能なバケットがない場合は、OSSコンソールでバケットを作成します。 詳細は、「バケットの作成」をご参照ください。
[OK] をクリックします。
ステップ4: リソースの追加
リソースを追加して開始した後にのみ、Notebookを使用してデータをクエリおよび分析できます。
- タブで、[リソース設定] をクリックします。
[リソースの追加] をクリックし、リソース関連情報を設定します。
パラメーター
説明
リソース名
リソースの名前です。 わかりやすく使いやすい名前を入力してください。
リソースの紹介
リソースの説明。
[イメージ]
Spark 3.5 + Python 3.9
Spark 3.3 + Python 3.9
Python 3.9
AnalyticDBインスタンス
使用するAnalyticDB for MySQLクラスター。
説明ImageパラメーターにSpark 3.3またはSpark 3.5を選択した場合は、AnalyticDB for MySQLクラスターも選択する必要があります。
使用するクラスターが見つからない場合は、クラスターがDMSに追加されているかどうかを確認します。 詳細については、「Alibaba Cloudデータベースインスタンスの登録」をご参照ください。
AnalyticDBリソースグループ
AnalyticDB for MySQLクラスターで使用するリソースグループ。
Executor仕様
Sparkエグゼキュータのリソース仕様。 各タイプは異なる仕様に対応しています。 詳細については、「Sparkアプリケーション設定パラメーター」の「タイプ」列をご参照ください。
Executor Count
Spark構成内のエグゼキューターの数。
説明パブリックプレビュー段階では、各ノートブックのリソースに最大6つのエグゼキューターを追加できます。 executorsをさらに追加する場合は、DMSテクニカルサポートにお問い合わせください。
ドライバ仕様
Sparkドライバーのリソース仕様。 有効な値：
General_XSmall_v1 (2 CPUコア、8 GBメモリ)
General_Small_v1 (4 CPUコア、16 GBメモリ)
General_Medium_v1 (8 CPUコア、32 GBメモリ)
General_Large_v1 (16 CPUコア、64 GBメモリ)
NotebookQuantity
このパラメーターは、ImageパラメーターにPython 3.9を選択すると表示されます。 有効な値：
General_XSmall_v1 (2 CPUコア、8 GBメモリ)
General_Small_v1 (4 CPUコア、16 GBメモリ)
General_Medium_v1 (8 CPUコア、32 GBメモリ)
General_Large_v1 (16 CPUコア、64 GBメモリ)
VPC ID
リソースが存在する仮想プライベートクラウド (VPC) 。
ゾーンID
VPCのゾーン。
VSwitch ID
VPC内のvSwitch。
セキュリティグループID
セキュリティグループの ID です。
[保存] をクリックします。
リソースを開始します。
開始するリソースを見つけて、[操作] 列の [開始] をクリックし、[OK] をクリックします。
説明リソースの起動には約1分かかります。 リソースの起動後、リソースは [実行中] 状態になります。
手順5: ユーザーデータを保存するためのOSSバケットの設定
ノートブック機能を使用する場合、DMSノートブック以外のデータを読み取る必要がある場合があります。 この場合、DMSでは複数のOSSバケットを指定して、これらのバケットからデータを読み取ることができます。
ワークスペースに移動したら、
タブの [ストレージ管理] をクリックします。 [User Storage Space] エリアで、OSSパスを設定します。
説明マウントパスは /mnt /で始まる必要があります。
アイコンをクリックし
てOSSパスを保存します。
ステップ6: データの表示
ワークスペースに移動したら、タブをクリックし
ます。 SQLコンソールで次の操作を実行します。
クエリデータ
Copilotを使用してSQL文を生成するか、SQL文を直接入力できます。 SQL構文は、論理データウェアハウスの構文と同じである必要があります。
.
説明MySQL構文を使用して、AnalyticDB for MySQLやApsaraDB RDS for MySQLなどの異なるデータベースにあるテーブルを照会できます。 DMSは、SQL文を自動的に変換および最適化します。
Copilotを使用してSQL文を生成すると、Copilotはフィードバックとデータベース、テーブル、列のメタデータに基づいてビジネス知識を自動的に取得できます。 取得した知識が不正確な場合は、知識を編集して参照値を改善できます。 このように、Copilotは、後で同様の質問に答えるときに、より高い精度を提供できます。
Copilotによって生成されたSQL文がビジネス要件を満たし、SQL文に満足している場合は、それらにいいね! この操作により、後で生成されるSQL文の精度が向上します。
テーブルの使用状況のメモの表示
DMSは、データベース、テーブル、および列のメタデータに基づいて、テーブルの説明を自動的に生成します。 データベースをクリックしてデータベース内のすべてのテーブルを表示し、表示するテーブルを検索してから、テーブル名をダブルクリックしてテーブルの詳細ページに移動します。 このページでは、[使用状況メモ] タブでテーブルの説明を表示または編集できます。
次に何をすべきか
ノートブックリソースの管理
[リソース設定] ページで、追加されたリソースを管理するには、次の操作を実行します。 リソース設定ページに移動する方法の詳細については、このトピックの手順4: リソースの追加を参照してください。
リソースを手動で停止する
リソース情報の編集
説明リソース情報は、リソースの実行が停止した後にのみ編集できます。
停止したリソースを手動で開始する
リソースを自動的にリリースする
ノートブック内のすべてのカーネルが終了すると、カーネルはアイドル状態になります。 リソースは、最大アイドル期間が経過すると自動的に解放されます。
リソースの履歴Sparkジョブを表示する
説明Spark UIページに移動できるのは、デフォルトのリソースが使用され、そのリソースにSparkイメージが含まれている場合のみです。
[リソース設定] ページで、管理するリソースを見つけ、[操作] 列の [SparkUI] をクリックします。 [履歴サーバー] ページに移動します。
管理するアプリケーションのIDをクリックして、Sparkジョブを表示します。