デフォルトでは、MaxCompute はインターネットまたは仮想プライベートクラウド (VPC) 経由でサービスにアクセスできません。 サービスへのアクセスを許可するには、ホワイトリストを構成するか、MaxCompute と指定されたオブジェクト (IP アドレス、ドメイン名、ApsaraDB RDS インスタンス、ApsaraDB for HBase クラスター、Hadoop クラスターなど) の間にネットワーク接続を確立する必要があります。 このトピックでは、MaxCompute とアクセスするオブジェクト間のネットワークアーキテクチャ、およびサポートされているネットワーク接続スキームについて説明します。
免責事項
MaxCompute を使用して、インターネットまたは VPC のサービスとのネットワーク接続を無料で確立できます。 MaxCompute を使用してネットワーク接続を確立する前に、次の制限事項に注意してください。
MaxCompute はネットワーク接続を保証します。 ユーザーのネットワーク関連コードによってフェールオーバーがトリガーされた場合、MaxCompute はノードでタスクを再実行する場合があります。 この問題を解決するには、コードを最適化する必要があります。 読み取り操作のみを実行することをお勧めします。 繰り返しの書き込み操作によってダーティデータが生成されないようにします。
アクセスリクエストはプロキシによって転送される必要があり、プロキシによって転送できるリクエストの数には制限があります。 持続的接続を使用し、ノード数を管理することをお勧めします。 過度の同時実行性または多数の接続は、ネットワークリクエストの失敗を引き起こす可能性があります。
MaxCompute は保証帯域幅を提供せず、ジョブの実行が遅い場合でも責任を負いません。
アウトバウンドプロキシ IP アドレスの数は限られています。 アウトバウンドプロキシ IP アドレスの数が限られているために接続例外が発生した場合は、Alibaba Cloud テクニカルサポートに連絡してください。
アウトバウンドプロキシ IP アドレスは変更される場合があります。 アクセスするサービスのアクセス制御を有効にしないことをお勧めします。 サービスの IP アドレスホワイトリストを構成すると、アウトバウンドプロキシ IP アドレスの変更によってサービスへのアクセスが拒否される場合があります。
MaxCompute と宛先サービス間のネットワーク接続を確立した後も、MaxCompute から宛先サービスにアクセスできない場合があります。 これは、MaxCompute ジョブが実行されるツールのネットワーク制限が原因である可能性があります。 たとえば、DataWorks コンソールで MaxCompute を使用してデータを同期またはクレンジングする場合、DataWorks リソースグループと宛先サービス間のネットワーク接続も確立し、DataWorks が宛先サービスからのアクセスを許可していることを確認する必要があります。 制限が構成されている場合は、宛先サービスの IP アドレスまたは CIDR ブロックを DataWorks のサンドボックスホワイトリストに追加する必要があります。 DataWorks のネットワーク接続とサンドボックスの構成の詳細については、「リソースグループとデータソース間のネットワーク接続を確立する」をご参照ください。
機能の説明
次の図は、MaxCompute からアクセスするサービスへのネットワークアーキテクチャ、およびサポートされているネットワーク接続スキームを示しています。
MaxCompute は、次の 3 つのシナリオで宛先サービスにアクセスします。
スキーム 1：インターネット経由のアクセス
MaxCompute でユーザー定義関数 (UDF)、Spark、MapReduce、PyODPS、または Mars を使用してインターネット経由で IP アドレスまたはドメイン名にアクセスする場合、このスキームを使用できます。 aliyun.com など、一般的に使用されるパブリック IP アドレスまたはドメイン名を選択した場合は、MaxCompute コンソールの プロジェクト ページでパブリック IP アドレスまたはドメイン名を直接追加および削除できます。 パブリック IP アドレスまたはドメイン名が自動検証に合格しない場合は、チケットを送信して、IP アドレスまたはドメイン名へのアクセスを申請できます。 アクセスする IP アドレスまたはドメイン名にセキュリティ制限が課されていない場合は、申請が承認された後、宛先 IP アドレスまたはドメイン名にアクセスできます。 審査期間は 3 営業日です。
説明インターネット経由でアクセスする IP アドレスまたはドメイン名にセキュリティ制限が課されている場合は、組織の所有者に連絡して、セキュリティ制限に基づいて問題を解決してください。
スキーム 2：VPC 経由のアクセス (専用接続)
MaxCompute で SQL ステートメント、UDF、Spark、MapReduce、PyODPS、Mars、外部テーブル、またはデータレイクハウスソリューションを使用して、VPC に存在する ApsaraDB RDS インスタンス、ApsaraDB for HBase クラスター、または Hadoop クラスターにアクセスする場合、このスキームを使用できます。 VPC が属する Alibaba Cloud アカウントを使用して、MaxCompute が Elastic Network Interface (ENI) を作成することを承認し、MaxCompute コンソールで MaxCompute と VPC 間の接続を確立する必要があります。 接続を確立する前に、セキュリティグループを構成して、MaxCompute と宛先サービス間の接続を許可する必要があります。 セキュリティグループは、MaxCompute によって作成された ENI のアクセスルールを指定します。 作成された ENI は、MaxCompute コンソールで表示できます。
説明宛先サービスのアクセス制御ポリシーが構成されている場合は、ENI の IP アドレスまたは vSwitch の CIDR ブロックを宛先サービスの IP アドレスホワイトリストに追加する必要があります。
MaxCompute は、VPC との専用接続に指定された ID を持つ VPC にのみアクセスできます。 リージョンをまたがる VPC または専用接続に指定された VPC が属するリージョン内の別の VPC にアクセスする場合は、専用接続に指定された VPC と別の VPC 間のネットワーク接続を確立する必要があります。
スキーム 3：特定の Alibaba Cloud サービスへのアクセス
MaxCompute で SQL ステートメント、UDF、Spark、MapReduce、PyODPS、Mars、外部テーブル、またはデータレイクハウスソリューションを使用して、Object Storage Service (OSS)、Data Lake Formation (DLF)、Tablestore、Hologres などの Alibaba Cloud サービスにアクセスする場合、このスキームを使用できます。 このスキームでは、Alibaba Cloud サービスのクラウド製品相互接続ネットワークのエンドポイントが使用されます。
OSS または Tablestore の外部テーブルを作成する場合、OSS または Tablestore の内部エンドポイントを使用してアクセスできます。
UDF を呼び出して OSS または Tablestore にアクセスする場合、OSS または Tablestore のパブリックエンドポイントを使用してのみアクセスできます。
外部テーブルを使用して Hologres にアクセスする場合、クラシックネットワークのエンドポイントのみを使用してアクセスできます。 詳細については、「エンドポイント」の「クラシックネットワークエンドポイント」セクションをご参照ください。
さまざまなシナリオでの構成とエンドポイントベースのアクセスの詳細については、このトピックの 特定の Alibaba Cloud サービスへのアクセス をご参照ください。
前提条件
MaxCompute とサービス間のネットワーク接続の確立を申請する前に、次の条件が満たされていることを確認してください。
MaxCompute プロジェクトが作成されます。 MaxCompute プロジェクトが存在する場合は、別のプロジェクトを作成せずに使用できます。 データレイクハウスソリューションを使用する場合は、MaxCompute プロジェクトのデータ型エディションを Hive 互換データ型エディションに設定することをお勧めします。 MaxCompute プロジェクトの作成方法の詳細については、「MaxCompute プロジェクトを作成する」をご参照ください。
VPC 内のオブジェクトにアクセスする場合は、VPC 所有者のアカウント、MaxCompute プロジェクトへのアクセスに使用するアカウント、および宛先オブジェクトの管理者アカウントが同じ Alibaba Cloud アカウントであるか、同じ Alibaba Cloud アカウントに属する RAM ユーザーであることを確認してください。
サポートされているリージョン
次の表は、MaxCompute とオブジェクト間のネットワーク接続をインターネットまたは VPC 経由で確立できるリージョンを示しています。
スキーム | リージョン | 接続されたオブジェクト |
インターネット経由のアクセス |
| パブリック IP アドレスまたはドメイン名 |
VPC 経由のアクセス (専用接続) |
|
|
インターネット経由のアクセス
ステップ 1：プロジェクトページでパブリック IP アドレスまたはドメイン名を管理する
aliyun.com など、一般的に使用されるパブリック IP アドレスまたはドメイン名を選択した場合は、MaxCompute コンソールの プロジェクト ページでパブリック IP アドレスまたはドメイン名を直接追加および削除できます。 パブリック IP アドレスまたはドメイン名を管理するには、次の手順を実行します。
MaxCompute コンソール にログインします。 コンソールの左上隅で、リージョンを選択します。
左側のナビゲーションウィンドウで、[プロジェクト] をクリックします。
[プロジェクト] ページで、管理するプロジェクトを見つけて、[アクション] 列の [管理] をクリックします。
[パラメータ構成] タブの [外部ネットワーク] セクションで、目的のパブリック IP アドレスまたはドメイン名を追加します。
[送信] をクリックします。
次のトップレベルドメイン (TLD) がサポートされています：aliyuncs.com、aliyun.com、amap.com、dingtalk.com、alicloudapi.com、cainiao.com、alicdn.com、taobao.com、alibaba.com、alipaydev.com、および alibabadns.com。
IPv6 アドレスは構成できません。 パブリック IP アドレスの数に制限はありません。
パブリック IP アドレスまたはドメイン名が自動検証に失敗した場合は、削除して別のものを追加してみてください。 それでも自動検証に合格しない場合は、チケットを送信 して外部ネットワークアドレスを構成することを申請してください。 詳細については、「申請を送信する」をご参照ください。
ステップ 2：パブリックエンドポイントにアクセスする
ステップ 1：プロジェクトページでパブリック IP アドレスまたはドメイン名を管理する で説明されている操作を完了した後、インターネットにアクセスする SQL ステートメント、Spark ジョブ、または MaxFrame ジョブに次の構成を追加します。
他のジョブタイプの場合は、それに応じて設定を構成します。
SQL UDF ジョブ
次の設定を使用します。
-- ネットワーク接続申請フォームで構成されているパブリック IP アドレスまたはエンドポイントとポート番号を設定します。 次の SQL ステートメントでパブリック IP アドレスまたはエンドポイントとポート番号を指定します。 -- 複数のエンドポイントとポート番号を追加する場合は、カンマ (,) で区切ります SET odps.internet.access.list=<ip_address:port|realm_name:port>; -- 次の SQL ステートメントを実行して、UDF を呼び出します。 SELECT <UDF_name>("<http://ip_address|realm_name>");ip_address:port | realm_name:port: 必須。 アクセスするパブリック IP アドレスまたはエンドポイントとポート番号を指定します。
UDF_name: パブリック IP アドレスまたはエンドポイントにアクセスするために使用される UDF。
UDF コード例：
package com.aliyun.odps.test.udf; import com.aliyun.odps.udf.UDF; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.net.URL; public class <UDF_name> extends UDF { public String evaluate(String urlStr) throws IOException { URL url = new URL(urlStr); StringBuilder sb = new StringBuilder(); try (BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream()))) { String line; while ((line = reader.readLine()) != null) { sb.append(line).append('\n'); } } return sb.toString(); } }実行：ネットワーク接続が承認された後、次のサンプルコマンドを実行します。ここで、サンプルコードから作成された UDF の名前は
url_fetchです。SET odps.internet.access.list=www.aliyun.com:80; SELECT url_fetch("http://www.aliyun.com");
MaxCompute 上の Spark ジョブ
Spark クライアントの conf ファイルまたは DataWorks 経由で送信された Spark ジョブ構成に次の構成を追加します。
spark.hadoop.odps.cupid.smartnat.enable = true;
spark.hadoop.odps.cupid.internet.access.list=<ip_address:port>MaxFrame ジョブ
パラメータ構成：
from maxframe import options
options.sql.settings = {
"odps.internet.access.list": "<host>:80,<host>:443",
}(オプション) ステップ 3：ホワイトリストに追加する
サービスにアクセス制御が構成されている場合は、インターネットアクセス用の MaxCompute のアウトバウンド IP アドレスをサービスホワイトリストに追加します。 チケットを送信することで、アウトバウンド IP アドレスを取得できます。
申請を送信する
MaxCompute が自動検証に合格しないパブリック IP アドレスまたはドメイン名にアクセスできるようにするには、次の手順を実行します。
チケットを送信して IP アドレスホワイトリストの構成を申請します。
MaxCompute テクニカルサポートチームが申請を受け取ると、チームはネットワーク構成を確認して完了します。 審査に合格すると、後続の手順に進むことができます。 審査には約 3 営業日かかります。 審査結果について質問がある場合は、DingTalk グループ ID 11782920 を検索 して MaxCompute 開発者コミュニティの DingTalk グループに参加し、フィードバックを提供できます。
VPC 経由のアクセス (専用接続)
このソリューションでは、リターントラフィックを有効にするために 2 つのセキュリティグループ (MaxCompute-vpc-xxx と MaxCompute-backup-vpc-xxx という名前) が作成されます (名前はユーザーが提供した VPC ID に基づいて補足されます)。 これら 2 つのセキュリティグループのルールを変更したり、他のコンポーネントのセキュリティルールを管理するために使用したりしないでください。 変更によって問題が発生した場合、プラットフォームは責任を負いません。
ステップ 1：専用のネットワーク接続を確立する
専用のネットワーク接続を確立するプロセスは次のとおりです。
1. 権限付与を実行する
ユーザーに権限を付与する：ネットワーク接続オブジェクトを作成する権限をログインユーザーに付与します。 詳細については、「Networklink」をご参照ください。 権限を与えられたユーザーは、プロジェクト所有者、またはテナントレベルで Super_Administrator または Admin ロールを持つユーザーである必要があります。 詳細については、「ロール計画」および「テナント内のオブジェクトに対する権限」をご参照ください。
MaxCompute に権限を付与する：この権限付与により、MaxCompute は VPC に ENI を作成して、MaxCompute と VPC 間の接続を確立できます。 権限を付与するには、Alibaba Cloud アカウントを使用して Alibaba Cloud 管理コンソールにログインし、クラウドリソースアクセス承認 ページにアクセスし、「承認ポリシーの確認」をクリックする必要があります。
2. セキュリティグループルールを構成する
MaxCompute が VPC 内のさまざまなリソースにアクセスできるように、MaxCompute のセキュリティグループを作成します。
基本的なセキュリティグループを作成し、他のタイプのセキュリティグループや既に使用されているセキュリティグループは使用しないことをお勧めします。 このセキュリティグループの目的は次のとおりです。
MaxCompute は、サービスにアクセスするために VPC 内に Elastic Network Interface (ENI) を作成します。 このセキュリティグループのアウトバウンドルールを構成することで、MaxCompute ジョブ (ENI を使用) がアクセスできる宛先を制御できます。 特別な要件がない場合は、アウトバウンド方向のデフォルト設定を保持できます。 ENI へのインバウンドトラフィックはリターンパケットのみで構成されているため、すべてのインバウンドトラフィックを許可しても安全です。
VPCコンソール にログオンします。VPCページで、宛先 VPC の ID をクリックします。表示されるページで、[リソース管理] タブをクリックします。
[リソース管理] タブの [VPC リソース] セクションで、セキュリティグループの値の上にポインターを移動し、[追加] をクリックします。[セキュリティグループの作成] ページで、[セキュリティグループの作成] をクリックして、MaxCompute のセキュリティグループを作成し、セキュリティグループの ID を記録します。 拡張セキュリティグループではなく、基本セキュリティグループを作成する必要があります。 デフォルトでは、基本セキュリティグループはアウトバウンドトラフィックを許可しますが、拡張セキュリティグループは許可しません。 拡張セキュリティグループを使用する場合、VPC 内のオブジェクトにはアクセスできません。 MaxCompute がアクセスする必要のあるオブジェクトと同じ VPC を選択する必要があります。 セキュリティグループの作成方法の詳細については、「セキュリティグループを作成する」をご参照ください。
セキュリティグループを作成します
セキュリティグループを構成します。 MaxCompute ネットワークをサポートし、すべての 受信 トラフィックを許可するセキュリティグループを作成できます。 セキュリティグループの構成方法については、「セキュリティグループの使用ガイドラインとユースケース」をご参照ください。
セキュリティグループルール構成:
[承認オブジェクト]: アクセスされるクラウドサービスが配置されている VPC に対応するネットワークセグメント、または VSW のネットワークセグメントに IP アドレスを追加する必要があります。
[プロトコルタイプ]: [すべて]。
[ポート範囲]: [すべて (1/65535)]。
[優先度]: 1.
[アクション]: [許可]。
デフォルトでは、MaxCompute は帯域幅要件に基づいて 2 つの ENI を自動的に作成し、無料で提供します。MaxCompute によって作成された ENI は、作成したセキュリティグループの一部です。
MaxCompute と ApsaraDB for HBase クラスタ間の接続を確立する必要があるが、セキュリティグループが ApsaraDB for HBase クラスタへのアクセスを許可していない場合は、MaxCompute によって作成された ENI の IP アドレスを ApsaraDB for HBase クラスタのホワイトリストに追加します。ENI の IP アドレスは変更される可能性があるため、VPC が属する vSwitch の CIDR ブロックをホワイトリストに追加することをお勧めします。ENI の IP アドレスを取得するには、次の操作を実行します。Elastic Compute Service (ECS) コンソール にログオンします。左側のナビゲーションウィンドウで、[ネットワークとセキュリティ] セクションの [Elastic Network Interfaces] をクリックして、ENI の IP アドレスを表示します。
3. MaxCompute コンソールで VPC 接続を構成する
テナントレベルの Super_Administrator ロールまたは Admin ロールが割り当てられている Alibaba Cloud アカウントまたは RAM ユーザーは、MaxCompute コンソールで MaxCompute と VPC の間の接続を確立できます。ロールの詳細については、「ロール計画」をご参照ください。MaxCompute と VPC の間の接続を確立するには、次の手順を実行します。
MaxCompute コンソール にログオンします。
左側のナビゲーションウィンドウで、
[ネットワーク接続の追加] ダイアログボックスで、パラメーターを設定し、[OK] をクリックします。次の表でパラメーターについて説明します。
パラメータ
説明
ネットワーク接続名
カスタムネットワーク接続の名前。名前は次の形式要件を満たしている必要があります。
文字で始まる。
文字、アンダースコア（_）、および数字のみを含む。
長さは 1 ～ 63 文字。
タイプ
ネットワーク接続タイプ。デフォルト値：パススルー。
説明デフォルト値は、VPC 接続スキームが使用されていることを示します。
リージョン
MaxCompute と指定されたオブジェクト間のネットワーク接続を確立するために VPC 接続スキームを使用できるリージョン。詳細については、「サポートされているリージョン」をご参照ください。
選択した VPC
VPC の ID。
VPC の ID を取得するには、次の操作を実行します。
MaxCompute と ApsaraDB for HBase クラスタまたは Hadoop クラスタ間のネットワーク接続を確立する場合、関連サービスのコンソールにあるネットワーク接続情報で VPC ID を取得できます。
その他の場合、次の操作を実行できます。VPC コンソール にログインします。[VPC] ページで、「インスタンス ID/名前」列に必要な VPC の ID を表示します。
vSwitch ID
VPC が属する vSwitch の ID。
vSwitch の ID を取得するには、次の操作を実行します。
MaxCompute と ApsaraDB for HBase クラスタまたは Hadoop クラスタ間のネットワーク接続を確立する場合、関連サービスのコンソールにあるネットワーク接続情報で vSwitch ID を取得できます。
その他の場合、次の操作を実行できます。VPC コンソール にログインします。左側のナビゲーションウィンドウで、[vSwitch] をクリックします。vSwitch ページで、目的の vSwitch の名前をクリックします。表示されるページの「vSwitch の基本情報」セクションで、vSwitch ID を表示します。
セキュリティグループ
専用ネットワーク接続の確立手順で記録されたセキュリティグループの ID。
4. 接続先サービスのセキュリティグループを構成する
上記の手順が完了し、専用接続が確立された後、接続先サービスのセキュリティグループにルールを追加して、手順 2 で作成した MaxCompute セキュリティグループがポート 9200 やポート 31000 などの特定のポートを使用して接続先サービスにアクセスできるようにする必要があります。
たとえば、ApsaraDB RDS インスタンスにアクセスする場合、手順 2 で作成したセキュリティグループからのアクセスを許可するように、ApsaraDB RDS インスタンスのセキュリティグループにルールを追加する必要があります。アクセスするサービスがセキュリティグループをサポートしておらず、IP アドレスのみを追加できる場合は、接続先サービスで使用される vSwitch の CIDR ブロックを追加する必要があります。
MaxCompute がアクセスする必要がある Hadoop クラスタのセキュリティグループを構成します。
MaxCompute が Hadoop クラスタにアクセスできるようにするには、Hadoop クラスタのセキュリティグループに対して次の構成を実行します。
Hadoop クラスタのセキュリティグループに着信ルールを追加します。
承認オブジェクトを、ENI が属するセキュリティグループに設定します。この場合、セキュリティグループとは、手順 2 で作成したグループを指します。
Hive Metastore サービスのポート番号を 9083 に設定します。
Hadoop Distributed File System (HDFS) の NameNode のポート番号を 8020 に設定します。
HDFS の DataNode のポート番号を 50010 に設定します。
たとえば、MaxCompute が Alibaba Cloud E-MapReduce (EMR) にデプロイされている Hadoop クラスタにアクセスできるようにするには、次の図に示すセキュリティグルーパールールを構成する必要があります。詳細については、「セキュリティグループを作成する」をご参照ください。
ApsaraDB for HBase クラスタのセキュリティグループを構成します。
MaxCompute 用に作成されたセキュリティグループを ApsaraDB for HBase クラスタのセキュリティグループに追加するか、MaxCompute によって作成された ENI の IP アドレスを ApsaraDB for HBase クラスタのホワイトリストに追加します。
たとえば、MaxCompute が ApsaraDB for HBase クラスタにアクセスできるようにするには、次の操作を実行できます。ApsaraDB for HBase コンソール にログインします。[クラスタ] ページで、ID/名前列でアクセスする ApsaraDB for HBase クラスタの名前をクリックします。左側のナビゲーションウィンドウで、[アクセス制御] をクリックします。次に、[セキュリティグループ] タブで MaxCompute のセキュリティグループを追加するか、[ホワイトリスト設定] タブで MaxCompute によって作成された ENI の IP アドレスを ApsaraDB for HBase クラスタのホワイトリストに追加します。セキュリティグループの追加方法、または IP アドレスをホワイトリストに追加する方法の詳細については、「ホワイトリストとセキュリティグループを構成する」をご参照ください。
説明MaxCompute のセキュリティグループを追加できない場合は、[ホワイトリスト設定] タブで、MaxCompute によって作成された ENI の IP アドレスを ApsaraDB for HBase クラスタのホワイトリストに追加できます。MaxCompute 構成が変更されると、ENI の IP アドレスも変更される場合があります。VPC が属するホワイトリストに vSwitch の CIDR ブロックを追加することをお勧めします。
ApsaraDB RDS インスタンスのセキュリティグループを構成します。
MaxCompute 用に作成されたセキュリティグループを ApsaraDB RDS インスタンスのセキュリティグループに追加するか、MaxCompute によって作成された ENI の IP アドレスを ApsaraDB RDS インスタンスのホワイトリストに追加します。
たとえば、MaxCompute が ApsaraDB RDS インスタンスにアクセスできるようにするには、次の操作を実行できます。ApsaraDB RDS コンソール にログインします。[インスタンス] ページで、インスタンス ID/名前列でアクセスする ApsaraDB RDS インスタンスの名前をクリックします。左側のナビゲーションウィンドウで、[ホワイトリストとセキュリティグループ] をクリックします。次に、[セキュリティグループ] タブでセキュリティグループを追加するか、[ホワイトリスト設定] タブで IP アドレスホワイトリストを構成します。セキュリティグループの追加方法、または IP アドレスホワイトリストの構成方法の詳細については、「ApsaraDB RDS for MySQL インスタンスのセキュリティグループを構成する」または「IP アドレスホワイトリストを構成する」をご参照ください。
説明MaxCompute 構成が変更されると、ENI の IP アドレスも変更される場合があります。VPC が属するホワイトリストに vSwitch の CIDR ブロックを追加することをお勧めします。
ステップ 2：VPC エンドポイントにアクセスする
ステップ 1：専用ネットワーク接続を確立するの手順を完了した後、VPC にアクセスする SQL 文または Spark ジョブの以下の構成を追加します。
他のジョブタイプの場合は、それに応じて設定を構成します。
SQL 文を使用して VPC にアクセスする
UDF を使用して VPC 内のリソースにアクセスします。詳細については、「UDF を使用して VPC 内のリソースにアクセスする」をご参照ください。次のコードは例を示しています。
-- VPC 接続スキームに基づいて確立したネットワーク接続の名前を設定します。この設定は、現在のセッションに対してのみ有効です。 SET odps.session.networklink=testLink;VPC のリソースに外部テーブルを使用してアクセスします。次のコードは例を示しています。
-- テーブル作成文でパラメータを構成します。 TBLPROPERTIES( 'networklink'='<networklink_name>')データレイクハウスソリューションの Networklink を構成します。 詳細については、「データレイクハウスソリューション 2.0 を使用する」をご参照ください。
Spark を使用して VPC にアクセスする
Spark ジョブを実行するには、宛先 VPC 内のサービスにアクセスするために ENI 専用接続を使用するように、次の構成を追加します。詳細については、「MaxCompute 上の Spark から VPC 内のインスタンスにアクセスする」をご参照ください。
spark.hadoop.odps.cupid.eni.enable = truespark.hadoop.odps.cupid.eni.info=regionid:vpc id
(オプション) ステップ 3: ホワイトリストに追加する
アクセスするオブジェクトに対してアクセス制御が構成されている場合は、確立された専用ネットワーク接続のセキュリティ グループをオブジェクトの IP アドレス ホワイトリストに追加する必要があります。
特定の Alibaba Cloud サービスへのアクセス
SQL 文、UDF、Spark、MapReduce、PyODPS、Mars、外部テーブル、または MaxCompute のデータレイクハウスソリューションを使用して、OSS、DLF、Tablestore、Hologres などの Alibaba Cloud サービスにアクセスする場合、このスキームを使用できます。このスキームでは、Alibaba Cloud サービスのクラウド製品相互接続ネットワークのエンドポイントが使用されます。
外部テーブルを使用した OSS または Tablestore へのアクセス
OSS または Tablestore の外部テーブルを作成すると、OSS または Tablestore の内部エンドポイントを使用して OSS または Tablestore にアクセスできます。
各リージョンの OSS の内部エンドポイントの詳細については、リージョンとエンドポイント の [内部エンドポイント] 列を参照してください。
各リージョンの Tablestore の内部エンドポイントの詳細については、エンドポイント の [クラシックネットワークエンドポイント] を参照してください。
外部テーブルを使用して OSS または Tablestore にアクセスする方法の詳細については、「Hologres 外部テーブル」をご参照ください。
UDF を呼び出して OSS または Tablestore にアクセスする
UDF を呼び出して OSS または Tablestore にアクセスする場合は、OSS または Tablestore のパブリックエンドポイントを使用し、OSS または Tablestore のパブリックエンドポイントを MaxCompute ホワイトリストに追加する必要があります。
OSS または Tablestore のパブリックエンドポイントを MaxCompute ホワイトリストに追加します。
チケットを送信することで、OSS または Tablestore のパブリックエンドポイントを MaxCompute ホワイトリストに追加できます。各リージョンの OSS または Tablestore のパブリックエンドポイントのリファレンス：
各リージョンの OSS のパブリックエンドポイント: リージョンとエンドポイント の [パブリックエンドポイント] 列。
各リージョンの Tablestore のパブリックエンドポイント: エンドポイント の [パブリックエンドポイント]。
パブリックエンドポイントを使用して OSS または Tablestore にアクセスします。
MaxCompute ジョブでの Spark の例の詳細については、「MaxCompute 上の Spark から OSS にアクセスする」をご参照ください。
よくある質問
高い同時実行性が DNS 解決の失敗につながる場合はどうすればよいですか?
問題の説明: UDF または Spark タスクの実行中に、ピア ドメインにアクセスするために多数の同時リクエストが生成され、DNS 解決の失敗につながります。
解決策: タスクの初期化中にドメイン名を IP アドレスに解決し、実行中にアクセスに IP アドレスを使用することをお勧めします。詳細については、「高い同時実行性が原因で DNS 解決が失敗する」をご参照ください。
IP アドレスで HTTPS サービスにアクセスすると失敗する場合はどうすればよいですか?
問題の説明: HTTPS 機能は、Spark または UDF タスクの KMS や OSS などのリモート VPC サービスにアクセスする場合に不可欠です。ただし、サービスに IP アドレスを介してアクセスするとエラーが発生します。
解決策: リクエストのホスト フィールドにドメイン名を追加して、HTTPS サービスにアクセスする際の IP アドレス制限によって発生する問題を解決します。詳細については、「IP を使用して HTTPS サービスにアクセスする」をご参照ください。