すべてのプロダクト
Search

このプロダクト

    DataWorks:CreateCrawler

    ドキュメントセンター

    DataWorks:CreateCrawler

    最終更新日:Sep 03, 2026

    メタデータクローラーを作成し、データソース、コレクションの範囲、リソースグループ、およびスケジューリングメソッドを構成します。

    操作説明

    シナリオ

    指定されたデータソースのメタデータクローラーを作成し、コレクションの範囲、リソースグループ、スケジューリングメソッド、および拡張構成を設定します。

    推奨ワークフロー

    1. GetCrawlerTypeCapabilities を呼び出して、現在のリージョンでサポートされているクローラータイプとその構成機能をクエリします。

    2. Type の値に一致するデータソースを使用してクローラーを作成します。クローラーを作成する前に、TestDataSourceConnectivity API を呼び出してデータソースと選択したリソースグループが接続性テストに合格していることを確認し、無効なクローラーが作成されるのを防いでください。

    3. クローラーの作成後、RunCrawler を呼び出して手動で実行するか、定期スケジューリングを構成して自動実行を行います。

    エディション要件

    DataWorks Basic Edition 以上のエディションが必須です。

    注意事項

    作成成功は、クローラー構成が生成されたことのみを示します。メタデータのコレクションはすぐには実行されません。

    今すぐお試しください

    この API を OpenAPI Explorer でお試しください。手作業による署名は必要ありません。呼び出しに成功すると、入力したパラメーターに基づき、資格情報が組み込まれた SDK コードが自動的に生成されます。このコードをダウンロードしてローカルで使用できます。

    テスト

    RAM 認証

    下表に、この API を呼び出すために必要な認証情報を示します。認証情報は、RAM (Resource Access Management) ポリシーを使用して定義できます。以下で各列名について説明します。

    • アクション：特定のリソースに対して実行可能な操作。ポリシー構文ではAction要素として指定します。

    • API：アクションを具体的に実行するための API。

    • アクセスレベル：各 API に対して事前定義されているアクセスの種類。有効な値：create、list、get、update、delete。

    • リソースタイプ：アクションが作用するリソースの種類。リソースレベルでの権限をサポートするかどうかを示すことができます。ポリシーの有効性を確保するため、アクションの対象として適切なリソースを指定してください。

      • リソースレベルの権限を持つ API の場合、必要なリソースタイプはアスタリスク (*) でマークされます。ポリシーのResource要素で対応する ARN を指定してください。

      • リソースレベルの権限を持たない API の場合、「すべてのリソース」と表示され、ポリシーのResource要素でアスタリスク (*) でマークされます。

    • 条件キー：サービスによって定義された条件のキー。このキーにより、きめ細やかなアクセス制御が可能になります。この制御は、アクション単体に適用することも、特定のリソースに対するアクションに適用することもできます。Alibaba Cloud は、サービス固有の条件キーに加えて、すべての RAM 統合サービスに適用可能な一連の共通条件キーを提供しています。

    • 依存アクション：ある特定のアクションを実行するために、前提として実行が必要となる他のアクション。依存アクションの権限も RAM ユーザーまたは RAM ロールに付与する必要があります。

    アクション

    アクセスレベル

    リソースタイプ

    条件キー

    依存アクション

    dataworks:CreateCrawler

    create

    *すべてのリソース。

    *

    		 なし なし

    リクエスト構文

    POST  HTTP/1.1

    リクエストパラメーター

    パラメーター

    型

    必須 / 任意

    説明

    例
    Name

    string

    必須

    メタデータクローラーの名前。名前の長さは最大 128 文字です。

    example_crawler
    DataSourceId

    integer

    必須

    クローラーに関連付けられたデータソースの ID。データソースは DataWorks ワークスペースにバインドされている必要があり、データソースタイプは Type の値と一致している必要があります。

    12345
    Type

    string

    必須

    クローラータイプ。現在のリージョンでサポートされている有効な値をクエリするには、GetCrawlerTypeCapabilities を呼び出します。

    starrocks
    ResourceGroupId

    string

    任意

    コレクションタスクを実行するために使用される Serverless 2.0 リソースグループの ID。このパラメーターが必須かどうかは、GetCrawlerTypeCapabilities が返す RequireResourceGroup の値によって異なります。

    Serverless_res_group_1234567890123456_1234567890
    Scope

    object

    任意

    コレクション範囲の構成。このパラメーターが指定されていない場合、GetCrawlerTypeCapabilities が返す DefaultScopeUnit の値が使用されます。

    Unit

    string

    必須

    コレクション範囲の粒度。有効な値は、GetCrawlerTypeCapabilities が返す SupportedScopeUnits の値によって決まります。

    DATABASE
    Items

    array

    任意

    データベース名のリスト。このパラメーターは、Unit が DATABASE にセットされている場合にのみサポートされます。最大値は 1000 エントリです。名前を空にしたり重複させたりすることはできません。

    string

    任意

    単一のデータベース名。名前の長さは最大 256 文字です。

    example_database
    ExcludeRegex

    string

    任意

    コレクション範囲からオブジェクトを除外するために使用される正規表現式。このパラメーターは、GetCrawlerTypeCapabilities が返す SupportExcludeRegex の値が true の場合にのみサポートされます。

    ^tmp_.*
    ScheduleConfig

    object

    任意

    スケジューリングの構成。このパラメーターが指定されていない場合、手動スケジューリングが使用されます。

    Type

    string

    必須

    スケジューリングタイプ。MANUAL は手動実行、NORMAL は定期スケジューリングを示します。開発環境のデータソースは MANUAL のみをサポートします。NORMAL が利用可能かどうかは、GetCrawlerTypeCapabilities が返す SupportSchedule の値によって異なります。

    NORMAL
    CronExpress

    string

    任意

    定期スケジューリング用の 6 フィールドの cron 式。このパラメーターは、Type が NORMAL にセットされている場合に必須です。秒フィールドは 0 である必要があり、スケジューリング周波数は 1 時間に 1 回を超えることはできません。

    0 0 2 ? * *
    EnableAiComment

    boolean

    任意

    AI メタデータ説明を有効にするかどうかを指定します。このパラメーターは、GetCrawlerTypeCapabilities が返す SupportAiComment の値が true の場合にのみサポートされます。

    Options

    object

    任意

    クローラータイプの拡張構成。キー名、値のタイプ、必須フィールド、デフォルト値、および有効な値は、GetCrawlerTypeCapabilities が返す SupportedOptionKeys の値によって決まります。

    string

    任意

    クローラーの単一拡張設定項目の値。サポートされる設定項目、値のタイプ、および値の範囲は、GetCrawlerTypeCapabilities が返す SupportedOptionKeys の値によって決まります。

    v1

    DataSourceId は Type の値と一致している必要があります。ResourceGroupId、Scope、ScheduleConfig、EnableAiComment、および Options がサポートされるかどうかは、GetCrawlerTypeCapabilities ソースによって異なります。

    レスポンスフィールド

    フィールド

    型

    説明

    例

    object

    応答パラメーター。

    RequestId

    string

    リクエスト ID。ログの特定や問題のトラブルシューティングに使用されます。

    9252F32F-D855-549E-8898-61CF5A733050
    Success

    boolean

    リクエストが成功したかどうかを示します。

    Id

    integer

    新しく作成されたメタデータクローラーの ID。

    1234

    Id は新しく作成されたメタデータクローラーの ID です。応答が成功しても、メタデータのコレクションが完了したことを示すものではありません。

    例

    成功レスポンス

    JSONJSON

    {
  "RequestId": "9252F32F-D855-549E-8898-61CF5A733050",
  "Success": false,
  "Id": 1234
}

    エラーコード

    完全なリストについては、「エラーコード」をご参照ください。

    変更履歴

    完全なリストについては、「変更履歴」をご参照ください。