DataWorks:BigQuery

サポート対象のバージョンおよびリージョン

• BigQuery SDK のバージョンは google-cloud-bigquery 2.29.0 です。SDK の機能について詳しくは、「公式ドキュメント」をご参照ください。

• 以下のリージョンで BigQuery データソースを作成できます：

  中国 (香港)、日本 (東京)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、ドイツ (フランクフルト)、イギリス (ロンドン)、米国 (シリコンバレー)、および米国 (バージニア)

サポート対象のフィールド型

BigQuery のフィールド型の詳細については、「BigQuery 公式ドキュメント」をご参照ください。以下に、主なサポート対象フィールド型の一覧を示します。

データ同期の事前準備

DataWorks でデータ同期を実行する前に、データソースと サーバーレスリソースグループ またはデータ統合専用リソースグループの間でネットワーク接続を確立し、リソースグループが内部ネットワーク経由でデータソースにアクセスできるようにする必要があります。データ同期には、サーバーレスリソースグループの利用を推奨します。ネットワーク接続の確立方法については、「ネットワーク接続ソリューション」をご参照ください。

データソースの追加

DataWorks で同期タスクを開発する前に、データソース管理 の手順に従って、必要なデータソースを DataWorks に追加する必要があります。データソースを追加する際に、DataWorks コンソールで パラメーターの説明を確認することで、各パラメーターの意味を理解できます。

以下に、BigQuery データソースの主な設定項目を示します：

• BigQuery Project ID：Google BigQuery 内のプロジェクトの ID です。

• BigQuery 権限付与情報：Google Cloud から取得した 認証ファイル をアップロードします。

データ同期タスクの開発

同期タスクの設定入口および設定手順については、以下の構成ガイドをご参照ください。

付録：スクリプト例およびパラメーターの説明

{
  "stepType": "bigquery"
  "parameter":
  {
    "datasource":"bq_test1",
    "table": "partition_1107",
    "where": "xxx=3",
    "dataSet": "database_0724",
    "partition": [
      "_PARTITIONTIME='2023-11-07'"
     ],
    "column":
    [
      "id",
      "table_id",
      "table_no",
      "table_name",
      "table_status"
    ]
  },
  "name": "Reader",
  "category": "reader"
}