DataWorks:Doris

アカウントの作成と権限の付与

後続の操作のために Doris データベースにログインするためのアカウントを作成する必要があります。Doris データベースへの後続の接続のために、アカウントのパスワードを指定する必要があります。Doris のデフォルトの root ユーザーを使用して Doris データベースにログインする場合は、root ユーザーのパスワードを指定する必要があります。デフォルトでは、root ユーザーにはパスワードがありません。Doris で SQL ステートメントを実行してパスワードを指定できます：

SET PASSWORD FOR 'root' = PASSWORD('Password')

Doris のネットワーク接続の設定

StreamLoad メソッドを使用してデータを書き込むには、FE ノードのプライベート IP アドレスにアクセスする必要があります。FE ノードのパブリック IP アドレスにアクセスすると、BE ノードのプライベート IP アドレスにリダイレクトされます。リダイレクトの詳細については、「データ操作の問題」をご参照ください。この場合、リソースグループが内部ネットワーク経由でデータソースにアクセスできるようにするには、データソースと サーバーレスリソースグループ またはデータ統合専用リソースグループとの間にネットワーク接続を確立する必要があります。Doris データベースとリソースグループの間にネットワーク接続を確立する方法の詳細については、「ネットワーク接続ソリューション」をご参照ください。

コードエディタを使用したバッチ同期タスクの設定

コードエディタを使用してバッチ同期タスクを設定する場合、統一されたスクリプトフォーマットの要件に基づいて、スクリプト内の関連パラメーターを設定する必要があります。詳細については、コードエディタの使用をご参照ください。以下では、コードエディタを使用してバッチ同期タスクを設定する際に、データソースに対して設定する必要があるパラメーターについて説明します。

Reader スクリプトのデモ

{
  "type": "job",
  "version": "2.0",// バージョン番号。
  "steps": [
    {
      "stepType": "doris",// プラグイン名。
      "parameter": {
        "column": [// 列名。
          "id"
        ],
        "connection": [
          {
            "querySql": [
              "select a,b from join1 c join join2 d on c.id = d.id;"
            ],
            "datasource": ""// データソース名。
          }
        ],
        "where": "",// WHERE 句。
        "splitPk": "",// シャードキー。
        "encoding": "UTF-8"// エンコード形式。
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting": {
    "errorLimit": {
      "record": "0"// 許容されるダーティデータレコードの最大数。
    },
    "speed": {
      "throttle": true,// 速度制限を有効にするかどうかを指定します。false は速度制限が無効であることを示し、true は速度制限が有効であることを示します。mbps パラメーターは、throttle パラメーターが true に設定されている場合にのみ有効になります。
      "concurrent": 1,// 最大並列スレッド数。
      "mbps": "12"// 最大転送レート。単位：MB/s。
    }
  },
  "order": {
    "hops": [
      {
        "from": "Reader",
        "to": "Writer"
      }
    ]
  }
}

Reader スクリプトのパラメーター

Writer スクリプトのデモ

{
  "stepType": "doris",// プラグイン名。
  "parameter":
  {
    "postSql":// 同期タスクの実行後に実行する SQL ステートメント。
    [],
    "preSql":
    [],// 同期タスクの実行前に実行する SQL ステートメント。
    "datasource":"doris_datasource",// データソース名。
    "table": "doris_table_name",// テーブル名。
    "column":
    [
      "id",
      "table_id",
      "table_no",
      "table_name",
      "table_status"
    ],
    "loadProps":{
      "column_separator": "\\x01",// CSV 形式のデータの列区切り文字。
      "line_delimiter": "\\x02"// CSV 形式のデータの行区切り文字。
    }
  },
  "name": "Writer",
  "category": "writer"
}

Writer スクリプトのパラメーター

"loadProps": {
    "format":"csv",
    "column_separator": "\t",
    "line_delimiter": "\n"
}

"loadProps": {
    "format": "json"
}

集約型のデータの書き込み

Doris Writer を使用して、特定の集約型の列にデータを書き込むことができます。Doris Writer を使用して特定の集約型の列にデータを書き込む場合は、追加のパラメーターを設定する必要があります。

たとえば、次の Doris テーブルでは、uuid は bitmap 型 (集約型) であり、sex は HLL 型 (集約型) です。

CREATE TABLE `example_table_1` (
  `user_id` int(11) NULL,
  `date` varchar(10) NULL DEFAULT "10.5",
  `city` varchar(10) NULL,
  `uuid` bitmap BITMAP_UNION NULL, -- 集約型
  `sex` HLL HLL_UNION  -- 集約型
) ENGINE=OLAP AGGREGATE KEY(`user_id`, `date`,`city`)
COMMENT 'OLAP' DISTRIBUTED BY HASH(`user_id`) BUCKETS 32

テーブルに生データを挿入します：

user_id,date,city,uuid,sex
0,T0S4Pb,abc,43,'54'
1,T0S4Pd,fsd,34,'54'
2,T0S4Pb,fa3,53,'64'
4,T0S4Pb,fwe,87,'64'
5,T0S4Pb,gbr,90,'56'
2,iY3GiHkLF,234,100,'54'

Doris Writer を使用して集約型の列にデータを書き込む場合、writer.parameter.column で列を指定し、writer.parameter.loadProps.columns で集計関数を設定する必要があります。たとえば、uuid 列には集計関数 bitmap_hash を使用し、sex 列には集計関数 hll_hash を使用する必要があります。

サンプルコード：

{
    "stepType": "doris",// プラグイン名。
    "writer":
    {
        "parameter":
        {
            "column":
            [
                "user_id",
                "date",
                "city",
                "uuid",// 集約型は bitmap です。
                "sex"// 集約型は HLL です。
            ],
            "loadProps":
            {
                "format": "csv",
                "column_separator": "\\x01",
                "line_delimiter": "\\x02",
                "columns": "user_id,date,city,k1,uuid=bitmap_hash(k1),k2,sex=hll_hash(k2)"// 集計関数を指定する必要があります。
            },
            "postSql":
            [
                "select count(1) from example_tbl_3"
            ],
            "preSql":
            [],
            "datasource":"doris_datasource",// データソース名。
                    "table": "doris_table_name",// テーブル名。
        }
          "name": "Writer",
              "category": "writer"
    }
}