DataWorks:OSS-HDFS データソース

制限事項

仕組み

データ型マッピング

バッチデータ読み取り

次の表に、OSS-HDFS Reader が Parquet、ORC、テキスト、CSV ファイルのデータ型を変換する際に基づくデータ型マッピングを示します。

バッチデータ書き込み

OSS-HDFS Writer は、テキスト、ORC、または Parquet ファイルを OSS-HDFS の指定されたディレクトリに書き込むことができます。

データ同期タスクの開発

データ同期タスクのエントリ ポイントと設定手順については、以下のセクションを参照してください。パラメーター設定については、タスクの設定タブにある各パラメーターのヒントを参照してください。

データソースの追加

特定のデータソースとのデータ同期タスクを設定する前に、データソースを DataWorks に追加する必要があります。詳細については、「データソースの追加と管理」をご参照ください。

単一テーブルのデータを同期するバッチ同期タスクの設定

• 設定手順の詳細については、「コードレス UI を使用したバッチ同期タスクの設定」および「コードエディターを使用したバッチ同期タスクの設定」をご参照ください。

• コードエディターを使用してバッチ同期タスクを設定する場合に設定されるすべてのパラメーターと実行されるコードについては、「付録: コードとパラメーター」をご参照ください。

単一テーブルのデータを同期するリアルタイム同期タスクの設定

設定手順の詳細については、「DataStudio でリアルタイム同期タスクを作成する」および「DataStudio でのリアルタイム同期タスクの設定」をご参照ください。

データベースのフルデータまたは増分データのリアルタイム同期を実装するための同期設定

設定手順の詳細については、「データ統合での同期タスクの設定」をご参照ください。

付録: コードとパラメーター

付録: コードエディターを使用したバッチ同期タスクの設定

コードエディターを使用してバッチ同期タスクを設定する場合は、コードエディターの形式要件に基づいて、関連データソースのリーダーとライターのパラメーターを設定する必要があります。形式要件の詳細については、「コードエディターを使用したバッチ同期タスクの設定」をご参照ください。以下の情報は、コードエディターのリーダーとライターのパラメーターの設定詳細について説明しています。

OSS-HDFS Reader のコード

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "oss_hdfs",// プラグイン名。
            "parameter": {
                "path": "",// データを読み取るファイルのパス。
                "datasource": "",// データソースの名前。
                "column": [
                    {
                        "index": 0,// ソースファイルの列のインデックス。インデックスは 0 から始まり、OSS-HDFS Reader がソースファイルの最初の列からデータを読み取ることを示します。
                        "type": "string"// フィールドの型。
                    },
                    {
                        "index": 1,
                        "type": "long"
                    },
                    {
                        "index": 2,
                        "type": "double"
                    },
                    {
                        "index": 3,
                        "type": "boolean"
                    },
                    {
                        "format": "yyyy-MM-dd HH:mm:ss", // 時間形式。
                        "index": 4,
                        "type": "date"
                    }
                ],
                "fieldDelimiter": ",",// 列の区切り文字。
                "encoding": "UTF-8",// エンコード形式。
                "fileFormat": ""// ファイル形式。
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""// 許容されるダーティデータレコードの最大数。
        },
        "speed": {
            "concurrent": 3,// 並列スレッドの最大数。
            "throttle": true, // スロットリングを有効にするかどうかを指定します。値 false はスロットリングが無効であることを示し、値 true はスロットリングが有効であることを示します。mbps パラメーターは、throttle パラメーターが true に設定されている場合にのみ有効になります。
            "mbps":"12"// 最大伝送速度。単位: MB/s。
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

OSS-HDFS Reader のコードのパラメーター

{
  "type": "long",
  "index": 0
  // ソースファイルの最初の LONG 型の列。インデックスは 0 から始まります。index フィールドは、ファイル内のデータを読み取る列の ID を示します。
},
{
  "type": "string",
  "value": "alibaba"
  // 現在の列の値。これは定数列 alibaba です。OSS-HDFS Reader によって内部的に生成されます。
}

OSS-HDFS Writer のコード

{
    "type": "job",
    "version": "2.0",// バージョン番号。
    "steps": [
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "oss_hdfs",// プラグイン名。
            "parameter": {
                "path": "",// ファイルが書き込まれる OSS-HDFS のディレクトリ。
                "fileName": "",// OSS-HDFS に書き込むファイルの名前のプレフィックス。
                "compress": "",// OSS-HDFS に書き込むファイルの圧縮形式。
                "datasource": "",// データソースの名前。
                "column": [
                    {
                        "name": "col1",// 列の名前。
                        "type": "string"// 列のデータ型。
                    },
                    {
                        "name": "col2",
                        "type": "int"
                    },
                    {
                        "name": "col3",
                        "type": "double"
                    },
                    {
                        "name": "col4",
                        "type": "boolean"
                    },
                    {
                        "name": "col5",
                        "type": "date"
                    }
                ],
                "writeMode": "",// 書き込みモード。
                "fieldDelimiter": ",",// 列の区切り文字。
                "encoding": "",// エンコード形式。
                "fileFormat": "text"// OSS-HDFS に書き込むファイルの形式。
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""// 許容されるダーティデータレコードの最大数。
        },
        "speed": {
            "concurrent": 3,// 並列スレッドの最大数。
            "throttle": false // スロットリングを有効にするかどうかを指定します。値 false はスロットリングが無効であることを示し、値 true はスロットリングが有効であることを示します。mbps パラメーターは、throttle パラメーターが true に設定されている場合にのみ有効になります。
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

OSS-HDFS Writer のコードのパラメーター

{
    "column":
    [
        {
            // ユーザー名
            "name": "userName",
            // 年齢
            "type": "string"
        },
        {
            // ユーザー名
            "name": "age",
            // 年齢
            "type": "long"
        }
    ]
}

message MessageName {
// 必須、データ型、列名
.....................;
}

message m {
optional int64 id; // ID
optional int64 date_id; // 日付ID
optional binary datetimestring; // 日時文字列
optional int32 dspId; // DSP ID
optional int32 advertiserId; // 広告主ID
optional int32 status; // ステータス
optional int64 bidding_req_num; // 入札リクエスト数
optional int64 imp; // インプレッション数
optional int64 click_num; // クリック数
}