DataWorks:OSS-HDFS

オフライン読み取り

• OSS-HDFS Reader を使用する際の注意事項は次のとおりです。

  リソースグループから OSS-HDFS へのネットワーク接続は複雑になる場合があります。データ同期タスクを実行するには、サーバーレスリソースグループ (推奨) またはデータ統合専用リソースグループを使用してください。ご利用のリソースグループがネットワーク経由で OSS-HDFS にアクセスできることを確認してください。

• OSS-HDFS Reader は、次の機能をサポートしています。

  • text、csv、orc、parquet 形式のファイルをサポートしています。ファイルの内容は、論理的な二次元テーブルである必要があります。

  • 複数のデータ型と列定数の読み取りをサポートしています。

  • 再帰的な読み取りと、ワイルドカードの* および ? をサポートしています。

  • 複数ファイルからの同時読み取りをサポートしています。

オフライン書き込み

OSS-HDFS Writer を使用する際の注意事項は次のとおりです。

• OSS-HDFS Writer は、text、orc、parquet 形式のファイルのみをサポートしています。ファイルの内容は、論理的な二次元テーブルである必要があります。

• テキストファイルの場合、OSS-HDFS ファイルへの書き込みに使用する区切り文字が、Hive でテーブルを作成する際に使用した区切り文字と同じであることを確認してください。これにより、OSS-HDFS に書き込まれたデータが Hive テーブルのフィールドと正しく関連付けられます。

リアルタイム書き込み

• リアルタイム書き込みをサポートしています。

• Hudi 形式バージョン 0.14.x のリアルタイム書き込みをサポートしています。

オフライン読み取り

ParquetFile、ORCFile、TextFile、CsvFile のデータ型は、次の表に示すように、Data Integration がサポートする内部データ型に変換されます。

オフライン書き込み

OSS-HDFS Writer は、TextFile、ORCFile、ParquetFile 形式のファイルを OSS-HDFS ファイルシステム内の指定されたパスに書き込みます。

サポートされているデータ型を次の表に示します。

単一テーブルのオフライン同期タスクの構成

• 詳細については、「コードレス UI でタスクを構成」および「コードエディタでタスクを構成」をご参照ください。

• コードエディタのすべてのパラメーターとスクリプトデモのリストについては、「付録：OSS-HDFS スクリプトデモとパラメーターの説明」をご参照ください。

単一テーブルのリアルタイム同期タスクの構成

詳細については、「単一テーブルのリアルタイム増分同期の構成」および「DataStudio でリアルタイム同期タスクを構成」をご参照ください。

データベース全体のリアルタイムでの完全同期および増分同期タスクの構成

詳細については、「データベース全体のリアルタイム同期タスクの構成」をご参照ください。

コードエディタを使用したバッチ同期タスクの構成

コードエディタを使用してバッチ同期タスクを構成する場合、統一されたスクリプト形式の要件に基づいて、スクリプト内で関連パラメーターを構成する必要があります。詳細については、「コードエディタでタスクを構成」をご参照ください。次の情報では、コードエディタを使用してバッチ同期タスクを構成する際に、データソースに対して構成する必要があるパラメーターについて説明します。

Reader スクリプトデモ

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "oss_hdfs",// プラグイン名
            "parameter": {
                "path": "",// 読み取るファイルのパス。
                "datasource": "",// データソース
                "column": [
                    {
                        "index": 0,// シリアル番号。インデックスは 0 から始まります。これは、ローカルテキストファイルの最初の列からデータが読み取られることを示します。
                        "type": "string"// フィールドタイプ
                    },
                    {
                        "index": 1,
                        "type": "long"
                    },
                    {
                        "index": 2,
                        "type": "double"
                    },
                    {
                        "index": 3,
                        "type": "boolean"
                    },
                    {
                        "format": "yyyy-MM-dd HH:mm:ss", // 日付形式
                        "index": 4,
                        "type": "date"
                    }
                ],
                "fieldDelimiter": ",",// 列区切り文字
                "encoding": "UTF-8",// エンコード形式
                "fileFormat": ""// テキストタイプ
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""// エラーレコード数
        },
        "speed": {
            "concurrent": 3,// ジョブの同時実行数
            "throttle": true, // throttle が false に設定されている場合、mbps パラメーターは有効にならず、レート制限は適用されません。throttle が true に設定されている場合、レート制限が適用されます。
            "mbps":"12"// レート制限。1 mbps = 1 MB/s。
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Reader スクリプトのパラメーター

{
  "type": "long",
  "index": 0
  // ローカルテキストファイルの最初の列 (インデックスは 0 から始まる) から LONG フィールドを取得します。index は、列データがデータファイルから取得されることを示します。
},
{
  "type": "string",
  "value": "alibaba"
  // HDFS Reader は、現在のフィールドとして alibaba という名前の文字列フィールドを内部的に生成します。value は定数列を示します。
}

Writer スクリプトデモ

{
    "type": "job",
    "version": "2.0",// バージョン番号。
    "steps": [
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "oss_hdfs",// プラグイン名。
            "parameter": {
                "path": "",// OSS-HDFS ファイルシステムにファイルを格納するパス。
                "fileName": "",// OSS-HDFS Writer によって書き込まれるファイルの名前。
                "compress": "",// OSS-HDFS ファイルの圧縮タイプ。
                "datasource": "",// データソース。
                "column": [
                    {
                        "name": "col1",// フィールド名。
                        "type": "string"// フィールドタイプ。
                    },
                    {
                        "name": "col2",
                        "type": "int"
                    },
                    {
                        "name": "col3",
                        "type": "double"
                    },
                    {
                        "name": "col4",
                        "type": "boolean"
                    },
                    {
                        "name": "col5",
                        "type": "date"
                    }
                ],
                "writeMode": "",// 書き込みモード。
                "fieldDelimiter": ",",// 列区切り文字。
                "encoding": "",// エンコード形式。
                "fileFormat": "text"// テキストタイプ。
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": ""// エラーレコード数。
        },
        "speed": {
            "concurrent": 3,// ジョブの同時実行数。
            "throttle": false // false はレート制限が適用されないことを示し、以下のレート制限速度は有効になりません。true はレート制限が適用されることを示します。
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Writer スクリプトのパラメーター

{
    "column":
    [
        {
            "name": "userName",
            "type": "string"
        },
        {
            "name": "age",
            "type": "long"
        }
    ]
}

message MessageName {
RequiredOrOptional DataType FieldName;
.....................;
}

message m {
optional int64 id;
optional int64 date_id;
optional binary datetimestring;
optional int32 dspId;
optional int32 advertiserId;
optional int32 status;
optional int64 bidding_req_num;
optional int64 imp;
optional int64 click_num;
}