DataWorks:Amazon S3 データソース

バッチ読み取り

Amazon S3 は非構造化データを格納します。Data Integration では、Amazon S3 Reader は以下の機能をサポートしています。

単一テーブルのバッチ同期タスクの設定

• 手順については、「コードレス UI を使用したバッチ同期タスクの設定」および「コードエディタを使用したバッチ同期タスクの設定」をご参照ください。

• スクリプトモードの完全なパラメーターとスクリプトデモについては、「付録：スクリプトデモとパラメーターの説明」をご参照ください。

コードエディタを使用したバッチ同期タスクの設定

コードエディタを使用してバッチ同期タスクを設定する場合、統一されたスクリプト形式の要件に基づいて、スクリプト内の関連パラメーターを設定する必要があります。詳細については、「コードエディタの使用」をご参照ください。以下では、コードエディタを使用してバッチ同期タスクを設定する際に、データソースに対して設定する必要があるパラメーターについて説明します。

Reader スクリプトデモ

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"s3",// プラグイン名。
            "parameter":{
                "nullFormat":"",// null 値を表す文字列。
                "compress":"",// 圧縮タイプ。
                "datasource":"",// データソース名。
                "column":[// 列。
                    {
                        "index":0,// 列のインデックス。
                        "type":"string"// データ型。
                    },
                    {
                        "index":1,
                        "type":"long"
                    },
                    {
                        "index":2,
                        "type":"double"
                    },
                    {
                        "index":3,
                        "type":"boolean"
                    },
                    {
                        "format":"yyyy-MM-dd HH:mm:ss", // 時刻フォーマット。
                        "index":4,
                        "type":"date"
                    }
                ],
                "skipHeader":"",// CSV 形式ファイルのヘッダー行をスキップするかどうかを指定します。
                "encoding":"",// エンコード形式。
                "fieldDelimiter":",",// 列区切り文字。
                "fileFormat": "",// ファイル形式。
                "object":[]// オブジェクトのプレフィックス。
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":""// エラー数。
        },
        "speed":{
            "throttle":true,// 速度制限を有効にするかどうかを指定します。false の値は速度制限が無効であり、mbps パラメーターが効果を発揮しないことを示します。true の値は速度制限が有効であることを示します。
            "concurrent":1, // 同時実行数。
            "mbps":"12"// 速度制限のレート。1 mbps = 1 MB/s。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Reader スクリプトのパラメーター

column": ["*"]

"column":    
{       
"type": "long",       
"index": 0 //S3 テキストの最初の列から int フィールドを取得します。
},    
{       
"type": "string",       
"value": "alibaba" //S3 Reader 内部で文字列フィールド "alibaba" を生成し、現在のフィールドとして使用します。
}

Writer スクリプトデモ

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "s3",
            "category": "writer",
            "name": "Writer",
            "parameter": {
                "datasource": "datasource1",
                "object": "test/csv_file.csv",
                "fileFormat": "csv",
                "encoding": "utf8/gbk/...",
                "fieldDelimiter": ",",
                "lineDelimiter": "\n",
                "column": [
                    "0",
                    "1"
                ],
                "header": [
                    "col_bigint",
                    "col_tinyint"
                ],
                "writeMode": "truncate",
                "writeSingleObject": true
            }
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "" // エラー数。
        },
        "speed": {
            "throttle": true, // 速度制限を有効にするかどうかを指定します。false の値は速度制限が無効であり、mbps パラメーターが効果を発揮しないことを示します。true の値は速度制限が有効であることを示します。
            "concurrent": 1, // 同時実行数。
            "mbps": "12" // 速度制限のレート。1 mbps = 1 MB/s。
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Writer スクリプトのパラメーター