DataWorks:Amazon S3 データソース

バッチ読み取り

Amazon S3 は非構造化データストレージサービスです。DataWorks のデータ統合における Amazon S3 Reader は、以下の特徴をサポートしています。

単一テーブルのバッチ同期タスクの設定

• 手順については、「コードレス UI でのタスクの設定」および「コードエディタでのタスクの設定」をご参照ください。

• スクリプトモードでタスクを設定するためのすべてのパラメーターとスクリプトの例については、本トピックの後半にある「付録：スクリプトの例とパラメーターの説明」をご参照ください。

コードエディタを使用したバッチ同期タスクの設定

コードエディタを使用してバッチ同期タスクを設定する場合、統一されたスクリプトフォーマットの要件に基づいて、スクリプト内の関連パラメーターを設定する必要があります。詳細については、「コードエディタでのタスクの設定」をご参照ください。以下では、コードエディタを使用してバッチ同期タスクを設定する際に、データソースに対して設定する必要があるパラメーターについて説明します。

Reader スクリプトの例

{
    "type":"job",
    "version":"2.0",// バージョン番号。
    "steps":[
        {
            "stepType":"s3",// プラグイン名。
            "parameter":{
                "nullFormat":"",// NULL 値を表す文字列を定義します。
                "compress":"",// テキスト圧縮タイプ。
                "datasource":"",// データソース。
                "column":[// フィールド。
                    {
                        "index":0,// 列インデックス。
                        "type":"string"// データ型。
                    },
                    {
                        "index":1,
                        "type":"long"
                    },
                    {
                        "index":2,
                        "type":"double"
                    },
                    {
                        "index":3,
                        "type":"boolean"
                    },
                    {
                        "format":"yyyy-MM-dd HH:mm:ss", // 時刻フォーマット。
                        "index":4,
                        "type":"date"
                    }
                ],
                "skipHeader":"",// CSV 形式のファイルのヘッダーをスキップします。
                "encoding":"",// エンコード形式。
                "fieldDelimiter":",",// フィールドデリミタ。
                "fileFormat": "",// テキストファイルタイプ。
                "object":[]// オブジェクトプレフィックス。
            },
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":""// 許容されるエラーレコード数。
        },
        "speed":{
            "throttle":true,// レート制限を有効にするかどうかを指定します。このパラメーターが false に設定されている場合、mbps パラメーターは無視されます。
            "concurrent":1, // 同時ジョブ数。
            "mbps":"12"// 最大転送レート (MB/s)。注意：このコンテキストでは、1 mbps は 1 MB/s に相当します。
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Reader スクリプトのパラメーター

"column": ["*"]

"column":    
{       
"type": "long",       
"index": 0 // S3 テキストファイルの最初の列から整数を読み取ります。
},    
{       
"type": "string",       
"value": "alibaba" // この列の値として定数文字列 "alibaba" を生成します。
}

Writer スクリプトの例

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "s3",
            "category": "writer",
            "name": "Writer",
            "parameter": {
                "datasource": "datasource1",
                "object": "test/csv_file.csv",
                "fileFormat": "csv",
                "encoding": "utf8/gbk/...",
                "fieldDelimiter": ",",
                "lineDelimiter": "\n",
                "column": [
                    "0",
                    "1"
                ],
                "header": [
                    "col_bigint",
                    "col_tinyint"
                ],
                "writeMode": "truncate",
                "writeSingleObject": true
            }
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "" // 許容されるエラーレコード数。
        },
        "speed": {
            "throttle": true, // レート制限を有効にするかどうかを指定します。このパラメーターが false に設定されている場合、mbps パラメーターは無視されます。
            "concurrent": 1, // 同時ジョブ数。
            "mbps": "12" // 最大転送レート (MB/s)。注意：このコンテキストでは、1 mbps は 1 MB/s に相当します。
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

Writer スクリプトのパラメーター