API 出力コンポーネントは、外部データベースから API にデータを書き込みます。また、ビッグデータプラットフォームに接続されたストレージシステムから API にデータをコピーしてプッシュし、データ統合と再処理を行うこともできます。このトピックでは、API 出力コンポーネントの設定方法について説明します。
前提条件
API データソースが作成されていること。詳細については、「API データソースの作成」をご参照ください。
API 出力コンポーネントを設定するために使用するアカウントには、データソースに対するライトスルー権限が必要です。必要な権限がない場合は、権限を申請する必要があります。詳細については、「データソースの権限申請」をご参照ください。
操作手順
Dataphin のホームページの上部のメニューバーから、[開発] > [Data Integration] を選択します。
Data Integration ページの上部のメニューバーで、プロジェクトを選択します。Dev-Prod モードの場合は、環境も選択する必要があります。
左側のナビゲーションウィンドウで、[バッチパイプライン] をクリックします。[バッチパイプライン] リストで、開発したいオフラインパイプラインをクリックして、その設定ページを開きます。
ページの右上隅にある [コンポーネントライブラリ] をクリックして、[コンポーネントライブラリ] パネルを開きます。
[コンポーネントライブラリ] パネルの左側のナビゲーションウィンドウで、[出力] を選択します。右側のリストで [API] コンポーネントを見つけ、キャンバスにドラッグします。
入力、変換、またはフローコンポーネントの
アイコンをクリックしてドラッグし、API 出力コンポーネントに接続します。API 出力コンポーネントカードの
アイコンをクリックして、[API 出力設定] ダイアログボックスを開きます。
パラメーター
説明
ステップ名
API 出力コンポーネントの名前です。Dataphin は自動的にステップ名を生成します。必要に応じて名前を変更できます。命名規則は次のとおりです:
名前に使用できるのは、漢字、英字、アンダースコア (_)、数字のみです。
名前の長さは 64 文字までです。
データソース
データソースのドロップダウンリストには、すべての API データソースが表示されます。これには、ライトスルー権限を持つデータソースと持たないデータソースが含まれます。
ライトスルー権限がないデータソースについては、データソースの横にある [リクエスト] をクリックして権限を申請します。詳細については、「データソースの権限申請」をご参照ください。
API データソースがない場合は、
アイコンをクリックして作成します。詳細については、「API データソースの作成」をご参照ください。
リクエストメソッド
API データソースに設定されたリクエストメソッドです。デフォルト値は POST です。
[POST]: 「パラメーター」、「ヘッダー」、および「ボディ」を設定できます。これらのパラメーターは空のままにできます。
PUT: パラメーターとヘッダーを設定できます。これらのパラメーターは空にすることができます。
リクエストデータ構造
リクエストで渡される JSON データのフォーマットです。
[単一レコード]:1 回のリクエストで 1 つのデータレコードを送信します。リクエストの数はデータレコードの数と等しくなります。
[配列データ]:1 回のリクエストでデータのバッチを配列で送信します。各リクエストのデータ量はバッチサイズによって決まります。このオプションを選択した場合、バッチ読み取りサイズを設定できます。
バッチ読み取りサイズ:1 回のリクエストに含まれるデータレコードの数。
URL パス (任意)
URL のパスを入力します。パスパラメーターは、データソースで設定された URL と連結されて、リクエスト URL を形成します。たとえば、データソースで設定された URL が
https://www.aliyun.comで、URL パスが/homeの場合、リクエスト URL はhttps://www.aliyun.com/homeになります。JSON 書き込みパス (任意)
JSON オブジェクトにデータが書き込まれるパスです (例:
data.result)。このパスは、出力フィールド名の前に自動的に追加され、書き込み用の完全なパスを形成します。リクエストパラメーター
リクエストパラメーターには、[Params]、[Headers]、[Body](リクエストメソッドが POST の場合にのみサポートされます)、および [Sign] が含まれます。
Params、Headers、および Body
[パラメーター名]:漢字、英字、特殊文字をサポートします。
[パラメータータイプ]:[定数]、[UNIX タイムスタンプ]、または [乱数] を選択します。
[パラメーター値]:パラメータータイプを [定数] に設定した場合、パラメーター値には漢字、英字、または特殊文字を使用できます。パラメータータイプを [UNIX タイムスタンプ] に設定した場合、パラメーター値は自動的に生成されます。パラメータータイプを [乱数] に設定した場合、パラメーター値は [16 ビット]、[32 ビット]、[64 ビット]、または [128 ビット] の乱数として自動的に生成できます。
データの型: [Body] セクションでのみデータの型を設定できます。選択できるのは String、Long、JSON、Double、Boolean、または Date です。デフォルト値は String です。
[操作]:
[作成]:[+作成] をクリックしてパラメーター行を追加します。別のパラメーターを作成する前に、
アイコンをクリックしてパラメーターを保存する必要があります。
アイコンをクリックすると、パラメーターの入力をキャンセルします。[編集]:設定済みのパラメーターの [操作] 列で、
アイコンをクリックして設定を編集します。[移動]:設定済みのパラメーターの [操作] 列で、
アイコンをクリックして別のリストに移動します。たとえば、パラメーターが Param リストにある場合、Header または Body リストに移動できます。移動先のリストに同じ名前のパラメーターが既に存在する場合、パラメーターは移動できません。移動先のリストが Body で、Body の入力メソッドが JSON の場合、パラメーターは移動できません。[削除]:設定済みのパラメーターの [操作] 列で、
アイコンをクリックして削除します。署名設定で参照されている場合、パラメーターは削除できません。
「本文」の場合、入力フォーマットを [JSON] または [キーと値] に設定できます。
[JSON]:JSON コード編集エリアに JSON コードを入力します。
アイコンをクリックすると、コードが自動的にフォーマットされます。[Key-Value]:[作成] をクリックします。パラメーター名と値を入力し、パラメータータイプとデータの型を選択します。
署名
署名はデフォルトで無効になっています。署名を使用するには、署名を有効にして署名生成ルールを設定します。
[署名名]:リクエストパラメーターのカプセル化のためのキー値。
[署名の場所]:[Params]、[Header]、または [Body] を選択します。Body は、リクエストメソッドが POST の場合にのみサポートされます。
[生成関数]: MD5HEX、HMAC-MD5、SHA1HEX、HMAC-SHA256、HMAC-SHA1、SHA256、SHA256HEX、SHA512HEX、または HMAC_SHA512 を選択します。
[キー]:[管理] > [データセキュリティ] > [キー管理] からキーを選択するか、手動でキーを入力します。
現在の Dataphin インスタンスで資産セキュリティモジュールが購入されていない場合、キーは手動で入力することしかできません。資産セキュリティモジュールが購入されている場合は、[管理] > [データセキュリティ] > [キー管理] からキーを選択することしかできません。ドロップダウンリストに利用可能なキーがない場合は、[登録に移動] をクリックして [キー管理] ページに移動し、キーを登録します。
説明このパラメーターは、[生成関数] を MD5HEX、SHA1HEX、SHA256、SHA256HEX、または SHA512HEX に設定した場合、省略可能です。
[連結内容]:[パラメーター値のみ] または [パラメーター名 + パラメーター値] を選択します。デフォルトは [パラメーター名 + パラメーター値] です。
パラメーター値のみ、パラメーター名 + パラメーター値
[参照パラメーター]:パラメーターリストから複数のキーと値 (KV) のパラメーターを選択します。
[連結順序]:[辞書順] または [選択順] を選択します。デフォルトは [辞書順] です。
コネクタ (オプション):[パラメーター区切り文字] または [キーと値のコネクタ] を設定します。
[パラメーター区切り文字]:カスタムのパラメーター区切り文字を指定します。デフォルト値は
&です。[キーと値のコネクタ]:カスタムのキーと値のコネクタを指定します。デフォルト値は
=です。[連結内容] が [パラメーター値のみ] に設定されている場合、このパラメーターは設定できません。
[連結例]:上記の設定に基づいて連結された文字列を表示します。パラメーターでタイムスタンプまたは乱数が使用されている場合、一時的に生成された値が表示されます。
カスタム
[署名文字列]:カスタムの署名文字列を入力します。
@記号を入力すると、パラメーターの候補が表示されます。その後、パラメーターを選択できます。[連結内容] を [パラメーター値のみ] または [パラメーター名 + パラメーター値] から [カスタム] に切り替える際に、参照パラメーターが含まれている場合、システムは連結順序とコネクタに基づいてそれらを連結し、署名文字列に自動入力します。署名文字列には、キー、Params、Header、または Body のパラメーター、および定数を含めることができます。[キー] を選択すると、システムは文字列に
#{secret}を追加します。[すべての Params]、[すべての Headers]、または [すべての Body] を選択すると、システムは対応するリストのすべてのパラメーターをK:V形式で別々の行に文字列に追加します。たとえば、idという名前のパラメーターの場合、システムはid:#{id}を追加します。Body が JSON モードの場合、それを選択すると完全な JSON がシステムに渡され、システムは文字列内で#{body_json}プレースホルダーを使用します。
入力フィールド
上流コンポーネントの出力に基づいて入力フィールドを表示します。
出力フィールド
出力フィールドを表示します。Dataphin では、[バッチ追加] と [出力フィールドの作成] を使用して出力フィールドを設定できます。
[バッチ追加]:[バッチ追加] をクリックして、JSON または TEXT フォーマットでフィールドをバッチ追加します。
JSON フォーマットでフィールドをバッチ追加するには、次の例を使用します:
// 例: [{"name": "user_id","type": "String"}, {"name": "user_name","type": "String"}]説明`name` パラメーターはインポートされるフィールドの名前を指定し、`type` パラメーターはインポート後のフィールドのデータの型を指定します。たとえば、
"name":"user_id","type":"String"は、user_id という名前のフィールドがインポートされ、そのデータの型が String に設定されることを指定します。TEXT フォーマットでフィールドをバッチ追加するには、次の例を使用します:
// 例: user_id,String user_name,String行区切り文字は、各フィールドの情報を区切ります。デフォルト値は改行 (\n) です。セミコロン (;) またはピリオド (.) も使用できます。
列区切り文字は、フィールド名とフィールドタイプを区切ります。デフォルト値はカンマ (,) です。
出力フィールドの作成
[+出力フィールドの作成] をクリックします。次に、[シリアル番号] と [列] の値を入力し、[型] を選択します。
アイコンをクリックして現在の行を保存します。
アイコンをクリックして現在の行を削除します。上流フィールドのコピー
[上流フィールドのコピー] をクリックします。システムは上流のフィールド名に基づいて出力フィールドを自動的に生成します。
出力フィールドの管理
追加されたフィールドに対して、次の操作も実行できます:
[操作] 列で、
アイコンをクリックして既存のフィールドを編集します。[操作] 列で、
アイコンをクリックして既存のフィールドを削除します。
マッピング
上流の入力とターゲットテーブルのフィールドに基づいて、フィールドマッピングを手動で選択できます。[マッピング] には、[同じ行のマッピング] と [同じ名前のマッピング] があります。
同じ名前のマッピング:同じ名前を持つフィールドをマッピングします。
同じ行のマッピング:同じ行にあるフィールドをマッピングします。ソーステーブルとターゲットテーブルのフィールド名が異なるが、対応する行のデータをマッピングする必要がある場合に使用します。
[確認] をクリックして、API 出力コンポーネントの設定を完了します。