すべてのプロダクト
Search

このプロダクト

    DataWorks:LogHub Reader の構成

    ドキュメントセンター

    DataWorks:LogHub Reader の構成

    最終更新日:Mar 28, 2025

    LogHub Reader は、LogHub SDK を使用して LogHub トピックからリアルタイムでデータを読み取り、シャードのマージと分割をサポートします。シャードがマージまたは分割された後、重複するデータレコードが存在する可能性がありますが、データは失われません。

    背景情報

    次の表は、リアルタイム同期の LogHub Reader が提供するメタデータフィールドについて説明しています。

    リアルタイム同期の LogHub Reader が提供するフィールド

    データ型

    説明

    __time__

    STRING

    Simple Log Service の予約フィールドです。このフィールドは、ログが Simple Log Service に書き込まれた時間を指定します。フィールド値は、秒単位の UNIX タイムスタンプです。

    __source__

    STRING

    Simple Log Service の予約フィールドです。このフィールドは、ログが収集されたソースデバイスを指定します。

    __topic__

    STRING

    Simple Log Service の予約フィールドです。このフィールドは、ログのトピック名を指定します。

    __tag__:__receive_time__

    STRING

    ログがサーバーに到着した時間です。パブリック IP アドレス記録機能を有効にすると、サーバーがログを受信したときに、このフィールドが各生のログに追加されます。フィールド値は、秒単位の UNIX タイムスタンプです。

    __tag__:__client_ip__

    STRING

    ソースデバイスのパブリック IP アドレスです。パブリック IP アドレス記録機能を有効にすると、サーバーがログを受信したときに、このフィールドが各生のログに追加されます。

    __tag__:__path__

    STRING

    Logtail によって収集されたログファイルのパスです。Logtail は、このフィールドをログに自動的に追加します。

    __tag__:__hostname__

    STRING

    Logtail がデータを収集するデバイスのホスト名です。Logtail は、このフィールドをログに自動的に追加します。

    手順

    1. DataStudio ページに移動します。

      DataWorks コンソール にログオンします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[データ開発と O&M] > [データ開発] を選択します。表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[データ開発に移動] をクリックします。

    2. 新建 アイコンにマウスポインターを合わせて、[ノードの作成] > [data Integration] > [リアルタイム同期] をクリックします。

      ビジネスフローを展開するには、目的のビジネスフローを右クリックし、[ノードの作成] > [data Integration] > [リアルタイム同期] を選択します。

    3. [ノードの作成] ダイアログボックスで、[同期方法] を [単一テーブル（トピック）から単一テーブル（トピック）への ETL] として選択し、[名前] を入力し、[パス] を選択します。

    4. [確認] をクリックします。

    5. リアルタイム同期ノードの構成タブで、LogHub[入力] セクションの を右側のキャンバスにドラッグします。

    6. [loghub] ノードをクリックします。表示されるパネルで、パラメーターを構成します。

      image

      パラメーター

      説明

      データソース

      DataWorks に追加した LogHub データソースの名前。LogHub データソースのみを選択できます。

      使用可能なデータソースがない場合は、右側の [新しいデータソース] をクリックして、[管理センター] の [データソース] ページに移動し、LogHub データソースを追加します。詳細については、「Add a LogHub (SLS) data source」をご参照ください。

      ログストア

      データを読み取るログストアの名前。[データプレビュー] をクリックすると、選択したログストアのデータをプレビューできます。

      詳細設定

      ログストア内のデータを分割するかどうかを指定します。[タスクの分割] パラメーターを [分割] に設定する場合は、[分割ルール] パラメーターを構成する必要があります。

      shardId % X = Y の形式でシャーディングルールを指定できます。この式は、shardId を X で割った余りを取得するために使用されます。shardId はシャーディングタスクの ID、X はシャードの総数、Y はシャーディングタスクが有効になるシャードの ID を示します。Y の有効値は [0, X-1] です。たとえば、shardId % 5 = 3 は、同期するソースデータが 5 つのシャードに分割され、ID が 3 のシャードで有効になるようにシャーディングタスクが割り当てられていることを示します。

      出力フィールド

      データを同期するフィールド。フィールドの説明については、「背景情報」をご参照ください。

    7. リアルタイム同期ノードの構成タブの上部にあるツールバーで、保存 アイコンをクリックしてノードを保存します。