DataWorks:LogHub (SLS) から MaxCompute へのリアルタイム同期

1. ソースデータソース で、追加済みの LogHub データソースを選択します。宛先データソース で、追加済みの MaxCompute データソースを選択します。

2. 実行中のリソース セクションで、同期タスク用の リソースグループ を選択し、タスクに リソースグループ CUs を割り当てます。リソース使用量を正確に制御し、無駄を防ぐため、フル同期と増分同期それぞれに個別に CU を設定できます。同期タスクがメモリ不足 (OOM) エラーにより失敗した場合は、リソースグループの CU 割り当てを増やしてください。

   説明

   CU はリソースグループの課金単位であり、1 CU は約 1 vCPU および 4 GB のメモリに相当します。初期構成では必要なスループットを見積もり、モニタリングデータに基づいて値を調整することを推奨します。

3. ソースおよび送信先の両方のデータソースで 接続性チェック が成功していることを確認します。

1. データソースの構成

データソース セクションで、LogHub (SLS) データソースを構成します。

1. Source Information セクションで、同期する Logstore を選択します。

   • Logstore： ドロップダウンリストから既存の Logstore を選択します。

2. データサンプリング をクリックして、LogHub データをサンプリングおよびプレビューします。

   表示されるダイアログボックスで、開始時間 および サンプリング数 を設定し、収集開始 をクリックします。サンプリング結果は、後続のデータ処理ノードのプレビュー入力として使用できます。

3. 出力フィールド設定 セクションで、システムが Logstore のフィールド一覧を自動ロードします。ここで データ型 を変更したり、フィールドを 削除 したり、出力フィールドの手動追加 できます。

2. データ処理

データ処理 スイッチをオンにします。5 種類のデータ処理方法が提供されています：Data Masking、String Replace、Data Filtering、JSON Parsing、および Field Editing and Assignment。これらの方法を任意の順序で配置できます。タスクは指定された順序でデータを処理します。

データ処理ノードを構成したら、右上隅の データ出力プレビュー ボタンをクリックできます。

1. 入力データ下の表で、前のステップの データサンプリング 結果を確認できます。アップストリーム出力の再取得 をクリックして結果を更新できます。

2. 上流ノードから出力が生成されない場合は、データの手動作成 を使用して、上流の出力をシミュレートできます。

3. プレビュー をクリックして、上流ノードからの処理済み出力を確認します。

4. このプレビューは最終的な出力を示します。

   データ処理プレビュー画面では、Input Data セクションに _source_、_time_、_topic_、check_rows などのフィールドを含む生ログが表示されます。Preview Result セクションには、client_ip や db などの新たに解析されたフィールドを含む処理済みデータが表示されます。また、ダーティデータレコードが 0 件であることが示されます。

3. データ送信先の構成

1. データ宛先 セクションで、Tunnel リソースグループを選択します。デフォルトでは、Public transport resources（MaxCompute の無料クォータ）が選択されます。

2. データを New table または Existing table に書き込むかどうかを選択します。

   1. 新しいテーブルにデータを書き込む場合は、ドロップダウンリストから 作成 を選択します。デフォルトでは、ソースと同じスキーマを持つテーブルが作成されます。送信先テーブルの名前およびスキーマを手動で変更できます。

   2. 既存のテーブルを使用する場合は、ドロップダウンリストから送信先テーブルを選択します。

3. （オプション）テーブルスキーマを編集します。

   テーブル名の横にある編集アイコンをクリックして、テーブルスキーマを編集します。上流ノードの出力に基づいてスキーマを自動生成するには、先祖ノードの出力列に基づいてテーブルスキーマを再生成します をクリックします。自動生成されたスキーマのカラムをプライマリキーとして選択できます。

4. フィールドマッピングの構成

1. システムは、同名マッピング ルールに基づき、ソースカラムを送信先テーブルカラムに自動マッピングします。必要に応じてマッピングを調整できます。1 つのソースカラムを複数の送信先テーブルカラムにマッピングできますが、複数のソースカラムを 1 つの送信先テーブルカラムにマッピングすることはできません。マッピングされていないソースカラムのデータは、送信先テーブルに書き込まれません。

2. （オプション）パーティションを構成します。

   1. Automatic Time-based Partitioning： 業務日時フィールド（本例では _timestamp）に基づいてデータをパーティション分割します。第 1 レベルのパーティションは年、第 2 レベルは月、以下同様です。

   2. Dynamic Partitioning By Field Value： ソースフィールドを送信先 MaxCompute テーブルのパーティションフィールドにマッピングします。これにより、ソースフィールドの値に基づいて、行が MaxCompute テーブルの適切なパーティションに書き込まれます。

1. アラートルールの追加

Add Alert ダイアログボックスで、Use Custom Rule または Use Public Alert Rule を選択します。Alert Name および Description を指定します。サポートされる通知方法には、Mail、SMS、Phone、DingTalk、webhook、Lark があります。On-call Schedule から受信者を選択するか、Others を指定できます。

（1）ルールの作成 をクリックして、アラートルールを構成します。

アラーム原因 を設定することで、ビジネスレイテンシー、Failover、タスクステータス、DDL 通知、タスクのリソース利用率 などのメトリックを監視できます。指定されたしきい値に基づいて、CRITICAL または WARNING アラートを設定できます。

• 通知方法を設定した後、詳細パラメータ設定 を使用して通知間隔を制御し、過剰なアラートを防止できます。

• ビジネスレイテンシー、タスクステータス、または タスクのリソース利用率 をアラート理由として選択した場合、タスクが正常状態に戻った際に受信者に通知する復旧通知を有効化できます。

（2）アラートルールの管理

作成済みのアラートルールについては、スイッチを使用して有効化または無効化できます。また、アラートレベルに基づいて異なる担当者にアラートを送信できます。

2. アラートの確認

タスクリストで目的のタスクを見つけ、その他 > アラーム設定 を選択します。その後、[アラートイベント] ページに移動して、過去のアラート情報を確認します。