Elasticsearch:logstash-input-maxcompute プラグインを使用する

前提条件

• logstash-input-maxcompute プラグインがインストールされていること。

  詳細については、「プラグインをインストールおよび削除する」をご参照ください。

• Alibaba Cloud MaxCompute がアクティブ化され、プロジェクトが作成され、プロジェクトのテーブルが作成され、データがテーブルにインポートされていること。

  詳細については、「準備」および「はじめに」をご参照ください。

logstash-input-maxcompute を使用する

前提条件が満たされたら、「構成ファイルを使用してパイプラインを管理する」に記載されている手順に従って、パイプラインを作成できます。パイプラインを作成するときは、「パラメーター」セクションの表の説明に基づいて、パイプラインパラメーターを構成します。パラメーターを構成したら、設定を保存してパイプラインをデプロイします。このようにして、Logstash をトリガーして MaxCompute からデータを読み取り、そのデータを宛先データソースに転送できます。

次のコードは、パイプライン構成の例を示しています。パラメーターの詳細については、「パラメーター」をご参照ください。

input {
    maxcompute {
        access_id => "Your accessId"  // アクセス ID
        access_key => "Your accessKey" // アクセスキー
        endpoint => "maxcompute service endpoint" // MaxCompute サービスエンドポイント
        project_name => "Your project" // プロジェクト名
        table_name => "Your table name" // テーブル名
        partition => "pt='p1',dt='d1'" // パーティション
        thread_num => 1 // スレッド数
        dirty_data_file => "/ssd/1/<Logstash cluster ID>/logstash/data/XXXXX.txt" // 処理失敗ログのファイルパス
    }
}

output {
    stdout {
        codec => rubydebug
    }
}

パラメーター