Simple Log Service:MySQLバイナリログの収集 (非推奨)

原則

特徴

• バイナリログは段階的に収集できます。 これにより、データベースで実行される更新操作に関連するデータを収集できます。 MySQLプロトコルを使用するリレーショナルデータベースサービス (RDS) データベースなど、MySQLデータベースがサポートされます。

• データベース内のデータをフィルタリングする複数の方法が提供される。

• バイナリログチェックポイントを設定できます。

• チェックポイントを使用して、データストレージのステータスを同期できます。

制限事項

• Logtail V1.0.31以降は、MySQL 8.0データベースからバイナリログを収集できます。

• MySQLデータベースに対してバイナリログ機能を有効にし、データベースに対してbinlog_formatパラメーターをROWに設定する必要があります。 デフォルトでは、この機能はRDSデータベースに対して有効になっています。

  # Check whether the binary logging feature is enabled.
  mysql> show variables like "log_bin";
  +---------------+-------+
  | Variable_name | Value |
  +---------------+-------+
  | log_bin       | ON    |
  +---------------+-------+
  1 row in set (0.02 sec)
  # View the format of binary logs.
  mysql> show variables like "binlog_format";
  +---------------+-------+
  | Variable_name | Value |
  +---------------+-------+
  | binlog_format | ROW   |
  +---------------+-------+
  1 row in set (0.03 sec)

• Logtailが動作するセカンダリMySQLノードのIDは、データベースに対して一意である必要があります。

• RDSデータベースの制限:

  • RDSインスタンスをホストするサーバーにLogtailをインストールすることはできません。 インスタンスに接続できるサーバーにLogtailをインストールする必要があります。

  • セカンダリRDSデータベースからバイナリログを収集することはできません。 バイナリログを収集するようにプライマリRDSデータベースを設定する必要があります。

• データベースバージョンのアップグレード、テーブルスキーマの変更、ディスクの変更などの操作により、データの同期が中断される場合があります。 データ同期が中断された場合は、Logtailのチェックポイントディレクトリを削除し、Logtailを再起動して問題を解決できます。 問題が解決しない場合は、DataWorksまたはFlinkを使用してデータを収集することを推奨します。 デフォルトのチェックポイントディレクトリは /etc/ilogtail/checkpointです。

シナリオ

使用上の注意

Logtailのリソース使用量の制限を緩和して、トラフィックの急増に対処し、データリスクを軽減することを推奨します。 制限を超えると、Logtailが強制的に再起動される可能性があります。

/usr/local/ilogtail/ilogtail_config.jsonファイルの関連パラメーターを変更できます。 詳細については、「Logtailの起動パラメーターの設定」をご参照ください。

{
    ...
    "cpu_usage_limit":2,
    "mem_usage_limit":2048,

    ...
}

データの信頼性

Logtail構成の作成

1. にログインします。Simple Log Serviceコンソール.

2. [データのインポート] セクションで、[MySQL BinLog - Plug-In] をクリックします。

3. プロジェクトとLogstoreを選択します。 そして、[次へ] をクリックします。

4. マシングループを作成します。

   • マシングループが利用可能な場合は、[既存のマシングループを使用] をクリックします。

   • 使用可能なマシングループがない場合は、次の手順を実行してマシングループを作成します。 この例では、Elastic Compute Service (ECS) インスタンスが使用されています。

     1. [ECSインスタンス] タブで、[手動でインスタンスを選択] を選択します。 次に、使用するECSインスタンスを選択し、[作成] をクリックします。

        詳細については、「ECSインスタンスへのLogtailのインストール」をご参照ください。

        重要

        Log Serviceとは異なるAlibaba Cloudアカウント、データセンター内のサーバー、またはサードパーティのクラウドサービスプロバイダーのサーバーに属するECSインスタンスからログを収集する場合は、Logtailを手動でインストールする必要があります。 詳細については、「LinuxサーバーにLogtailをインストールする」または「WindowsサーバーにLogtailをインストールする」をご参照ください。

        Logtailを手動でインストールした後、サーバーのユーザー識別子を設定する必要があります。 詳細については、「ユーザー識別子の設定」をご参照ください。

     2. Logtailをインストールしたら、[インストールの完了] をクリックします。

     3. [マシングループの作成] ステップで、[名前] パラメーターを設定し、[次へ] をクリックします。

        Log Serviceでは、IPアドレスベースのマシングループとカスタム識別子ベースのマシングループを作成できます。 詳細については、「IPアドレスベースのマシングループの作成」および「カスタム識別子ベースのマシングループの作成」をご参照ください。

5. [応用サーバーグループ] セクションにマシングループが表示されていることを確認し、[次へ] をクリックします。

   重要

   マシングループを作成した直後にマシングループを適用すると、マシングループのハートビートステータスがFAILになる可能性があります。 この問題は、マシングループがSimple Log Serviceに接続されていないために発生します。 この問題を解決するには、[自動再試行] をクリックします。 問題が解決しない場合は、Logtailでハートビート接続が検出されない場合はどうすればよいですか?

6. データソースを指定し、次へ.

   JSONのフォーム設定またはエディター設定を使用して、データソースを指定できます。 詳細は、「Logtail設定の詳細」をご参照ください。

7. データをプレビューし、インデックスを設定し、[次へ] をクリックします。

   デフォルトでは、Log Serviceでフルテキストインデックスが有効になっています。 手動モードまたは自動モードで収集したログに基づいてフィールドインデックスを設定することもできます。 自動モードでフィールドインデックスを設定するには、[自動インデックス生成] をクリックします。 これにより、Log Serviceは自動的にフィールドインデックスを作成します。 詳細については、「インデックスの作成」をご参照ください。

   重要

   ログをクエリおよび分析する場合は、フルテキストインデックス作成またはフィールドインデックス作成を有効にする必要があります。 フルテキストインデックスとフィールドインデックスの両方を有効にすると、フィールドインデックスのみが使用されます。

8. [ログクエリ] をクリックします。 Logstoreのクエリと分析ページにリダイレクトされます。

   インデックスが有効になるまで約1分待つ必要があります。 次に、収集したログを [生ログ] タブで表示できます。 詳細については、「ログの照会と分析」をご参照ください。

Logtail設定の詳細

JSONのフォーム設定またはエディター設定を使用して、データソースを指定できます。

Logtailサーバーの設定を変更する

Logtail設定を作成したときに、[プラグイン設定] フィールドにホスト、ユーザー、パスワードなどのパラメーターの実際の情報を入力しなかった場合、Logtail設定がLogtailサーバーに配信された後にパラメーターを変更できます。

1. Logtailがインストールされているサーバーにログオンします。

2. を開きます。Open the/usr/local/ilogtail/user_log_config.jsonファイルを検索し、service_canalなどのパラメータを変更します。ホスト,ユーザー、およびパスワード.

3. 次のコマンドを実行してLogtailを再起動します。

   sudo /etc/init.d/ilogtaild stop; sudo /etc/init.d/ilogtaild start

トラブルシューティング

Logtailを使用してログを収集した後、プレビューページまたはクエリページにデータが表示されない場合は、Logtailを使用してログを収集するときにエラーが発生した場合はどうすればよいですか?

サンプルデータベースのテーブルとログ

たとえば、INSERT、UPDATE、およびDELETE操作は、user_infoという名前のデータベース内のspecialalarmという名前のテーブルに対して実行されます。 次の一覧では、テーブルのスキーマ、テーブルで実行される操作、および収集されたログについて説明します。

• テーブルのスキーマ

  CREATE TABLE `specialalarm` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `time` datetime NOT NULL,
  `alarmtype` varchar(64) NOT NULL,
  `ip` varchar(16) NOT NULL,
  `count` int(11) unsigned NOT NULL,
  PRIMARY KEY (`id`),
  KEY `time` (`time`) USING BTREE,
  KEY `alarmtype` (`alarmtype`) USING BTREE
  ) ENGINE=MyISAM AUTO_INCREMENT=1;

• データベース操作

  INSERT、DELETE、およびUPDATE操作を実行します。

  insert into specialalarm (`time`, `alarmType`, `ip`, `count`) values(now(), "NO_ALARM", "10.10.**.***", 55);
  delete from specialalarm where id = 4829235  ;
  update specialalarm set ip = "10.11.***.**" where id = "4829234";

  zc.specialalarmインデックスを作成します。

  ALTER TABLE `zc`.`specialalarm` 
  ADD INDEX `time_index` (`time` ASC);

• 収集されたログ

  Logtail設定で指定されたLogstoreのクエリおよび分析ページで、各操作で収集されたログを表示できます。 例：

  • INSERTステートメント

    __source__:  10.30.**.**  
    __tag__:__hostname__:  iZbp145dd9fccu*****  
    __topic__:    
    _db_:  zc  
    _event_:  row_insert  
    _gtid_:  7d2ea78d-b631-11e7-8afb-00163e0eef52:536  
    _host_:  *********.mysql.rds.aliyuncs.com  
    _id_:  113  
    _table_:  specialalarm  
    alarmtype:  NO_ALARM  
    count:  55  
    id:  4829235  
    ip:  10.10.***.***  
    time:  2017-11-01 12:31:41

  • DELETEステートメント

    __source__:  10.30.**.**  
    __tag__:__hostname__:  iZbp145dd9fccu****
    __topic__:    
    _db_:  zc  
    _event_:  row_delete  
    _gtid_:  7d2ea78d-b631-11e7-8afb-00163e0eef52:537  
    _host_:  *********.mysql.rds.aliyuncs.com  
    _id_:  114  
    _table_:  specialalarm  
    alarmtype:  NO_ALARM  
    count:  55  
    id:  4829235  
    ip:  10.10.**.***
    time:  2017-11-01 12:31:41

  • UPDATEステートメント

    __source__:  10.30.**.**  
    __tag__:__hostname__:  iZbp145dd9fccu****  
    __topic__:    
    _db_:  zc  
    _event_:  row_update  
    _gtid_:  7d2ea78d-b631-11e7-8afb-00163e0eef52:538  
    _host_:  *********.mysql.rds.aliyuncs.com  
    _id_:  115  
    _old_alarmtype:  NO_ALARM  
    _old_count:  55  
    _old_id:  4829234  
    _old_ip:  10.10.22.133  
    _old_time:  2017-10-31 12:04:54  
    _table_:  specialalarm  
    alarmtype:  NO_ALARM  
    count:  55  
    id:  4829234  
    ip:  10.11.***.***
    time:  2017-10-31 12:04:54

  • DDLステートメント

    __source__:  10.30.**.**  
    __tag__:__hostname__:  iZbp145dd9fccu****  
    __topic__:    
    _db_:  zc  
    _event_:  row_update  
    _gtid_:  7d2ea78d-b631-11e7-8afb-00163e0eef52:539  
    _host_:  *********.mysql.rds.aliyuncs.com  
    ErrorCode:  0
    ExecutionTime:  0
    Query:  ALTER TABLE `zc`.`specialalarm` 
    ADD INDEX `time_index` (`time` ASC)
    StatusVars:

  項目	説明
  _host_	データベースのホスト名。
  _db_	データベースの名前。
  _テーブル_	テーブルの名前。
  _event_	イベントのタイプ。
  _id_	自動インクリメントID。 IDは0から始まり、バイナリログイベントのデータが収集されるたびに1ずつ増加します。
  _gtid_	GTID。
  _filename_	バイナリログファイルの名前。
  _offset_	バイナリログファイルのオフセット。 値は、COMMIT操作が実行された場合にのみ更新されます。