DataWorks:MaxCompute UDF を使用して IP の地理位置情報を検索する

IP アドレスデータベースの準備

• サンプルデータベース: ipdata.csv。

• サンプルデータ構造:

  • データ形式は UTF-8 です。

  • 最初の 4 つのデータフィールドは、IP 範囲の開始アドレスと終了アドレスです。最初の 2 つは 10 進整数形式で、次の 2 つはドット区切り 10 進数形式です。

IP アドレスデータベースを MaxCompute にアップロードする

1. テーブルの作成

   1. DataStudio ページに移動します。

      DataWorks コンソール にログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[データ開発と O&M] > [データ開発] を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[データ開発へ] をクリックします。

   2. [DataStudio] ページで、ターゲットビジネスフローを右クリックし、[ノードの作成] > [MaxCompute] > [ODPS SQL] を選択します。

   3. ダイアログボックスで、[エンジンインスタンス] に準備した計算リソースを選択し、名前を入力して、[確認] をクリックします。

   4. ノードエディターページで、次のコードを入力します。

      -- ipresource という名前のテーブルが既に存在する場合は、最初に削除します。
      DROP TABLE IF EXISTS ipresource;
      -- IP アドレスを格納するテーブルを作成します。
      CREATE TABLE IF NOT EXISTS ipresource 
      (
          start_ip     BIGINT,   -- IP 範囲の開始アドレス (10 進整数形式)。
          end_ip       BIGINT,   -- IP 範囲の終了アドレス (10 進整数形式)。
          start_ip_arg STRING,   -- IP 範囲の開始アドレス (ドット区切り 10 進数文字列形式、"1.0.1.x" など)。
          end_ip_arg   STRING,   -- IP 範囲の終了アドレス (ドット区切り 10 進数文字列形式、"1.0.3.x" など)。
          country      STRING,   -- 国名。
          area         STRING,   -- エリア名 (通常は空または国と同じ)。
          city         STRING,   -- 都市名 (一部のデータでは省の場合があります)。
          county       STRING,   -- 地区/郡名。
          isp          STRING    -- インターネットサービスプロバイダー (China Telecom、China Unicom、China Mobile など)。
      );

   5. アイコンをクリックしてコードを実行します。[パラメーター] ダイアログボックスで、バインドしたサーバーレスリソースグループを選択し、[実行] をクリックします。[MaxCompute 計算コストの見積もり] が完了するのを待ってから、[実行] をクリックします。

2. テーブルへのデータのアップロード

   1. 左上隅の アイコンをクリックします。表示されたページで、[すべての製品] > [Data Integration] > [アップロードとダウンロード] をクリックします。

   2. 左のナビゲーションウィンドウで アイコンをクリックします。

   3. [データのアップロード] をクリックします。次の表の説明に従ってパラメーターを設定します。

      パラメーター		説明
      アップロードするデータの指定	ファイルの選択	ipdata.csv ファイルをアップロードします。
      宛先テーブルの設定	計算エンジン	MaxCompute
      	MaxCompute プロジェクト名	ターゲットの MaxCompute プロジェクトを選択します。
      	宛先テーブル	ipresource テーブルを選択します。 重要 新しく作成したテーブルがリストにない場合は、[データマップ] > [マイデータ] > [テーブルメタデータの更新] に移動し、odps.<project_name>.ipresource のメタデータを手動で更新します。
      リソースグループ		準備したサーバーレスリソースグループを選択します。
      アップロードされたファイルのデータのプレビュー		[順序によるマッピング] をクリックして、.csv ファイル内のデータを ipresource テーブルのフィールドにマッピングします。

   4. [データのアップロード] をクリックします。

3. データがアップロードされたことの確認

   [DataStudio] ページの ODPS SQL ノードエディターに戻ります。次の SQL クエリを実行します。データ行数とサンプルデータが表示されれば、アップロードは成功です。

   -- テーブル内のデータ行数をクエリします。
   SELECT COUNT(*) FROM ipresource;
   -- 最初の 10 行のデータをプレビューします。
   SELECT * FROM ipresource limit 10;

UDF の開発

SQL で IP アドレスの地理位置情報を検索するには、ドット区切り 10 進数 IP 文字列 ('1.0.2xx.4x' など) を比較可能な 10 進整数に変換する UDF が必要です。

1. MaxCompute Python リソースの作成

   1. [DataStudio] ページで、ターゲットビジネスフローを右クリックし、[リソースの作成] > [MaxCompute] > [Python] を選択します。

   2. ダイアログボックスで、mc.py などの名前を入力します。[MaxCompute にアップロード] を選択し、[作成] をクリックします。

   3. ノードエディターページで、次のコードを入力します。

      from functools import reduce
      from odps.udf import annotate
      
      @annotate("string->bigint")
      class IPtoInt(object):
          def evaluate(self, ip):
              try:
                  return reduce(lambda x, y: (x << 8) + y, map(int, ip.split('.')))
              except:
                  return 0

   4. アイコンをクリックします。

2. MaxCompute UDF の作成

   1. [DataStudio] ページで、ターゲットビジネスフローを右クリックし、[関数の作成] > [MaxCompute] > [関数] を選択します。

   2. ダイアログボックスで、ip2int などの名前を入力し、[作成] をクリックします。これは UDF 名となり、作成後は変更できません。

   3. エディターページで、パラメーターを設定します。主要なパラメーターは以下のとおりです。

      パラメーターの詳細については、「MaxCompute 関数を登録する」をご参照ください。

      パラメーター	説明
      関数タイプ	デフォルト設定の [その他の関数] のままにします。
      クラス名	UDF を実装するメインクラス。値の例: mc.IPtoInt。 説明 リソースタイプが Python の場合、クラス名の形式は Python リソース名.クラス名 です (リソース名の .py は不要です)。
      リソース	前のステップのリソースファイル mc.py を選択します。

   4. アイコンをクリックして関数を保存します。

   5. アイコンをクリックします。ダイアログボックスで、変更内容の説明を入力し、[確認] をクリックします。

SQL を使用した IP の地理位置情報の検索

1. ODPS SQL ノードエディターに戻ります。次の SQL クエリを実行します。

   -- これをクエリしたい実際の IP アドレスに置き換えます。
   SELECT * FROM ipresource
   WHERE ip2int('1.0.2xx.4x') >= start_ip
   AND ip2int('1.0.2xx.4x') <= end_ip;

2. アイコンをクリックしてコードを実行します。[パラメーター] ダイアログボックスで、バインドしたサーバーレスリソースグループを選択し、[実行] をクリックします。[MaxCompute 計算コストの見積もり] が完了するのを待ってから、[実行] をクリックします。

3. 実行結果を表示します。IP アドレスの場所を見つけることができます。