DataWorks:MaxCompute UDF を使用した IP の地理位置情報の特定

IP アドレスデータベースの準備

• サンプルデータベース： ipdata.csv。

• サンプルデータ構造：

  • データ形式は UTF-8 です。

  • 最初の 4 つのデータフィールドは、IP 範囲の開始アドレスと終了アドレスです。最初の 2 つは 10 進整数形式で、次の 2 つはドット区切り 10 進数形式です。

MaxCompute への IP アドレスデータベースのアップロード

1. MaxCompute テーブルの作成

   1. DataWorks コンソールの [ワークスペース] ページに移動します。上部のナビゲーションバーで、目的のリージョンを選択します。目的のワークスペースを見つけ、[操作] 列で [ショートカット] > [Data Studio] を選択します。

   2. [DataStudio] ページで、左側のナビゲーションウィンドウにある アイコンをクリックして [ワークスペースディレクトリ] に移動します。

   3. アイコンをクリックし、[ノードを作成] > [MaxCompute] > [MaxCompute SQL] を選択します。

   4. 名前を入力し、[OK] をクリックします。

   5. ノードエディターページで、次のコードを入力します。

      -- ipresource という名前のテーブルが既に存在する場合は、まず削除します。
      DROP TABLE IF EXISTS ipresource;
      -- IP アドレスデータベース情報を格納するテーブルを作成します。
      CREATE TABLE IF NOT EXISTS ipresource 
      (
          start_ip     BIGINT,   -- IP 範囲の開始アドレス (10 進整数形式)。
          end_ip       BIGINT,   -- IP 範囲の終了アドレス (10 進整数形式)。
          start_ip_arg STRING,   -- IP 範囲の開始アドレス (ドット区切り 10 進数文字列形式、例：「1.0.1.x」)。
          end_ip_arg   STRING,   -- IP 範囲の終了アドレス (ドット区切り 10 進数文字列形式、例：「1.0.3.x」)。
          country      STRING,   -- 国名。
          area         STRING,   -- エリア名 (通常は空か国名と同じ)。
          city         STRING,   -- 都市名 (一部のデータでは省の場合があります)。
          county       STRING,   -- 地区/郡名。
          isp          STRING    -- インターネットサービスプロバイダー (例：China Telecom、China Unicom、China Mobile)。
      );

   6. [データソースを選択] ドロップダウンリストで、バインドした MaxCompute 計算リソースを選択します。

   7. [実行期間] をクリックして結果を確認します。

2. テーブルへのデータアップロード

   1. 左上隅の アイコンをクリックします。表示されたページで、[すべての製品] > [データ統合] > [アップロード/ダウンロード] をクリックします。

   2. 左のナビゲーションウィンドウで アイコンをクリックします。

   3. [データをアップロード] をクリックします。次の表の説明に従ってパラメーターを設定します。

      パラメーター		説明
      [アップロードするデータを指定]	[ファイルを選択]	ipdata.csv ファイルをアップロードします。
      [宛先テーブルを設定]	コンピュートエンジン	MaxCompute
      	MaxCompute プロジェクト名	ターゲットの MaxCompute プロジェクトを選択します。
      	宛先テーブル	ipresource テーブルを選択します。 重要 新しく作成したテーブルがリストにない場合は、[データマップ] > [マイデータ] > [テーブルメタデータを更新] に移動し、odps.<project_name>.ipresource のメタデータを手動でリフレッシュします。
      リソースグループ		準備したサーバーレスリソースグループを選択します。
      [アップロードファイルのデータをプレビュー]		.csv ファイル内のデータを ipresource テーブルのフィールドにマップするには、[順序によるマッピング] をクリックします。

   4. [データをアップロード] をクリックします。

3. データアップロードの確認

   [Data Studio] ページの MaxCompute SQL ノードエディターに戻り、次の SQL クエリを実行します。データ行数とサンプルデータが表示された場合、アップロードは成功です。

   -- テーブルのデータ行数をクエリします。
   SELECT COUNT(*) FROM ipresource;
   -- 最初の 10 行のデータをプレビューします。
   SELECT * FROM ipresource limit 10;

UDF の開発

SQL で IP アドレスの地理位置情報を検索するには、ドット区切り 10 進数形式の IP 文字列 (例：'1.0.2xx.4x') を比較可能な 10 進整数に変換する UDF が必要です。

1. [Data Studio] ページで、[Resource Management] アイコン をクリックします。

2. MaxCompute Python リソースの作成

   1. [リソース管理] ページで、 アイコンをクリックし、[リソースの作成] > [MaxCompute Python] を選択します。

   2. ダイアログボックスで、mc.py などの名前を入力し、[OK] をクリックします。

   3. ローカルファイルの mc.py を [ファイルコンテンツ] にアップロードし、[データソース] をバインドした計算リソースに設定します。

   4. ツールバーで、[保存] と [公開] をクリックします。

3. MaxCompute UDF の作成

   1. [Resource Management] ページで、 アイコンをクリックし、[Create Function] > [MaxCompute Function] を選択します。

   2. ダイアログボックスで、ip2int などの名前を入力し、[OK] をクリックします。これは UDF 名となり、作成後に変更することはできません。

   3. エディターページで、パラメーターを設定します。主要なパラメーターは以下のとおりです。

      詳細については、「MaxCompute のリソースと関数」をご参照ください。

      パラメーター	説明
      機能タイプ	デフォルト設定の [OTHER] のままにします。
      [データソース]	ワークスペースにバインドされている計算リソースを選択します。
      [クラス名]	UDF を実装するメインクラスです。例：mc.IPtoInt。
      [リソース]	前のステップのリソースファイル mc.py を選択します。

   4. ツールバーで、[保存] と [公開] をクリックします。

SQL を使用した IP の地理位置情報の検索

1. MaxCompute SQL ノードエディターに戻ります。次の SQL クエリを実行します。

   -- クエリしたい実際の IP アドレスに置き換えてください。
   SELECT * FROM ipresource
   WHERE ip2int('1.0.2xx.4x') >= start_ip
   AND ip2int('1.0.2xx.4x') <= end_ip;

2. [データソースを選択] ドロップダウンリストで、バインドした MaxCompute 計算リソースを選択します。

3. [実行期間] をクリックすると、IP アドレスの場所を確認できます。