PolarDB:PolarDB ベースのグラフ分析：保険データ分析

グラフデータベースエンジンについて

グラフ分析は、データサイエンスの重要な分野です。グラフ構造を使用してデータを表し、さまざまな計算および分析タスクを実行します。グラフ構造は、ノード（または頂点）とエッジで構成され、ノードはエンティティを表し、エッジはエンティティ間の関係を表します。グラフコンピューティングは、ソーシャルネットワーク分析、レコメンデーションシステム、知識グラフ、パス最適化などの分野で一般的に使用されます。

PolarDB for PostgreSQL は Apache AGE と高度に互換性があり、知識グラフの保存とクエリをサポートしています。同じデータベースクラスタ内のデータを照会するために、標準 ANSI SQL と openCypher グラフクエリ言語の両方を使用できます。

• PolarDB for PostgreSQL と完全な互換性

  AGE は PolarDB for PostgreSQL の拡張機能です。データベースの再構築を必要とせずに、既存の PolarDB データベースで使用できます。 AGE は、トランザクションサポート、同時実行制御、さまざまなインデックス作成とパフォーマンス最適化機能など、PolarDB が提供するすべての機能を活用します。

• 統合されたグラフとリレーショナルクエリ

  AGE は、リレーショナルデータとグラフデータの同時処理を可能にします。単一のクエリで SQL とグラフクエリ言語の両方を使用できるため、複雑なデータモデルの処理が簡素化され、操作効率が向上します。

• Cypher クエリ言語のサポート

  AGE は、グラフデータベース向けに調整された Cypher クエリ言語をサポートしています。構文はシンプルで柔軟性があり、グラフデータのクエリと操作に対する直感的なアプローチを提供します。

• 高性能

  PolarDB が提供する最適化機能とグラフデータ向けに調整されたインデックスを組み合わせることで、AGE は大規模なグラフデータと複雑なグラフクエリを効率的に管理できます。

結論として、AGE が提供する機能に基づいて、PolarDB はグラフクエリを簡単かつ効率的に処理できます。

シナリオ

説明

保険金請求詐欺には、通常、保険会社が保有する患者、病気、請求に関するデータが関係します。請求申請、病気、その他の関連エンティティ間の関連性を分析することにより、異常な請求記録を特定し、潜在的な不正グループを明らかにすることができます。

データとモデル

データは、公開されている保険データセットに基づいています。データセットはこちらにあります。保険業界の基本的な要素が含まれています。データモデルは、次のグラフに抽象化できます。

• 頂点：保険契約者、担当者、請求、患者、病気。

• エッジ：has_disease、policyholder_of_claim、incharge_of_claim、insured_of_claim、similar_claim、policyholder_connection。

• プロパティ：名前、高リスク、リスクスコア、病名、類似性スコア、レベル、請求日、料金など。

ベストプラクティス

データベースの準備

1. 拡張機能を作成します。

   CREATE EXTENSION age;

2. データベースまたは検索パスに拡張機能を追加し、アカウントのライブラリをプリロードします。

   説明

   データ管理 (DMS) を使用して search_path を構成すると、互換性の問題が発生する可能性があります。そのような場合は、PolarDB-Tools を使用して関連する文を実行できます。

   ALTER DATABASE <dbname> SET search_path = public,ag_catalog;
   ALTER USER <username> SET search_path = public,ag_catalog;
   
   ALTER DATABASE <dbname> SET session_preload_libraries TO 'age';
   ALTER USER <username> SET session_preload_libraries TO 'age';

データインポート

1. create_graph 名前空間の ag_catalog 関数を使用してグラフを作成します。

   SELECT create_graph('graph');

2. 頂点とエッジを挿入します。ダウンロードしたデータファイルは CSV 形式であり、必要な ID 情報が含まれていません。データをインポートする前にファイルを変換してください。付録には、データを PolarDB でサポートされている頂点とエッジに変換するための Python スクリプトが用意されています。次の変換結果をご覧ください。

   • 保険契約者

     SELECT create_vlabel('graph','policyholder');
     SELECT * FROM cypher('graph', $$ CREATE (:policyholder {policyholder_id:'PH3068',fname:'ADAM',lname:'OCHSENBEIN',risk_score:'88',high_risk:'1'}) $$ ) as (n agtype);
     SELECT * FROM cypher('graph', $$ CREATE (:policyholder {policyholder_id:'PH3069',fname:'MALINDA',lname:'MEHSERLE',risk_score:'42',high_risk:'0'}) $$ ) as (n agtype);
     SELECT * FROM cypher('graph', $$ CREATE (:policyholder {policyholder_id:'PH3070',fname:'SANDRA',lname:'KUHTA',risk_score:'20',high_risk:'0'}) $$ ) as (n agtype);
     ...

   • 請求

     - vlabel を作成する
     SELECT create_vlabel('graph','claim');
     SELECT * FROM cypher('graph', $$ CREATE (:claim {claim_id:'C3571',charge:'6517.53',claim_date:'2013-08-11 00:00:00',duration:'13',insured_id:'28523',diagnosis:'no exception',person_incharge_id:'PI23070',type:'services',policyholder_id:'PH9507'}) $$ ) as (n agtype);
     SELECT * FROM cypher('graph', $$ CREATE (:claim {claim_id:'C3572',charge:'49273.65',claim_date:'2017-02-10 00:00:00',duration:'3',insured_id:'1220',diagnosis:'no exception',person_incharge_id:'PI21197',type:'services',policyholder_id:'PH406'}) $$ ) as (n agtype);
     SELECT * FROM cypher('graph', $$ CREATE (:claim {claim_id:'C3573',charge:'52005.98',claim_date:'2014-06-29 00:00:00',duration:'27',insured_id:'23735',diagnosis:'no exception',person_incharge_id:'PI22361',type:'services',policyholder_id:'PH7911'}) $$ ) as (n agtype);
     ...

   • 保険契約者と請求の間の関連付け

     SELECT * FROM cypher('graph', $$ MATCH (a:claim), (b:policyholder) WHERE a.claim_id = 'C1528' AND b.policyholder_id = 'PH2963' CREATE (a)-[e:RELTYPE  ]->(b) RETURN e$$) as (e agtype);
     SELECT * FROM cypher('graph', $$ MATCH (a:claim), (b:policyholder) WHERE a.claim_id = 'C1529' AND b.policyholder_id = 'PH1353' CREATE (a)-[e:RELTYPE  ]->(b) RETURN e$$) as (e agtype);
     SELECT * FROM cypher('graph', $$ MATCH (a:claim), (b:policyholder) WHERE a.claim_id = 'C1530' AND b.policyholder_id = 'PH1071' CREATE (a)-[e:RELTYPE  ]->(b) RETURN e$$) as (e agtype);
     SELECT * FROM cypher('graph', $$ MATCH (a:claim), (b:policyholder) WHERE a.claim_id = 'C1531' AND b.policyholder_id = 'PH8102' CREATE (a)-[e:RELTYPE  ]->(b) RETURN e$$) as (e agtype);
     SELECT * FROM cypher('graph', $$ MATCH (a:claim), (b:policyholder) WHERE a.claim_id = 'C1532' AND b.policyholder_id = 'PH4768' CREATE (a)-[e:RELTYPE  ]->(b) RETURN e$$) as (e agtype);
     ...

   変換された結果を SQL ファイルとして保存し、PostgreSQL クライアントなどのクライアントツールを使用してデータをインポートします。

例

シンプルなクエリ

SELECT 'policyholder_id' as type, policyholder_id FROM cypher('graph', $$
MATCH (:claim {claim_id: 'C4377'})-[]->(policyholder:policyholder)
RETURN policyholder.policyholder_id
$$) AS (policyholder_id agtype)
UNION
SELECT 'incharge_id', incharge_id FROM cypher('graph', $$
MATCH (:claim {claim_id: 'C4377'})-[]->(v:incharge)
RETURN v.incharge_id
$$) AS (incharge_id agtype)
UNION
SELECT 'patient_id', patient_id FROM cypher('graph', $$
MATCH (:claim {claim_id: 'C4377'})-[]->(v:patient)
RETURN v.patient_id
$$) AS (patient_id agtype);

      type       | policyholder_id 
-----------------+-----------------
 patient_id      | "11279"
 policyholder_id | "PH3759"
 incharge_id     | "PI26607"

一般的なシナリオ

SELECT *
FROM cypher('graph', $$                        
    MATCH path = (:policyholder {policyholder_id: 'PH3759'})-[r*1..3]->(:policyholder {policyholder_id: 'PH4722'})
    RETURN path
$$) AS (v agtype);

-------
 [{"id": 844424930136988, "label": "policyholder", "properties": {"fname": "KURTIS", "lname": "ALKEMA", "high_risk": "1", "risk_score": "78", "policyholder_id": "PH3759"}}::vertex, {"id": 2251799813685487, "label": "RELTYPE", "end_id": 844424930133473, "start_id": 844424930136988, "properties": {"level": "65"}}::edge, {"id": 844424930133473, "label": "policyholder", "properties": {"fname": "TERRA", "lname": "SWARB", "high_risk": "0", "risk_score": "25", "policyholder_id": "PH512"}}::vertex, {"id": 2251799813685546, "label": "RELTYPE", "end_id": 844424930138502, "start_id": 844424930133473, "properties": {"level": "62"}}::edge, {"id": 844424930138502, "label": "policyholder", "properties": {"fname": "VETA", "lname": "SEDLACK", "high_risk": "0", "risk_score": "31", "policyholder_id": "PH1569"}}::vertex, {"id": 2251799813685594, "label": "RELTYPE", "end_id": 844424930136281, "start_id": 844424930138502, "properties": {"level": "92"}}::edge, {"id": 844424930136281, "label": "policyholder", "properties": {"fname": "DEANNA", "lname": "BALSER", "high_risk": "0", "risk_score": "36", "policyholder_id": "PH4722"}}::vertex]::path

SELECT 'policyholder_id', policyholder_id FROM cypher('graph', $$
MATCH (:claim {claim_id: 'C4377'})-[]->(p:policyholder)<-[]-(:claim  {claim_id: 'C67594'})
RETURN p.policyholder_id
$$) AS (policyholder_id agtype);

    ?column?     | policyholder_id 
-----------------+-----------------
 policyholder_id | "PH3759"

結論

PolarDB for PostgreSQL と AGE 拡張機能が提供するグラフ分析機能を組み合わせて、グラフデータ分析を実行できます。PolarDB は、Cypher クエリ言語のサポートや効率的なグラフデータクエリ処理など、グラフデータの計算と分析機能を提供し、企業における集中型のデータ管理と分析を促進します。

無料トライアル

無料トライアルと特別オファー ページにアクセスし、PolarDB オプションを選択して、PolarDB for PostgreSQL が提供する GanosBase のグラフコンピューティング機能をお試しください。

付録

CSV データを変換するためのデータ変換スクリプト。

import csv
import os


def convert_vertex_csv(file_path, graph):
    file_name = os.path.splitext(os.path.basename(file_path))[0].lower()

    # vlabel を作成する
    print("------------------------------------------------")
    print("-- vlabel を作成する")
    print("SELECT create_vlabel('{}','{}');".format(graph, file_name))

    with open(file_path, 'r') as csvfile:
        reader = csv.reader(csvfile, delimiter=',')
        header = next(reader)
        for row in reader:
            p = ""
            for h in header:
                if p != "":
                    p += ","
                else:
                    p += "{"
                p += "{}:'{}'".format(h.lower(), row[header.index(h)].strip())
            if p != "":
               p += "}"
            print("SELECT * FROM cypher('{}', $$ CREATE (:{} {}) $$ ) as (n agtype);".format(graph, file_name, p))


def convert_edge_csv(file_path, graph, from_type, to_type):
    file_name = os.path.splitext(os.path.basename(file_path))[0].lower()

    with open(file_path, 'r') as csvfile:
        reader = csv.reader(csvfile, delimiter=',')
        header = next(reader)
        for row in reader:
            p = ""
            for h in header:
                if (h.endswith("ID")):
                    continue;

                if p != "":
                    p += ","
                else:
                    p += "{"
                p += "{}:'{}'".format(h.lower(), row[header.index(h)].strip())

            if p != "":
               p += "}"

            print("SELECT * FROM cypher('{0}', $$ MATCH (a:{1}), (b:{2}) WHERE a.{1}_id = '{3}' AND "
                  "b.{2}_id = '{4}' CREATE (a)-[e:RELTYPE {5} ]->(b) RETURN e$$) as (e agtype);".format(graph, from_type, to_type, row[0].strip(), row[1].strip(), p))


def generate_graph_csv(directory, graph):

    print("------------------------------------------------")
    print("-- グラフを作成する")
    print("SELECT create_graph('{}');".format(graph))

    print("------------------------------------------------")
    print("-- 頂点を作成する")
    convert_vertex_csv(directory + "/POLICYHOLDER.csv", graph)
    convert_vertex_csv(directory + "/INCHARGE.csv", graph)
    convert_vertex_csv(directory + "/PATIENT.csv", graph)
    convert_vertex_csv(directory + "/CLAIM.csv", graph)
    convert_vertex_csv(directory + "/DISEASE.csv", graph)

    print("------------------------------------------------")
    print("-- エッジを作成する")
    convert_edge_csv(directory + "/POLICYHOLDER_CONNECTION.csv", graph, 'policyholder','policyholder')
    convert_edge_csv(directory + "/INCHARGE_OF_CLAIM.csv", graph,'claim', 'incharge')
    convert_edge_csv(directory + "/CLAIM_SIMILARITY.csv", graph, 'claim','claim')
    convert_edge_csv(directory + "/POLICYHOLDER_OF_CLAIM.csv", graph,'claim', 'policyholder')
    convert_edge_csv(directory + "/INSURED_OF_CLAIM.csv", graph, 'claim','patient')
    convert_edge_csv(directory + "/HAS_DISEASE.csv", graph, 'patient','disease')


generate_graph_csv("analyzing-insurance-claims-using-ibm-db2-graph-master/data", "graph")