PolarDB：基於PolarDB的圖分析：銀行金融領域圖分析實踐

資料統計

• 統計各種類型節點數量。

  SELECT *
  FROM cypher('fraud_graph', $$
      MATCH (n)
      RETURN count(*)
  $$) as (number_of_vertex agtype);

  返回結果如下：

   number_of_vertex
  ----
   1076004

• 統計transaction節點數量。

  SELECT *
  FROM cypher('fraud_graph', $$
      MATCH (n:transaction)
      RETURN count(*)
  $$) as (number_of_transaction agtype);

  返回結果如下：

  number_of_transaction 
  ----
  545591

• 資料中標識為欺詐交易的數量。

  SELECT *
  FROM cypher('fraud_graph', $$
      MATCH (n:transaction)
      WHERE n.isfraud = 1
      RETURN count(*)
  $$) as (number_of_fraud_transaction agtype);

  返回結果如下：

  number_of_fraud_transaction 
  ----
   18919

• 統計邊數量。

  SELECT *
  FROM cypher('fraud_graph', $$
      MATCH ()-[r]->()
      RETURN count(*)
  $$) as (number_of_edge agtype);

  返回結果如下：

  number
  ------
   2131254

過濾查詢、排序查詢

查詢ID為2988706的交易資訊及所有的關聯資訊。

SELECT *
FROM cypher('fraud_graph', $$
    MATCH (n:transaction)-[r]->(v)
    WHERE n.transactionid = 2988706
    RETURN v
$$) as (e agtype);

返回結果如下：

    e
---------
 {"id": 2251799813685249, "label": "addr2", "properties": {"addr2": "87.0"}}::vertex
 {"id": 2533274790395906, "label": "emaildomain", "properties": {"emaildomain": "gmail.com"}}::vertex
 {"id": 2533274790395906, "label": "emaildomain", "properties": {"emaildomain": "gmail.com"}}::vertex
 {"id": 1970324836974595, "label": "addr1", "properties": {"addr1": "325.0"}}::vertex
 {"id": 1125899906844295, "label": "product", "properties": {"productid": 137934}}::vertex

在視覺化檢視age-viewer中使用該SQL預覽結果如下：

K階鄰居

K階鄰居（k-nearest neighbors，KNN）方法利用資料節點之間的相似性，來識別潛在的欺詐行為。K階鄰居可以協助評價資料節點之間的相似性。通過尋找與該資料節點特徵相似的K個鄰居，可以判斷該節點是否正常。例如，一個交易如果與大多數鄰居（交易節點）在金額、地點、時間等特徵上存在顯著差異，可能會被標記為可疑。

查詢和交易記錄2988706有相同地址的其他交易（2階鄰居）記錄。後續可以根據這些鄰居的相關資訊來對這個交易的可疑性進行判別。

SELECT *
FROM cypher('fraud_graph', $$
    MATCH (n:transaction)-[:transaction_addr1]->(:addr1)<-[:transaction_addr1]-(t:transaction)
    WHERE n.transactionid = 2988706
    RETURN t
$$) as (e agtype);

返回結果如下：

  e
-----
 {"id": 844424930131972, "label": "transaction", "properties": {"isfraud": 0, "transactionid": 2987001}}::vertex
 {"id": 844424930131978, "label": "transaction", "properties": {"isfraud": 0, "transactionid": 2987007}}::vertex
 {"id": 844424930132041, "label": "transaction", "properties": {"isfraud": 0, "transactionid": 2987070}}::vertex
 {"id": 844424930132053, "label": "transaction", "properties": {"isfraud": 0, "transactionid": 2987082}}::vertex
....

在視覺化檢視age-viewer中使用以下SQL預覽結果：

SELECT *
FROM cypher('fraud_graph', $$
    MATCH (n:transaction)-[r:transaction_addr1]->(a:addr1)<-[r2:transaction_addr1]-(t:transaction)
    WHERE n.transactionid = 2988706
    RETURN [n,r,a,r2,t]::path
    LIMIT 50
$$) as (e agtype);

路徑檢索

在欺詐交易識別中，路徑的概念主要體現在利用圖論和網路分析的方法來識別潛在的欺詐行為。在金融交易和網路中，交易往往可以視為一個圖，節點代表賬戶或客戶，邊代表交易活動。通過分析這個圖的結構，可以發現一些異常模式和欺詐行為。通過計算交易之間的路徑，可以快速識別從一個可疑賬戶到其他賬戶的交易鏈，有助於揭示看似不相關的賬戶之間的隱秘聯絡。

查詢交易記錄2987000和交易記錄2987172基於某個虛假交易的關聯路徑，從兩個看似沒有直接關係的交易中找出關聯的所有虛假交易鏈路。

SELECT *
FROM cypher('fraud_graph', $$
    MATCH (n:transaction)-[r]->(v)<-[r1]-(t:transaction)-[r2]->(v2)<-[r3]-(k:transaction)
    WHERE n.transactionid = 2987000 
        and k.transactionid=2987172
        and t.isfraud = 1
    RETURN t 
$$) as (e agtype);

返回結果如下：

 e
----
 {"id": 844424930618281, "label": "transaction", "properties": {"isfraud": 1, "transactionid": 3473312}}::vertex
 {"id": 844424930626886, "label": "transaction", "properties": {"isfraud": 1, "transactionid": 3481917}}::vertex
 {"id": 844424930649640, "label": "transaction", "properties": {"isfraud": 1, "transactionid": 3504671}}::vertex
 {"id": 844424930631805, "label": "transaction", "properties": {"isfraud": 1, "transactionid": 3486836}}::vertex
 {"id": 844424930641980, "label": "transaction", "properties": {"isfraud": 1, "transactionid": 3497011}}::vertex
 {"id": 844424930644942, "label": "transaction", "properties": {"isfraud": 1, "transactionid": 3499973}}::vertex

在視覺化檢視age-viewer中使用以下SQL預覽結果：

SELECT *
FROM cypher('fraud_graph', $$
    MATCH (n:transaction)-[r]->(v)<-[r1]-(t:transaction)-[r2]->(v2)<-[r3]-(k:transaction)
    WHERE n.transactionid = 2987000 
        and k.transactionid=2987172
        and t.isfraud = 1
    RETURN [n,r,v,r1,t,r2,v2,r3,k]::path
    LIMIT 50
$$) as (e agtype);

共同鄰居

在欺詐交易識別中，共同鄰居判斷（Common Neighbor Judgment）是一種基於社交網路或交易網路分析的技術，用於識別可能的欺詐行為。該方法主要基於圖論的基礎，通過分析交易參與者之間的關係網路，尋找可能的可疑交易模式。如果兩個交易有多個共同鄰居，而這些鄰居在交易行為上存在異常（例如高頻率的交易、異常金額等），則這兩個交易者之間的交易可能存在欺詐風險。

查詢交易記錄2987000和交易記錄2987172的共同鄰居，從而找到具備相同屬性（地址、裝置）的交易記錄。

SELECT *
FROM cypher('fraud_graph', $$
    MATCH (n:transaction)-[]->(v)<-[]-(t:transaction)
    WHERE n.transactionid = 2987000 and t.transactionid=2987172
    RETURN v
$$) as (e agtype);

返回結果如下：

  e
-----
 {"id": 2251799813685249, "label": "addr2", "properties": {"addr2": "87.0"}}::vertex
 {"id": 1970324836974594, "label": "addr1", "properties": {"addr1": "315.0"}}::vertex

在視覺化檢視age-viewer中使用該SQL預覽結果如下：

Jaccard相似性

Jaccard相似性用于衡量兩個集合之間的相似性，其公式為：

$$J(A,B)=\frac{|A\cap B|}{|A\cup B|}$$

其中：

• J(A,B)是集合A和B的Jaccard相似性。

• ∣A∩B∣是集合A和B的交集。

• ∣A∪B∣是集合A和B的並集。

在欺詐識別中，Jaccard相似性可以有多種用途，如：

• 模式識別：欺詐行為往往表現出一些共性特徵。通過計算使用者交易或行為的Jaccard相似性，可以識別出相似的交易模式，從而協助檢測潛在的欺詐活動；

• 客戶群體分析：在分析客戶的行為時，可以利用Jaccard相似性來比較不同客戶之間的相似性。相似性較高的客戶可能存在相似的風險特徵。

在本樣本中，兩個交易可以根據其關聯的地址，郵箱以及地址等資訊計算其Jaccard相似性，如果關聯的資訊重疊度很大，則說明交易的相似性很高。

1. 建立以下函數。

   • 用於擷取特定交易的所有關聯節點，返回所有點的ID數組。

     CREATE OR REPLACE FUNCTION find_ids(transactionid integer)
     RETURNS bigint[]
     LANGUAGE plpgsql
     AS $function$
     DECLARE 
         sql VARCHAR;
         ids bigint[];
     BEGIN
       sql := 'SELECT array_agg(cast(e as bigint)) FROM (
     SELECT *
     FROM cypher(''fraud_graph'', $$
     MATCH (n:transaction)-[]->(v)
         WHERE n.transactionid = ' || text($1) || 
     'RETURN id(v) 
     $$) as (e agtype)) as t;';
         EXECUTE sql INTO ids;
         return ids;
     END
     $function$;

   • 兩個函數，用於對數組進行Union和Intersection的操作。

     CREATE OR REPLACE FUNCTION array_union(anyarray, anyarray)
     RETURNS anyarray 
     LANGUAGE sql immutable 
     AS $$
     SELECT array_agg(a ORDER BY a)
     FROM (
         SELECT DISTINCT unnest($1 || $2) AS a
     ) s;
     $$;
     
     CREATE OR REPLACE FUNCTION array_intersection(anyarray, anyarray)
     RETURNS anyarray 
     LANGUAGE sql immutable 
     AS $$
     SELECT array_agg(e)
     FROM (
         SELECT unnest($1)
         INTERSECT
         SELECT unnest($2)
     ) AS dt(e)
     $$;

   • 用於計算兩個交易的Jaccard相似性。

     CREATE OR REPLACE FUNCTION jaccardSimilarity(tid1 integer, tid2 integer)
     RETURNS float8
     LANGUAGE plpgsql
     AS $function$
     DECLARE 
         sql VARCHAR;
         ids1 bigint[];
         ids2 bigint[];
         union_list bigint[];
         intersection_list bigint[];
     BEGIN
       ids1 = find_ids($1);
       ids2 = find_ids($2);
       union_list = array_union(ids1, ids2); -- union
       intersection_list = array_intersection(ids1, ids2); -- intersection
       RETURN 
         CASE 
             WHEN array_length(union_list,1) = 0 THEN 0
             ELSE array_length(intersection_list,1) * 1.0/ array_length(union_list,1) 
         END AS jaccardSimilarity;
     END
     $function$;

2. 執行函數進行Jaccard相似性計算。

   • 對指定的兩個交易ID進行相似性對比：

     SELECT jaccardSimilarity(2987000, 2987172);

     返回結果如下：

     jaccardsimilarity 
     ----
      0.4

3. 如果需要對所有的交易進行相似性對比，可以充分利用PolarDB的預存程序能力，完成更為複雜的相似性計算任務，從而滿足檢測欺詐交易的需求。

   例如，可以使用以下SQL找出與交易2987002具有相同地址1、地址2和郵箱網域名稱的所有交易並按照jaccard相似性進行排序，找出相似性最大的50個交易：

   WITH tmp AS
   (SELECT cast(e as integer) as transactionid
   FROM cypher('fraud_graph', $$
       MATCH (n:transaction)-[:transaction_addr2]->(:addr2)<-[:transaction_addr2]-(t:transaction)
       WHERE n.transactionid = 2987002
       MATCH (n:transaction)-[:transaction_addr1]->(:addr1)<-[:transaction_addr1]-(t:transaction)
       WHERE n.transactionid = 2987002 
       MATCH (n:transaction)-[:transaction_emaildomain_p]->(:emaildomain)<-[:transaction_emaildomain_p]-(t:transaction)
       WHERE n.transactionid = 2987002 
       RETURN t.transactionid
   $$) as (e agtype) )
   SELECT transactionid, jaccardSimilarity(2987002, transactionid) as jaccardSimilarity
   FROM tmp
   ORDER by jaccardSimilarity DESC
   LIMIT 50;

   返回結果如下：

    transactionid | jaccardsimilarity 
   ---------------+-------------------
          3323911 |               0.6
          3328911 |               0.6
          3009043 |               0.6
          3039416 |               0.6
          3039425 |               0.6
          2993652 |               0.6
          3045027 |               0.6
          3037644 |               0.6
          3045041 |               0.6
   ...

   在視覺化檢視age-viewer中使用以下SQL預覽結果如下（結果已在之前的計算中完成，現僅取前10項。如有需要，您可以自行將其放入list中）：

   SELECT * 
   FROM cypher('fraud_graph', $$
       MATCH (n:transaction)-[r]->(v)<-[r2]-(t:transaction)
       WHERE n.transactionid = 2987002
           AND t.transactionid IN [3323911, 3328911,3009043,3039416,3039425,2993652,3045027,3037644,3045041,3045049,3045279]
       RETURN [n,r,v,r2,t]::path
   $$) as (e agtype);