Realtime Compute for Apache Flink:大規模言語モデルを用いたリアルタイムデータ分析のクイックスタート

Chat/completions モデル

次のサンプル SQL コードは、qwen-turbo モデルを登録する方法を示しています。

CREATE MODEL ai_analyze_sentiment
INPUT (`input` STRING)
OUTPUT (`content` STRING)
WITH (
    'provider'='bailian',
    'endpoint'='<base_url>/compatible-mode/v1/chat/completions',    -- chat/completions モデルタスク用のエンドポイント。
    'api-key' = '<YOUR KEY>',
    'model'='qwen-turbo',                                                               -- Qwen-turbo モデル。
    'system-prompt' = 'Classify the text below into one of the following labels: [positive, negative, neutral, mixed]. Output only the label.'
);

埋め込みモデル

次のサンプル SQL コードは、text-embedding-v3 モデルを登録する方法を示しています。

CREATE MODEL embedding_model
INPUT (`input` STRING)
OUTPUT (`embeddings` ARRAY<FLOAT>)
WITH (
    'provider'='bailian',
    'endpoint'='https://dashscope.aliyuncs.com/compatible-mode/v1/embeddings',   -- 埋め込みモデルタスク用のエンドポイント。
    'api-key' = '<YOUR KEY>',
    'model'='text-embedding-v3'                                                  -- text-embedding-v3 モデル。
);

Chat/completions モデル

ML_PREDICT AI 関数を使用して、登録済みの ai_analyze_sentiment モデルを呼び出し、映画レビューに対して感情分析を実行します。

次のサンプル SQL を SQL エディターにコピーしてください。

-- 一時的な結果テーブルを作成します。
CREATE TEMPORARY TABLE print_sink(
  id BIGINT,
  movie_name VARCHAR, 
  predict_label VARCHAR, 
  actual_label VARCHAR
) WITH (
  'connector' = 'print',   -- print コネクタを使用します。
  'logger' = 'true'        -- 結果をコンソールに表示します。
);

-- テストデータを構築するための一時ビューを作成します。
-- | id | movie_name | comment   | actual_label |
-- | 1  | Her Story     | My favorite part was when the kid guessed the sounds. It is one of the most romantic narratives I have seen in movies. Very gentle and loving. | POSITIVE |
-- | 2  | The Dumpling Queen   | Unremarkable.  | NEGATIVE |
CREATE TEMPORARY VIEW movie_comment(id, movie_name, user_comment, actual_label)
AS VALUES (1, 'Her Story', 'My favorite part was when the kid guessed the sounds. It is one of the most romantic narratives I have seen in movies. Very gentle and loving.', 'positive'), (2, 'The Dumpling Queen', 'Unremarkable.', 'negative');

INSERT INTO print_sink
SELECT id, movie_name, content as predict_label, actual_label 
FROM ML_PREDICT(
  TABLE movie_comment, 
  MODEL ai_analyze_sentiment,  -- 登録済みの Qwen-turbo モデル。
  DESCRIPTOR(user_comment));   

埋め込みモデル

ML_PREDICT AI 関数を使用して、登録済みの embedding_model モデルを呼び出し、映画レビューの埋め込みベクトルを生成した後、結果を Milvus (パブリックプレビュー) に書き込みます。

次のサンプル SQL を SQL エディターにコピーしてください。

-- milvus_sink という名前の一時的な結果テーブルを作成します。
CREATE TEMPORARY TABLE milvus_sink
(
    id STRING,
    movie_name STRING,
    user_comment STRING,
    embeddings ARRAY<FLOAT>,
    PRIMARY KEY (id) NOT ENFORCED
)
WITH (
    'connector' = 'milvus',
    'endpoint' = '<YOUR-ENDPOINT>',
    'port' = '<YOUR-PORT>',
    'userName' = '<YOUR-USERNAME>',
    'password' = '<YOUR-PASSWORD>',
    'databaseName' = 'default',
    'collectionName' = 'movie-comment-embeddings'
);

-- テストデータを構築するための一時ビューを作成します。
-- | id | movie_name | comment |
-- | 1 | Her Story |My favorite part was when the kid guessed the sounds. It is one of the most romantic narratives I have seen in movies. Very gentle and loving.|
-- | 2 | The Dumpling Queen | Unremarkable. |
CREATE TEMPORARY VIEW movie_comment(id, movie_name,  user_comment)
AS VALUES ('1', 'Her Story', 'My favorite part was when the kid guessed the sounds. It is one of the most romantic narratives I have seen in movies. Very gentle and loving.'), ('2', 'The Dumpling Queen', 'Unremarkable.');


INSERT INTO
    milvus_sink
SELECT
    id,
    movie_name,
    user_comment,
    embeddings
FROM
    ML_PREDICT (
        TABLE movie_comment,
        MODEL embedding_model,  -- 登録済みの text-embedding-v3 モデル。
        DESCRIPTOR (user_comment)
    );

Chat/completions モデル

1. ジョブのステータスが FINISHED であることを確認します。

   

2. O&M コンソールで、Deployments ページに移動し、対象ジョブの名前をクリックします。

3. Logs タブで、Task Managers サブタブをクリックし、current TaskManager を選択します。

4. Log をクリックし、PrintSinkOutputWriter に関連するログを検索します。

   モデルが予測したラベル predict_label は、実際のラベル actual_label と一致します。