Realtime Compute for Apache Flink：效能白皮書（Nexmark效能測試）

步驟一：下載測試載入器

下載 Nexmark 測試載入器壓縮包nexmark-flink.tar.gz並解壓。

解壓後的目錄結構如下：

nexmark-flink/
├── run_nexmark.sh          # 測試入口指令碼
├── nexmark_env.sh          # 環境變數設定檔（需編輯）
├── bin/                    # 運行指令碼
├── conf/                   # Flink 作業配置
├── lib/                    # JAR 包（需上傳至控制台）
└── queries-vvp/            # Nexmark Query SQL 檔案

步驟二：上傳 Nexmark JAR

1. 登入Realtime Compute控制台。

2. 單擊進入目標專案空間，在左側導覽列檔案管理 > 上傳資源。

3. 選擇並上傳 nexmark-flink-0.2-SNAPSHOT.jar 檔案。該檔案位於測試載入器的 nexmark-flink/lib 目錄下。

4. 上傳完成後，單擊目標檔案名稱複製 OSS 地址。該地址在後續配置參數時使用。檔案路徑格式因儲存類型而異：

   • OSS Bucket 儲存：oss://<OSS Bucket 名稱>/artifacts/namespaces/<專案空間名稱>/<檔案名稱>

     例：oss://oss-test/artifacts/namespaces/flink-default/nexmark-flink-0.2-SNAPSHOT.jar

   • 全託管儲存：oss://flink-fullymanaged-<工作空間ID>/artifacts/namespaces/<專案空間名稱>/<檔案名稱>

     例：oss://flink-fullymanaged-e6a123456789/artifacts/namespaces/flink-default/nexmark-flink-0.2-SNAPSHOT.jar

   如需查看工作空間的儲存類型，在Realtime Compute管理主控台單擊目標工作空間操作列下的詳情查看。

步驟三：配置運行參數

編輯 nexmark-flink/nexmark_env.sh 檔案，填寫以下參數。

步驟四：運行測試

1. 在 nexmark-flink 目錄下執行以下命令。

   ./run_nexmark.sh

2. 測試載入器通過 OpenAPI 自動建立並運行 Nexmark 作業。

3. 運行完成後，輸出各 Query 的運行時間長度（毫秒）。樣本如下：

   INFO  com.github.nexmark.flink.vvp.Nexmark - q0 13078
   ============================================================================
   ✓ Benchmark execution completed successfully
   ============================================================================

環境準備

通過 EMR on ECS 建立 Flink 叢集，叢集配置如下：

• EMR 版本：EMR-5.21.0

• 硬體規格：3 台 ecs.g6a.xlarge（4 vCPU / 16 GiB），1 台 Master + 2 台 Core

• 開啟 Hadoop 和 HDFS 服務

• 配置好各個節點之間的免密登入。例如，將安全性群組的私密金鑰 key.pem上傳到 master 節點，然後在 master 節點的 ~/.ssh/config 寫入如下配置，注意將 IP 和檔案路徑替換為實際值：

  Host 192.168.0.0
      HostName 192.168.0.0
      User root
      IdentityFile /path/to/key.pem
      StrictHostKeyChecking no
  Host 192.168.0.1
      HostName 192.168.0.1
      User root
      IdentityFile /path/to/key.pem
      StrictHostKeyChecking no
  Host 192.168.0.2
      HostName 192.168.0.2
      User root
      IdentityFile /path/to/key.pem
      StrictHostKeyChecking no

  使用 ssh 驗證各節點間免密登入是否正常。若報錯 "bad permissions"，執行 chmod 600 /path/to/key.pem 修正許可權。

軟體準備

1. 下載目標版本的 Flink 包（Apache Flink Downloads）和 Nexmark 測試包（nexmark-flink.tgz），上傳至 Master 節點並解壓。

   tar -zxvf flink-1.20.4-bin-scala_2.12.tgz
   tar -zxvf nexmark-flink.tgz
   mv flink-1.20.4 flink
   mv nexmark-flink nexmark

2. 將 nexmark/lib 目錄下的 JAR 檔案複製到 flink/lib，這些 JAR 包含 Nexmark 資料產生器。

   cp nexmark/lib/* flink/lib/

3. 設定環境變數。編輯 ~/.bashrc，加入以下配置後執行 source ~/.bashrc 使其生效。

   根據實際環境配置相關路徑。

   export JAVA_HOME=/etc/alternatives/java_sdk_11
   export PATH=$JAVA_HOME/bin:$PATHexport FLINK_HOME=/mnt/disk1/flink
   export HADOOP_CLASSPATH=$(/opt/apps/HADOOP-COMMON/hadoop-common-current/bin/hadoop classpath)

配置並啟動 Flink 叢集

1. 配置 Flink Workers。本文使用 8 個 TaskManager，採用"Master 節點 2 個 + 每個 Core 節點各 3 個"的部署方式。

   編輯 flink/conf/workers，注意將IP替換為實際值。

   192.168.0.0
   192.168.0.0
   192.168.0.1
   192.168.0.1
   192.168.0.1
   192.168.0.2
   192.168.0.2
   192.168.0.2

2. 用 nexmark/conf/config.yaml 替換 flink/conf/config.yaml，並更新以下配置項：

   • jobmanager.rpc.address：Master 節點 IP，如 192.168.0.0

   • state.checkpoints.dir：HDFS 路徑，如 hdfs:///checkpoints

   • taskmanager.memory.process.size：4G

3. 編輯 nexmark/conf/nexmark.yaml，將 nexmark.metric.reporter.host 設為 Master 節點 IP。

4. 將 flink 和 nexmark 目錄及環境變數配置分發到各 Core 節點。

   注意將IP替換為實際值。

   scp -r flink 192.168.0.1:/mnt/disk1/
   scp -r flink 192.168.0.2:/mnt/disk1/
   scp -r nexmark 192.168.0.1:/mnt/disk1/
   scp -r nexmark 192.168.0.2:/mnt/disk1/
   scp ~/.bashrc 192.168.0.1:~/
   scp ~/.bashrc 192.168.0.2:~/

   分發完成後，在各 Core 節點執行 source ~/.bashrc 使環境變數生效。

5. 在 Master 節點啟動 Flink 叢集。

   flink/bin/start-cluster.sh

6. 初始化 Nexmark 測試環境。該指令碼會在各節點上配置 Nexmark 運行所需的 Metric Reporter。

   nexmark/bin/setup_cluster.sh

水位設定

Flink 叢集啟動後，需通過 cgroup 將各 TaskManager 進程的 CPU 水位限制在 75% 以內，避免因資源爭搶導致 TaskManager 心跳逾時失聯。

在所有運行 TaskManager 的節點上（含 Master 節點）執行以下命令：

yum install -y libcgroup libcgroup-tools
cgcreate -t root:root -a root:root -g cpu,memory:mygroup
echo 100000 > /sys/fs/cgroup/cpu/mygroup/cpu.cfs_period_us
echo 300000 > /sys/fs/cgroup/cpu/mygroup/cpu.cfs_quota_us
echo $((12 * 1024 * 1024 * 1024)) > /sys/fs/cgroup/memory/mygroup/memory.limit_in_bytes
jps | grep TaskManagerRunner | awk '{print $1}' | xargs cgclassify -g cpu,memory:mygroup

其中 cpu.cfs_quota_us / cpu.cfs_period_us = 300000 / 100000 = 3，表示該 cgroup 最多使用 3 個 CPU 核心（4 vCPU 的 75%）。

運行 Nexmark

在 Master 節點執行以下命令，等待運行結束後查看結果：

nexmark/bin/run_query.sh q0,q1,q2,q3,q4,q5,q7,q8,q9,q10,q11,q12,q14,q15,q16,q17,q18,q19,q20,q21,q22