大模型服务平台百炼：在控制台进行模型调优

# 一行训练数据（json 格式），展开后典型结构如下:
{"messages": [
  {"role": "system", "content": "系统输入1"}, 
  {"role": "user", "content": "用户输入1"}, 
  {"role": "assistant", "content": "期望的模型输出1"}, 
  {"role": "user", "content": "用户输入2"}, 
  {"role": "assistant", "content": "期望的模型输出2"}
  ...
]}

 {"role": "assistant", "content": "期望的模型输出1", "loss_weight": 1.0}, 
 {"role": "assistant", "content": "期望的模型输出2", "loss_weight": 0.5}

两种训练方式的数据量要求请参见数据集的规模要求。

阿里云百炼推荐您以先 CPT（可选），后 SFT，再 DPO，最后 RL 的顺序使用模型调优：

1. 先收集海量（至少1000万Token）的特定领域的无标签样本，进行CPT训练，将模型训练成特定行业/领域的专家。

2. 在应用上线前，使用足够多（1000+）的特定场景/业务的正样本，即收集场景/业务输入+模型期望输出，进行SFT 训练。

3. 您的应用试运行/上线后，收集足够多（100+）的用户反馈（如：点赞、点踩、反馈）或者 bad case，将这些数据制作成 DPO 训练集，进行 DPO 训练。

4. 如需进一步提升模型的推理与工具调用能力，可在 SFT/DPO 训练后进行 RL（强化学习）训练。RL 训练通过 DashScope SDK 或 CLI 启动。

模型选择

如果您是第一次进行模型调优，请选择您期望的预置模型。

如果您是因为模型训练效果不好需要再次训练某个模型，请选择自定义模型 > 您需要二次训练的模型。

全参训练与高效训练

• 全参训练通过全量更新模型参数的方式进行学习。

• 高效训练采用低秩适应（Low-Rank Adaptation，LoRA）的方式，通过矩阵分解的方法，更新分解后的低秩部分参数。

由于两种训练方式的费用相同，阿里云百炼推荐您如果模型支持全参训练，请优先选择全参训练，因为全参训练效果比高效训练效果要好，性价比更高。

学习率调整策略介绍

“学习率调整策略” 是在 超参配置 > 更多配置 下的第一个配置，配置包含8种不同的策略。

策略详情请参见：

预付费训练单元管理

选择训练单元·预付费后，可在模型调优页面点击管理训练资源进行训练单元的购买与管理。支持以下操作：

什么时候可以使用模型调优功能？

• 文本生成模型调优虽然能在特定业务/场景取得非常好的效果，但有以下限制：

  • 耗时较长，包括：拥有一个大规模（最少 0.5亿 token）CPT 数据集、构建一个有效（1000+）SFT 数据集、收集足够的（100+）Bad Case 构建模型部署计费有效 DPO 数据集、模型优化迭代速度慢等。

  • 费用较高，调优后的模型部署后才能使用，模型部署计费较高。

• 阿里云百炼推荐您在考虑使用文本生成模型调优前先尝试使用的 Prompt 工程（Prompt Engineering）或插件调用（Function Calling）定制化您的应用，模型调优也通常作为改进模型表现“最后的手段”。因为：

  1. 在许多任务中，模型最初可能表现不佳，但通过应用正确的 Prompt 技巧可以改进结果，不一定需要使用模型调优。

  2. 迭代优化 Prompt、插件，比模型调优的迭代更敏捷、成本更低，因为模型调优的迭代可能需要重新收集数据、清洗优化数据、收集 bad case、发起客户调研等。

  3. 即使最后一定要进行模型调优，最初的 Prompt 工程、插件迭代优化相关工作也不会浪费。您的这些前期工作可以充分地在构建调优数据集时复用（用于构建数据集的输入）。

模型调优时报权限不足怎么办？

请联系您的平台或空间管理员，检查并开通以下权限：

1. 账号拥有发起调优任务所在的业务空间下 模型调优-操作、模型部署-操作、模型评测-操作 的页面权限。

   相关介绍请参考：账户权限管理。控制台链接：百炼-账号管理。

   

2. 需要发起调优任务所在的业务空间拥有对特定模型进行模型训练（调优）的权限。

   相关介绍请参考：授权子业务空间模型调用。控制台链接：百炼-业务空间管理。

   

如果模型调优后，评测的效果不好怎么办？

1. 如果您使用的是人工评测，请检查评测维度是否符合业务或场景。

2. 收集在模型评测时评测结果不佳的测试用例，统计分析评测结果不佳的原因，根据分析结果调整训练数据集，继续迭代调优模型。

3. 根据评测结果不佳的用例生成 DPO 用例，对模型进行 DPO 训练。

模型调优、模型部署、模型评测怎么收费？

模型调优支持按Token计费和模型训练单元（预付费/后付费）两种计费方式。按Token计费使用平台共享资源，按实际消耗的 Token 数量计费；训练单元使用专属训练资源，训练速度更快。训练好的模型在部署后只收取部署费用，不收取模型的调用费用。模型评测不额外收费。详细数据请参考模型训练与部署计费。

在阿里云百炼调优完成的模型可以下载到本地部署吗？

阿里云百炼平台进行调优的模型不支持导出，只支持在阿里云百炼上部署后测试、调用。

模型调优训练失败，提示训练数据量不足怎么办？

当模型调优训练失败且原因为训练数据量不足时，您可以尝试调整序列长度（max_length）参数来解决。

原因说明

序列长度决定了单条训练数据支持的最大Token长度。在SFT（有监督微调）训练中，超过序列长度的数据会被直接丢弃。如果序列长度设置过大，可能导致大量训练数据因超长被丢弃，实际参与训练的数据量不足，从而导致训练失败。

解决方案

1. 在创建训练任务时，展开参数配置，找到max_length（序列长度）参数。

2. 将序列长度调整为较小的值（如8192），使更多训练数据能够满足长度要求，参与模型训练。

3. 重新提交训练任务。