本方案适用于在大模型流式生成内容过程中进行动态、实时审核于管控。
大模型流式审核方案
客户应用在接收到用户Prompt后，调用大模型进行推理并流式生成文本内容。为确保内容安全，生成的文本需经护栏系统检测且确认无风险后方可对用户透出。
通常，流式内容检测采用以下几种切片机制，累计一定字符后触发审核：
切片方式一：按字符数切片：每累计满N个字符，将该N个字符作为一个批次进行审核。
切片方式二：滑动窗口切片：每新增X个字符即触发一次审核，送检最近生成的N个字符。该方式可保留上下文语义，降低用户等待感知。
检测结果处理建议
若检测结果为无风险，可将对应文本内容逐步呈现给用户；
若检测发现风险，建议立即停止后续内容输出，并对已透出的风险内容执行撤回操作，或替换为预设的合规代答内容，以保障用户体验与内容安全。