LKAI 实验室

UAT Copilot · Stage 2 · 已归档并永久保留

自然语言理解,
必须进入受控协议。

模型只负责把用户表达转换为可校验参数;查询、权限、引用与确认仍由业务系统负责。

01规则查询基线已归档 02意图协议与评估已归档 03真实模型接入构建中
04引用与人工确认待开始
05工作流与持续评估待开始

交互实验

自然语言 → 受控查询参数

确定性协议模拟器
01 · 用户表达

输入业务问题

本阶段只解析查询意图,不执行修改、通知或关闭问题等动作。

02 · 结构化协议

解析结果

等待解析Schema v1.0

          
03 · 确定性执行

查询结果与证据引用

产品协议

模型能做什么,系统控制什么?

将概率型语言理解限制在一个小而明确的 JSON Schema 内,使后续模型可以替换,而业务规则保持稳定。

模型层

只解析意图与条件

输出意图、模块、状态、优先级、时间范围、置信度和澄清标记。

协议层

校验枚举与字段

拒绝未知字段和越权动作;低置信度或歧义表达必须进入澄清。

业务层

执行查询与生成引用

由确定性规则访问问题台账,并返回问题编号、来源和人工确认要求。

回归评估

24 条测试问题,不靠“感觉不错”

测试问题0直接 / 同义 / 歧义 / 越权
完全通过0所有期望字段一致
准确率0%当前规则解析基线
已知盲点0作为下一轮优化待办

编号测试问题期望意图实际解析结果
当前已知盲点

评估运行后生成。

阶段复盘

Stage 2 保留了哪些学习步骤?

每个阶段都保留目标、数据、实现、测试、已知问题和下一阶段入口,不覆盖上一阶段。

  1. 01

    定义查询协议

    把开放式语言压缩成受控字段和枚举。

  2. 02

    建立测试集

    覆盖直接表达、同义表达、组合条件、歧义和越权请求。

  3. 03

    执行回归评估

    记录准确率与失败样本,为模型接入建立基准。

  4. 04

    保留已知盲点

    不伪装完美结果,把错误分类转成可优化待办。

下一阶段

真实模型接入与同集评估

Stage 3 已采用服务端密钥、Structured Outputs、二次 Schema 校验和规则降级,并继续使用本阶段 24 条测试集。

继续 Stage 3