观测与运营 · AI 评估

模型是否更好，用业务标准回答。

LinkyEval 将离线评测集、生产样本和人工标准放在同一套评估流程中，比较模型、Prompt、RAG 与 Agent 版本。

离线评测生产样本回流版本对比

版本评估eval_support_v12

客服问答集480 条生产样本

Prompt v12 + 模型 A正确率 91.4% · ¥0.18/次候选上线

Prompt v11 + 模型 A正确率 87.9% · ¥0.17/次当前版本

Prompt v12 + 模型 B正确率 82.3% · ¥0.11/次未达门槛

提升 +3.5%样本 480结论 可灰度

评估如何进入持续运营

从标准定义到版本决策，评估结果直接服务路由与上线策略。

按业务场景建立正确性、安全性、相关性和成本指标。

在同一批样本上比较模型、Prompt、RAG 与 Agent 版本。

将评测结论用于模型准入、灰度、路由权重和回滚判断。

通过版本、样本和指标留存，让模型升级、Prompt 修改和路由调整不再依赖主观体验。