AI 助手闲聊问句误命中日报 + 语义匹配偏慢 #150

Open
opened 2026-09-18 17:56:37 +08:00 by tanzk · 0 comments
Owner

现象

经营数据 AI 助手对闲聊/寒暄问句(如「吃饭了没」):

  1. 错误命中:返回「今日接待分析」数据 + 「未提供关于'吃饭了没'的相关信息」,语义判定错误。
  2. 处理偏慢:闲聊问句无需任何经营数据,却完整走两级 LLM(L2 语义匹配 7b + 摘取层 7b),毫秒级闸门缺失。

根因

  1. 缺少闲聊/寒暄闸门:问句没有任何前置拦截,直接进两级 LLM(两次 7b 调用)。
  2. L2 语义匹配无「无关拒绝」指令(ai_semantic_matcher.py):7b 对无关问句缺少「全 0 置信度」的输出要求,闲聊也被模糊判定命中(confidence≥0.6 阈值)。

验收标准

  • 问「吃饭了没」等寒暄问句:秒级返回(不进 LLM),不返回任何经营数据,给出得体文案。
  • 「今日退款」「昨天接待」等正常经营问句命中行为不变。
  • L2 语义匹配对无关问句输出全 0 置信度(不误命中)。
  • 前端零改动(响应结构不变)。
  • 提交携带工单号,关闭前按 AGENTS 纪律补「关闭凭证核验」评论(附实测命令/复现路径)。
## 现象 经营数据 AI 助手对闲聊/寒暄问句(如「吃饭了没」): 1. **错误命中**:返回「今日接待分析」数据 + 「未提供关于'吃饭了没'的相关信息」,语义判定错误。 2. **处理偏慢**:闲聊问句无需任何经营数据,却完整走两级 LLM(L2 语义匹配 7b + 摘取层 7b),毫秒级闸门缺失。 ## 根因 1. **缺少闲聊/寒暄闸门**:问句没有任何前置拦截,直接进两级 LLM(两次 7b 调用)。 2. **L2 语义匹配无「无关拒绝」指令**(ai_semantic_matcher.py):7b 对无关问句缺少「全 0 置信度」的输出要求,闲聊也被模糊判定命中(confidence≥0.6 阈值)。 ## 验收标准 - [ ] 问「吃饭了没」等寒暄问句:秒级返回(不进 LLM),不返回任何经营数据,给出得体文案。 - [ ] 「今日退款」「昨天接待」等正常经营问句命中行为不变。 - [ ] L2 语义匹配对无关问句输出全 0 置信度(不误命中)。 - [ ] 前端零改动(响应结构不变)。 - [ ] 提交携带工单号,关闭前按 AGENTS 纪律补「关闭凭证核验」评论(附实测命令/复现路径)。
Sign in to join this conversation.
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: tanzk/csctalon#150