编辑导语：当今人们已经进入到一个大数据时代，人们天天都在出产者各类百般的数据，这些数据又在不绝被轮回操作敦促着行业和社会的进步。差异行业都有着差异的数据指标体系，本文作者对评估智能对话呆板人的数据指标维度展开了梳理，与各人分享。

假如你正认真一款智能对话呆板人产物，不管是软件照旧硬件，不管叫“小a”照旧叫“小b”，总要碰着一个对付产物自己优劣的权衡指标的困难。假如你是leader更要弄清楚到底怎么给做这款产物的部属拟定OKR及查核指标。

其实，当前大都对话呆板人产物都照旧一些久远计谋机关的产物定位，既不能要求它告竣百万千万的gmv，也不能要求它实现app那样的日活月活高留存。领略它的产物定位，领略当前你地址的对话呆板人的规模，才气更清楚的去评判自家当物的优劣以及在竞品中的排名职位。

智能对话呆板人，可能有些公司会将其定名为“智能助理”“智能小助手”，大都是以“东西+闲聊”的组合 *** 呈现的，因此凡是支持多个规模的支持多轮对话。而市面上的产物形态也以是否有GUI分为纯语音对话交互和多模态对话交互两种。

而本文接头的方针产物主要聚焦在支持多模态对话交互的“东西+闲聊”的软硬件产物。虽然，单轮指令式呆板人或只有VUI的纯语音呆板人也可以举办部门指标维度的警惕，在此不做出格指出。

评估智能对话呆板人产物的数据指标维度分为2大部门：产物维度指标、技能维度指标。本文重点聚焦产物维度的7大数据指标，同时给出3个焦点技能维度指标供参考。

一、产物维度七大指标 1. 产物利用率

指标目标：阐明用户对付产物的感乐趣度（与之相关的指标就是N日留存率，不在赘述）

指标寄义：利用了对话呆板人产物的用户数占用户总数可能曝光用户数的比例。

计较公式：利用用户数 / 总用户数或曝光用户数。个中分母按照产物范例有区分：假如是硬件类产物那么分母则是所售出的硬件总数；假如是软件类产物，则要分2种环境：1.独立对话呆板人app则分母是天天打开app的用户数；2.寄生于主app上的对话呆板人则分母是天天呆板人进口的曝光用户数。

统计周期：按日、周、月

2. 最终功效触达率

指标目标：阐明对话流程的流通度

指标寄义：利用了对话呆板人产物的用户在有效会话中有几多比例得到了最终的功效（好比一段文本谜底、一条图文链接等）

计较公式：最终功效数 / 会话session数

统计周期：按会话session，或按日

3. 功效精确率

指标目标：与上一个指标是关联指标，用于阐明功效的精确水平

指标寄义：每次有效会话竣事，固然产物给以了用户最终功效，但不必然是用户想要的正确功效。

计较公式：反馈给用户的正确的功效数 / 反馈功效总数。个中分子的统计口径有2种，一种是用户反馈的好评度（假如产物设计有这样的成果点），一种是人工抽样。

统计周期：按日

4. 平均对话轮次

指标目标：阐明任务型对话呆板人的对话流程康健度

指标寄义：某一类任务（或技术）的对话轮次的平均数

计较公式：某类任务的对话轮次/某类任务的对话总数

统计周期：按日

5. 跳出率

指标目标：阐明对话呆板人的产物设计友好度

指标寄义：某一类任务（或技术）对话间断的比例

计较公式：某类任务的对话间断数 /某类任务的对话总数

统计周期：按会话session，按日

6. 异常率

指标目标：阐明对话呆板人的异常率找出要害问题并快速修复

指标寄义：用户利用对话呆板人进程中的异常状况呈现的比例

计较公式：异常报错数 / 会话session数

统计周期：定时、日

7. 推荐功效点击率

指标目标：阐明有GUI的产物推荐内容的精准度

指标寄义：在初始化场景或某类特定场景，产物给出推荐内容的用户接管比例

计较公式：推荐谜底或内容的点击（或采用）次数 / 推荐次数

统计周期：按会话session，按日

二、技能维度三大参考指标 1. 意图识别精确率

指标目标：意图识别直接影响最终功效是否精确，所以用于阐明产物所涉及的规模内用户意图识此外精确率

指标寄义：正确识别单次会话session用户意图识此外精确水平

2. 文本泛化本领

指标目标：好的泛化本领才气更好的支持人类语言表达的巨大性领略，也是nlp的焦点指标

指标寄义：对指定模块举办抽样，看是否支持提问文本、槽位等多种表达形式的识别

3. 纠错/同义/歧义处理惩罚本领