|
一、什么是用户体验指标体系
用户体验指标体系（后文简称UX指标体系），指的是基于用户使用感受所构建的对产品/服务的评价体系，应用于对产品的系统化用户体验管理。
UX指标的理论基础是 ISO 9241-11关于有效性（effectiveness）、效率（efficiency）和满意度（satisfaction)的定义。其中，有效性（Effectiveness）指的是产品是否能达成用户目标。效率（Efficiency）指的是用户使用产品完成任务的效率，由消耗的用户时间/精力来衡量。满意度（Satisfaction）为用户的主观满意程度。除外，近些年来，人们愈发关注消费类产品和个人服务，产品被赋予更多的符号特性，“情感”也开始被作为一个指标的维度。
二、用户体验指标体系的作用
研发中指导产品设计：在研发初期进行产品设计时就可以参照指标体系的评价维度，形成产品设计的基本规范。
评估产品体验水平：对产品设计原型和已上市产品进行用户体验评估，分析存在的体验问题，便于进行体验管理。
产品体验水平横纵向对比：指标体系统一了度量维度和评价方法，可以用于横向对比同类产品的体验水平或纵向对比产品不同版本阶段的体验水平。
三、用户体验指标体系的构建
用户体验指标体系犹如一个框架引领帮助我们了解用户对产品的需求以及喜好度、接受度，通常框架是万变不离其宗的，就算遇到遗漏部分我们也可以通过后期小范围的用户调研弥补其指标体系，因此可见用户体验指标体系对用户体验研究和设计的重要性。通常用户体验指标体系分为搭建框架、框架细化、实验验证和调优三大步骤。
那在了解用户体验指标体系之前，要先了解单一的用户体验指标体系与用户体验指标体系的差别。那以往的单一的用户体验指标体系也是大家所熟知的 NPS：
净推荐值 NPS（全称 Net Promoter Score），部分企业采用该指标整体衡量产品/服务的户体验水平。
NPS 的计算公式为：
（推荐者数/总样本数)×100%-(贬损者数/总样本数)×100%。
对 NPS 的实践研究验证了 NPS 运用得当，推广范围广，采集成本低，可以预测近期销售额增长、反映交易客户的忠诚度、并作为整体的品牌健康指标。
但是近些年来也发现了 NPS 存在的缺陷和问题，比如没有与时俱进、在不同用户使用情景中会存在缺陷性，包括也无法解释 NPS 这个值的变化。即使将单一整体的 NPS 细分多体验的 NPS 指标集依旧还是会出现之前讨论的问题。
因此，搭建用户体验指标体系就显得非常关键。下面和大家分享一下如何构建体验指标体系。
四、如何构建用户体验指标体系
搭建框架——文献研究：该部分的工作是循环往复筛选和提取文献中有参考价值的体验评估要素和框架，每次提取的结果直接影响粗筛后指标集的完备度，从而决定接下来的搜寻方向。
框架细化：一般常见的指标评估方法为两种，分别是主观度量和客观度量。
主观度量：可用性测试、问卷调查、专家评估；
客观度量：行为数据抓取、生理数据监测。
实践验证和调优：有两点注意事项。
通常构建的指标框架仍是雏形，需要通过实践验证来判断信效度、可行性，是否需要增删某些指标或调整评估方法。
在验证时纳入对比的竞品，可以更直观的验证指标评估效果，判断是否可以有效反映产品体验的差异，与市场数据、用户口碑、对标分析的结果是否可以互相印证，是否有说服力。
在实践过程中，可能发现指标框架有需要调优的地方：
指标的完备情况，是否遗漏了关键的指标
三/四级细分指标是否需要删减或合并
指标的评估方法是否有效，是否需要调整为信效度更高的测评方式
主观评估的指标，对指标的描述用户是否可以准确理解，是否需要调整描述方式
验证效果：通常评估指标评价结果合理，能直观反映整体体验水平以及在竞品中的相对水平，也能深入具体功能模块发现存在的体验问题和待改进方向。
【案例举例】手机相册用户体验指标体系调优后的效果：
增加一个相册整体层的功能完备性评价，与现有指标集分开测评，不纳入权重体系。
通过验证评估选出每个模块1-3个核心三级指标项，未来可考虑只评估核心三级指标以提升评估效率和实操性。
优化“结构合理性”和“入口合理性”的指标描述，便于用户更清晰的理解和评价。
指标权重的设计
指标权重设定：指的是在指标框架已经确定、不再发生调整后，可以开始指标构建权重的工作。否则一旦指标框架再发生调整，已得出的权重就无法使用，需要再重新构建。
值得注意的是，权重并不是必须的，当构建的指标体系有必要计算总分用来横纵向比较；或希望通过权重引导研发对不同体验要素的重视程度时，才需要构建权重。并且，指标体系并不是一成不变的，需要随着发展动态演进。
五、指标落地的应用方法
主客观度量方式
主观度量：由用户或用户体验专家基于自己的主观感受、判断对产品进行主观打分，依赖于自我报告，如满意度、吸引力、视觉美观度评价等。
客观度量：通过眼动、脑电、皮肤电等设备及数据埋点等来监测用户生理及行为数据，依赖于设备或数据监测，如某个按钮点击率、注视次数等。
1）主客观度量方法
主要为可用性测试、问卷调查、专家评估三种方式。
主观度量方法中，评分量表(Rating Scales)是主观度量中最常用的一种，经典评分量表是Likert量表(Likert Scale)和语义差异量表(Semantic Differential Scale)。
2）客观度量方法
分为两种，分别为行为数据和生理数据。在行为数据中又分为用户行为数据检测和可用性测试两大板块，介绍如下：
行为数据——用户行为数据:是指用户在产品内进行各种操作产生的数据，用户行为数据记录用户在产品上的每一次访问、每一次浏览、每一次点击。通过用户行为数据，可以更高效、动态的对产品用户体验指标进行监测和评估。如效率指标可通过抓取用户任务完成的时间、任务操作路径等数据来进行度量。
在案例中介绍到，OSM与UJM结合模型以参加马拉松活动为例，将马拉松活动GMV(总成交额)做为总目标。
数字化可用性测试——对于已上线但没有埋点的产品、未上线的产品，甚至只有原型线框图，要如何收集行为数据呢？随着用户研究行业数字化、智能化的发展，数字化的测试工具可以帮助研究员在测试过程中自动化采集数据、分析数据。同时，在生理数据监测中，常用的方法为眼动追踪、情感度量、面部表情识别。
以上部分我们主要从用户体验指标体系的基本概念和作用、指标体系构建的三大步骤、指标权重的设定、指标落地的主客观应用方法初步了解了用户体验指标体系的相关内容，让大家对用户体验指标体系有了一个基本的认识，但在实际案例运用中肯定也会存在很多疑问。
六、指标体系相关问题互动答疑
1）如何设置权重？
有很多种不同方法，首先我们的指标体系已经确定好了，就是我们的所有维度，到底每一层级有哪一些指标，这个框架已经定好了 ，我们才进入到权重的计算以及权重的定义 。
权重的定义，有客观赋值法和主观赋值法 。客观赋值法的操作，需要我们把我们这一套指标体系收集大量数据，就是刚才说到的不管是主观测量还是基于行为数据的测量，我们要收集到很多很多的数据。有了大量的样本数据值了之后，我们去反推，就是通过计数理的计算，比如结构方程、主成分分析、因子分析或者是独立性权重，我们把权重算出来，这是一种方法。
第二种层次分析法，层次分析法现在有专业的软件，像刚才说到 yaahp 软件，可以帮我们去做层次分析法的分析。通过层次分析法，我们其实把已经构建好的这个指标体系转化成指标对比的矩阵。这个矩阵，我们的经验是9-10位专家已经足够。因为这个矩阵它要的并不是数据量去计算出来权重值，它更依赖的是每一个单样本的质量。就是我们需要找到这10个人，必须是头脑非常清晰，然后对我们这个指标概念能够正确的理解。那我们这10个样本只要质量够高的话，它进入到yaahp的这个软件里面，它会自动地帮我们分析它的一致性，最后会得出符合一致性的这个因子的结果，就可以直接得到我们的权重值。
2） 权重矩阵先做一级指标还是二级及以下，如果是一级如何保证被试者知道一级指标覆盖范围？
我们基本上是同步做的，就是一二级指标放在一起做的。当然指标权重有时候是不用下谈的三四级的，因为这个指标权重它更多的是展现指标的重要性。那我们很多指标的体系到一二级就够了，就是我可以看到一级的指标里面就可以看出哪些大的方向，然后到了二级也还有看的价值，但是很少会做到三四级。所以其实把他转化成权重之后，它的量也一般来说不会那么多，如果到了二级指标已经很多的话，你可以只做一级指标。因为这个毕竟是要由真人去评价的，尤其是你不想用专家，你想用真实的用户的时候，就尽量不要到太深的层级。因为它真的是需要两两对比的，它是对心智比较耗损的，如果两两对比的东西太多的时候，用户会容易晕。但是不用拆分成两三次，可以一次完成，就是让一个用户把一级二级指标一起做了。
3）指标体系构建过程中，不同角色要怎么参与？有哪些角色，怎么协作，分别参与什么活动？
很多时候是产品团队自主地想要构建一套指标体系，主要应用于竞品分析。很多时候是产品负责人跟产品测试团队一起合作来定这个指标体系，涉及到的利益相关者会比较少一点。
更复杂的情况是，企业体验管理的部门有这样的一个要求。他需要管理一个企业里面不同产品的用户体验水平，所以他们需要打造的一套指标体系用来评价各个业务团队所做的产品用户体验水平，或者是设立一个标准，来规范自己的产品质量。
这种情况下设计这个指标体系就不是产品团队，有专门的工作组，就是做用户体验评价和监管地工作组。这个工作组会跟测评的团队（协作），可能一些企业没有专门做用户体验测评的团队，可能就是（工作组）跟原来做质量测评的团队一起去定义用户体验的指标体系。如果他们有做用户体验的咨询调研和咨询研究和测评团队的话，就会跟这个团队一起去协作去定义用户体验指标体系。在这个指标定义的每一个阶段，需要去跟各个产品线去互动。因为需要去收集产品线对于这个指标体系的认可，就是和不同的产品业务团队都需要在设计的这个过程中就认可这个指标体系。所以在产品用户体验指标体系建设的过程中，需要多轮的沟通和确认这个指标体系，一步步地让大家来接受，并且是接受产品团队的建议。
另外就是落地部分又需要其他团队，（比如）这个指标体系落成之后，每一个指标数值怎么采数值，怎么把它应用到实际工作中，由哪个团队负责，是以什么样的频率每次来评价。这是需要一套工作的流程和后续一系列的工作支撑，刚才我们只说到这个建设的过程，落地应用又需要另一套体系，所以要建一个平台化的用户体验指标需要很大的工作量，是一个比较大的体系工程。
时间问题，其他问题不再赘述。以下是问题列举：
怎么跟踪解释指标权重设定之后分值随时间的变化 ？
什么情况下，使用通用量表和自己构建量表？
请问层次分析设定权重只是来看重视程度吗？
手机相册案例的这套指标体系是在产品发布的哪个环节使用？上市前还是上市后？
手机相册案例是单纯的用户主观评价一二三级指标，还是结合了客观的数据指标？有点担心一套非常完备的一二三级指标体系看起来很科学，但实操中用户评价负担太重，数据指标的高低波动很难解释。
对于用户体验指标体系中，最需要重视的部分是什么？
权重矩阵先做一级指标还是二级及以下，如果是一级如何保证被试者知道一级指标覆盖范围？
请问对于某个渠道的满意度怎么进行指标拆分？
满意度可以预测吗？
需求一般集中在哪些行业中？
三级指标也是二二对比吗？
对于行为数据抓取这块按照什么样的标准或者是重点去确定埋点的指标呢？
现在领导让开发人员定制体验指标，说开发来定会更专业，会有哪些副作用我们该怎么样说服领导？
层次分析和maxdiff模型相似吗？会不会减少测试过程中心智耗损？
注：文章及图片转载自网络，如有侵权请联系删除
|
