衡量网络营销效果的三种方法 探讨Engagement的适用性问题

　　在之前的《网络营销效果衡量的核心指标》连载中，介绍了什么是Engagement，Engagement包含哪些指标，如何定义这些指标，以及如何通过技术方式监测到这些指标。这期将问题更深入，探讨Engagement的适用性问题。

　　由于Engagement的灵活性，它至少在三个领域具有极高的研究价值。其一，它对于衡量总体(宏观)效果的达成有帮助;其二，在确知流量质量的情况下，它能衡量网站对用户的影响程度(即一般我们所称的网站的质量);其三，在确知网站质量的情况下，它能衡量网站流量的质量。

　　这三个问题，几乎就是我们进行营销分析的核心领域。我们先来看第一个问题:如何通过Engagement指标衡量总体(宏观)效果的达成?

　　Engagement衡量总体效果的三种方法

　　Engagement衡量宏观效果的方法，是基于这样的一种假设：大量用户看似混沌的各种行为，实际上均反映了网站对用户的影响(吸引)程度。用户行为的量和度越大，表明网站对用户的影响越强烈。这么说不难理解。同样的两个新闻站，A站平均每个用户访问看10条新闻，B站只有5条，很明显A站对用户的吸引程度更大。Engagement本质上即是用于描述各种用户混沌行为，因此Engagement的数量和强度，与网站影响用户的能力是等同的。

　　那么如何衡量Engagement的数量和强度呢?

　　通常有三种简单的方法衡量宏观Engagement。第一种方法，是观察全局性的Engagement指标，这些指标既可以是标准指标，也可以是自定义指标。第二种方法，是把单个的Engagement指标按照自定义的重要程度加权汇总起来，形成Engagement Index加以衡量。第三种方法，则是按照用户行为与营销目标之间的数学关系定义各个指标的重要程度，然后再加权汇总成Engagement Index。只要对用户的行为监测得当，三种方法操作起来都不会有什么困难。

　　方法一：全局性Engagement指标的分析

　　第一种方法，观察全局性的Engagement指标，最常见的便是观察Bounce Rate、PV/V或者Time on Site。关于Bounce Rate，大家的问题最多。几乎在所有的课堂上，当我讲解Bounce Rate相关知识的时候，就会有同学提问：Bounce Rate到底多高算好?我可以简单地答复，如果你的Bounce Rate没有超过65%，那么还真是值得庆贺。但这样的答案并不是我喜欢的，如果京东的Bounce Rate是65%，那么他们一定会痛苦得顿足捶胸。不过，若是在营销活动中，网站的Bounce Rate真的高于80%，那我们该得出什么样的结论呢?

　　结论A：

　　该死，这真是一次全然失败的活动，流量糟透了，网站也稀烂。

　　结论B：

　　网站是成功的，但是流量存在极大的问题。

　　结论C：

　　流量肯定没问题，但网站很糟糕。

　　这三个结论，哪一个会是正确的?答案是，都有可能。不过，在具体的情况下一定只有一个可能性。我们如何判断Bounce Rate高，到底说明了哪种情况?

　　我的方法很简单——按照流量来源细分Bounce Rate，然后判断到底是流量出了问题，还是网站出了问题。解决这个问题我将引入参照系的概念，即流量中可以作为参照系的标准流量来源。我们都知道，网站流量来源多种多样，其中质量最好的流量是自然搜索流量(Organic)。或许你会失望，问为什么不是Direct(直接流量)，原因是Direct并非真正的直接流量，而是对于这个网站分析工具而言所有无法判断来历的流量，因此Direct可能杂糅了很多流量，这些流量的质量几乎可以肯定不如自然搜索流量。

　　为什么Organic是质量最好的?其实很简单，Organic流量不是作弊流量，而且反映了真正的用户访问需要。如果一个网站没有什么Organic流量，那么流量质量第二好的流量是付费搜索引擎流量。这两种流量可以作为我们衡量Bounce Rate的参照系。现在，我们来观看下面的几种情况，又会分别得出什么结论：

　　情况A：

　　Organic流量的Bounce Rate不错，只有40%左右，但网站整体的Bounce Rate是80%。

　　情况B：

　　Organic流量的Bounce Rate和网站整体的Bounce Rate几乎一样高，都高达80%。

　　相信看到这两种情况，读者心中已经有数了。A情况，说明网站对那些真正有兴趣的用户的吸引力还是不错的，40%的Bounce Rate水准不错，但网站仍然有高达80%的Bounce Rate，说明其他流量很可能并非你希望获取的人群。B情况，如果连Organic流量都有极不理想的Bounce Rate，那么说明这个网站真心做得差点意思。流量参照系给了我们一个很明确判断到底是流量还是网站出问题的方法，但使用这个方法有一个前提，就是Organic的流量不能太少，如果Organic流量很少，可做替换的流量是Paid Search。但如果没有什么Paid Search的流量，那就找那些你认为质量可靠的流量来源。不过，无论参照系流量的表现如何，一次营销活动，如果整体的Bounce Rate高于80%，就肯定不是一个特别理想的状况，要么是流量或者网站存在问题，要么是存在营销费用的浪费。

　　PV/V和Time on Site相对Bounce Rate而言，更难有benchmark。不过，就我看来，几乎可以确定一个网站的PV/V和Time on Site越高，说明营销受众受到网站影响的程度越深。过去我曾经认为有一些网站PV/V或者Time on Site太大是不好的，比如政府的服务类网站，太高的PV/V或者Time on Site说明了人们或许没有找到要找的内容。但追踪了很多的网站后，我发现国人的耐心其实非常有限，若是一个网站不容易找到他们需要的内容，即使是重要的网站，他们也会转而求助于百度，而不会在这个体验糟糕的网站中疯狂追寻。平均PV/V大于3，或者平均Time on Site大于2分钟，才能说明网站本身对用户有起码的吸引力。

　　观察全局性的时候，自定义的Engagement指标在这里则更加常用。例如，在一次促销活动中把用户点击促销商品的点击数量(或者打开促销商品详情页面的次数)作为一个全局性的Engagement来看待，并将最终达成的实际数量与预先设定的目标进行比较，从而观察营销的效果是否达成。这样的方法很快捷，但也很粗放。如果Bounce Rate高于90%，但很幸运的，促销商品的点击数量却超过了预先设定目标的两倍，那么这次营销活动到底是好还是不好呢?单个看待指标，总会碰到一些让人难受的取舍问题，而且总是难以真正照顾全面。这时我们就必须要考虑其他的新方法。

　　方法二：单个Engagement指标的加权汇总

　　第二种方法，把单个的Engagement指标按照自定义的重要程度加权汇总起来，弥补了第一种方法的部分不足，毕竟，宏观的Engagement是由具体的一个一个的Engagement指标综合而成的结果。这个方法有三个步骤：首先，列出所有的Engagement的具体指标，然后根据你心目中的每个指标的重要程度，给各个指标指定一个权重，最后把每个指标乘以权重，加总起来。加总起来的值，即Engagement Index。

　　不同类型的营销选用的具体指标和权重的安排肯定不一样。

　　第二种方法比第一种方法全面，但是权重的分配很主观，而且一些常用的全局指标，比如Bounce Rate、PV/V或者Time on Site，反而不能囊括进入，不得不成为两套并列的衡量。后者不是大问题，但是自作主张的权重分配似乎很容易被老板和客户challenge。不过，事实上，这种方法是目前采用最多的方法，因为它相对简单，而且对于一个广告主而言，固定一些常见行为的权重值有很多好处，它很明确地指明了营销活动应该努力的方向，而且也有助于campaign不同阶段或者相似campaign之间的横向比较。

　　方法三：转化关系核定下的Engagement指标的加权汇总

　　第三种方法，对第二种方法做了一些改进，它基于这样一个思想：在营销活动中，用户看似混沌的各种行为，实际上与最终达成(如转化)的终极目标有相当确定的比例关系。尽管对各类营销活动以及各个网站而言，这些比例关系并无相同的值，但对于一个确定的活动或网站，这些比例却相对稳定。

　　例如，对于很多电子商务网站而言，除非是品类结构发生大的变动，否则它们的“购物车到实际购买之间的转化概率”是比较稳定的，比如在40%的基准上左右浮动。那些不需要销售商品的品牌推广营销，其实也适用这种关系，因为这些营销几乎都以明确希望用户采取行动(例如申请试用、分享给朋友等)作为最终目的，这些具体的行动与电子商务网站的购买行为其实并无本质的差别。现在，我们假设一个电子商务网站有如下的转化规律：每100个新注册用户会产生4个订单;每100个IPV会产生(对应)18个订单;每100次把商品放入购物车会产生20个订单……我们可以得到下面的一个表格(表1)。

　　为了后面的计算关系，我们把每个Engagement指标都变成1为基准，我们可以得到一系列比例关系， 有了这个对应关系，我们可以很容易地给转化发生之前的所有重要事件定义Engagement的权重。如果我们以1个转化为100分计算，按照各个不同行为的实际值，计算出各指标的Engagement Index完全轻而易举(表2)。

　　第三种方法相对于第二种方法看起来更为科学一些，Google Analytics的Page Value的设置也是类似于这种方法。但这种方法并不能说是现实的完全真实的反馈，它还是存在一定的问题。由于此方法基于所有的行为都对最终的转化有直接的贡献作用的假设而设立，但转化必然是一个过程，在转化过程的不同阶段用户的不同行为之间其实有相互的关系(正面的促进或者负面的干扰)，而这个方法并未把这些情况涵盖在内。

　　有意思的是，对于这个方法，你会发现——由于网站内部的转化也是一步一步发生的，不同过程对最终转化的价值并不一定一样，因此似乎也完全适用于Attribution Modeling的方式，采用不同的modeling(如线性、递减或是中间高两边低)方式，对用户不同行为的赋权值也就不一样，你完全也可以采用Attribution Modeling模型的思想根据实际情况去为不同的Engagement指标赋权，这样可以更接近于你期望的业务实际。不过操作难度看起来相当不乐观。

　　尽管三种方法都并非100%对用户的Engagement真实程度再现(可是完全再现真实只是理想状态)，但对于我们期望的定量化的Engagement却是很有帮助的。对于一次营销campaign，利用这些方法能够告诉我们从过程的角度看，是否它沿着我们预期的路线在前进。

　　作者：宋星;via：钛媒体

延伸阅读：

• 网络营销效果衡量的核心指标及我们用什么样的逻辑思考（3）
• 网络营销效果衡量的核心指标及我们用什么样的逻辑思考（2）
• 网络营销效果衡量的核心指标 我们用什么样的逻辑思考