高速测试：您真的应该快速移动并打破常规吗？

马克扎克伯格有句名言：“快速行动，打破常规。 除非你正在破坏东西，否则你的移动速度还不够快。”

从那时起，初创公司和成长型营销人员就开始关注这一声明。 “快速行动，打破常规”已成为一种生活方式，是有抱负的企业家的理想选择，他们只想像 Gary Vaynerchuk 一样整天忙碌，彻夜忙碌。

但是，马克在很多很多年前发表的那句话到底有多真实？

它适用于测试和实验吗？ 被许多不同的测试和增长专家流行起来的高速测试的理念当然证明了它确实如此。

什么是高速测试？

高速测试，也称为高速测试，是一种哲学，即快速测试和实验是主要增长的关键。 看起来很简单，对吧？ 为了加速增长，更快地测试更多的东西。

最近几个月一直支持这一理念的GrowthHackers.com 的肖恩·埃利斯（Sean Ellis）解释说……

肖恩·埃利斯，GrowthHackers.com ：

“您运行的测试越多，您就越了解如何发展业务。 因此，希望在每个时间段内运行尽可能多的测试是很自然的。” （通过GrowthHackers.com）

然而，在实践中，哲学更为复杂。 首先，我们的 2016 年行业状况报告发现，大多数受访者每月进行的测试少于 5 次。 43% 每月只运行 1-2 次测试。 不完全是高节奏。

事实上，只有 5% 的受访者每月进行 21 次以上的测试，大约每周进行 5 次测试。

以下是高速测试说起来容易做起来难的几个其他原因……

• 优化预算受到限制，导致团队规模较小且优先级较低。
• 优化不是一件小事，大多数优化人员都非常忙碌。
• 许多优化师是该行业的新手（近 20% 的受访者担任 CRO 角色的时间不到一年）并且仍在学习。

但仅仅因为某件事很困难并不意味着它不值得追求。

为什么高速测试很重要？

在最近的历史中，您已经多次看到高速测试的影响。 想想最后一家似乎一夜之间凭空出现的公司。 对我来说，这是Airbnb。 有一天，我从来没有听说过任何人提到过这个名字，接下来每个人都在谈论它。

在 CXL Live 上，Inman 的 Morgan Brown 证实，开启这种增长的关键是高速测试……

摩根布朗，英曼：

“显然，其中一些公司，如 Facebook、LinkedIn、Uber、Airbnb 正在做一些不同的事情，对吧？ 他们正在跨越式地超越同龄人。

我想向您展示他们是如何做到的，以及他们的成长过程是怎样的。 我实际上研究了 20 多家这些快速发展的公司，对他们进行了详细的研究、访谈和案例研究。 它们实际上正在变成案例研究，将在下一学期在哈佛商学院发表以供教授。

在所有这些研究之后，重点是整个公司的快速实验是这些公司如何获胜并创造突破性增长。”

虽然 Twitter 的增长目前令投资者失望，但它从 2010 年到 2012 年增长迅速。为什么？ 这与他们以指数方式提高测试速度的事实有很大关系。 Twitter 从每周 0.5 次测试变为 10 次……

图片来源

摩根补充说，Twitter 的增长并不是某种疯狂增长黑客魔法的结果……

摩根布朗，英曼：

“他们所做的测试并不疯狂。 在这里所有作为优化者的人都会认出这些测试是熟悉的。

他们做了很多主页测试，他们还做了一些事情，比如修复非西方语言国家的表单验证错误，从而带来了巨大的收益。 所有基本的转换优化的东西。

不同之处在于，在如此规模的情况下，人们并没有真正注意到它，人们转过身来说，‘哇，Twitter 正在疯狂地增长。 他们是增长黑客。 好吧，不，他们只是大幅提高了测试速度。”

事实上，GrowthHackers.com 做了一些类似于 Twitter 的事情。

在一篇文章中，肖恩解释说，他们已经达到了月活跃用户 (MAU) 平台。 第一年，他们有 90,000 个 MAU。 无需花费一美元，甚至没有增加实习生的团队规模，他们通过专注于高速测试，在短短 11 周内就增长到了 152,000 个 MAU。

为什么高速测试如此有效？

正如 Experiment Engine 的 Claire Vo 在 CXL Live 上解释的那样，这与将重点从测试程序输出（胜利和案例研究）转移到输入（速度和质量）有很大关系……

Claire Vo，实验引擎：

“那些复杂的 CRO 团队或正在沿着成熟度曲线进入复杂项目的团队，真的需要超越案例研究进行思考。 不仅因为其中一些案例研究很糟糕并且没有为您提供有关如何进行测试的适用见解，而且它们也没有放在测试程序运行的所有其他测试的上下文中。

所以，当你看到一百万美元的案例研究时，它看起来真的非常棒。 但是，如果我告诉您，经过四年的测试和 500 万美元的投资之后，价值 100 万美元的案例研究才得出，您可能不会对此印象深刻。

我认为您真的需要考虑上下文，而不仅仅是逐个测试的结果，而是真的，您的整体测试程序的执行情况如何，您是否在实际运行程序方面变得越来越好？ 不仅仅是你在个别测试中变得更好了吗？ 我认为这样做的方法是专注于投入。”

什么进入高速测试？

高速测试意味着快速完成增长过程。 摩根与我们分享了成长过程的基本轮廓……

图片来源

因此，要掌握高速测试，您需要经历每个阶段并优化速度。

1. 不断的构思

如果你想运行很多测试，你将需要很多测试想法。 肖恩解释了为什么有时说起来容易做起来难……

肖恩·埃利斯，GrowthHackers.com ：

“如果一个人负责所有的创意，他们通常会在几周内耗尽创意（至少是值得测试的创意）。 即使在一个专门的团队中，如果没有适当的流程作为新想法的源泉，创意也可能变得临时和停滞。” （通过GrowthHackers.com）

我们都知道，提出测试想法的最佳方法是进行转换研究。 另一种确保持续构思的方法是让整个公司都参与到这个过程中。 询问工程师，询问客户支持……从公司的每个角落获取想法。

当然，您也可以根据漏斗的每一步产生想法。 以下是由 500 Startups 的 Dave McClure 设计的海盗指标 (AARRR) 的外观……

图片来源

对于优化器，这些描述有点不同……

• 获取：优化邮件、PPC广告等。
• 激活：针对第一次转化进行优化。
• 留存：针对第二次、第三次、第四次转化进行优化。
• 收入：针对实际资金进行优化。 （这与 SaaS 和潜在客户网站尤其相关。）
• 推荐：针对愿意告诉朋友的现有客户进行优化。

当大多数人想到优化时，他们通常只是想到激活阶段。 也就是说，收到电子邮件或销售或任何可能的东西。 幸运的是，您还有其他四个漏斗阶段需要优化。

如果您正在进行研究，涉及整个公司并扩展到优化激活之外，那么您应该不乏创意。 事实上，你真正的问题将是想法超载。

2. 战略重点

大量积压的想法听起来并不完全有利于速度。 但是，如果以有意义的方式优先考虑这些想法，那就是。

现在，可以通过多种方式确定您的想法的优先级。 为了更好地理解该过程，最好检查其他公司如何确定优先级以及他们开发的框架。

CXL的PXL

有很多不同的优先级模型。 虽然我们发现它们中的大多数都有帮助，但我们发现每一个都存在某种缺陷。

我们想要一些强制是或否的二元决策来消除主观性。 这就是我们最终的结果……

我们更喜欢这个框架有以下三个原因：

1. 它使“潜力”或“影响”评级更加客观。
2. 它使“轻松”评级更加客观。
3. 它有助于培养数据知情文化。

该模型要求每个人都将数据带到优先级讨论中：

• 它是否解决了通过用户测试发现的问题？
• 它是否解决了通过定性反馈发现的问题？
• 鼠标跟踪、热图或眼动跟踪是否支持该假设？
• 它是否解决了通过数字分析发现的见解？

您可以在此处阅读有关该框架的更多信息并下载电子表格的副本。

GrowthHackers.com 的 ICE

Sean 和他在 GrowthHackers.com 的团队已将他们的优先级框架（称为 ICE）构建到 Projects（一种测试和实验程序工具）中。 这是它的工作原理……

• 影响：如果有效，会对 KPI 和收入产生多大影响？
• 信心：您对估计的影响有多大把握？
• 易用性：启动测试或实验的难易程度如何？

你给这三个类别中的每一个指定一个从 0 到 10 的数字，它会为整个想法吐出一个数字。 例如…

• 影响：7
• 信心：10
• 轻松：10

…导致评分为 9。您需要先测试评分为 9 的创意，然后再测试评分为 3 的创意。

（注意：这个框架的灵感来自 Wayne Chaneski 的 ICE 框架。）

布莱恩艾森伯格的 TIR

Bryan Eisenberg 使用另一个框架来确定想法的优先级，该框架侧重于三个因素……

1. 时间：执行需要多长时间？
2. 影响：收入潜力和预期结果如何？
3. 资源：运行测试或实验的成本是多少？

每个因素都被分配了一个从 1 到 5 的分数，5 是最好的。 因此，例如，如果一个项目不会花费很长时间，那么“时间”因素将被赋予 5 分。

接下来，将三个因子相乘。 因此，最好的分数是 125 (5 x 5 x 5)。 分数越高越好，所以从最接近 125 的想法开始。

3. 智能测试管理

以下是我们 2016 年行业状况调查中一些更不幸的统计数据……

• 26% 的受访者“仅在必要时”与他们的优化团队会面，讨论 CRO。 另有 23% 的人不超过两周一次。
• 41% 的受访者表示，他们公司没有人直接负责转化优化。

这告诉我们，测试程序需要一些管理帮助……快。

摩根解释了为什么问责制很重要以及如何实现它……

摩根布朗，英曼：

“增长是每一天每一分钟的组织优先事项，因此增长团队必须对这个过程负责。

我们通过这个每周增长会议来做到这一点。 这不是头脑风暴会议。 这更像是来自敏捷软件开发的敏捷冲刺计划或回顾会议，但它推动了流程和问责制。”

事实上，他建议每周抽出整整一个小时的时间来……

1. 查看您的 KPI 并更新您的增长重点。
2. 看看启动了多少测试，没有启动多少测试。
3. 讨论从上周运行的测试中学到的关键知识。
4. 从下一周的待办事项中选择测试。
5. 为未来几周创建您最喜欢的即将进行的测试列表。
6. 确认上周提交了多少新想法以及贡献最大的人。

您可以下载 Morgan 在 CXL Live 上分享的示例增长会议议程。

除了定期开会外，管理资源并对测试速度保持现实也很重要……

肖恩·埃利斯，GrowthHackers.com ：

“有些增长实验可以由营销团队实施，有些可以由产品经理实施，有些则需要深厚的工程技能。 平衡不同团队的最高优先级实验的工作量，可以更轻松地实现我们的节奏目标。 虽然我们的目标是每周至少进行 3 次测试，但我们通常每周进行 5 次测试。 这样，如果我们在某些测试中遇到障碍，我们仍然可以达到速度目标。” （通过GrowthHackers.com）

4. 洞察 > 胜利

运行测试后，您需要将结果存档以备将来学习。 在我看来，维护一个完整的档案有三个核心好处……

1. 您不会意外地重复测试。 （这对于大型团队和广泛的项目来说是非常现实的问题。）
2. 与客户、老板和同事交流成功和学习更容易。
3. 您将强调从所有测试中学习，从而提高您的知识和未来测试的质量。

如果您想了解更多关于测试结果存档的信息，我们在存档测试结果：组织如何有效地做到这一点中对此进行了大量介绍。

在 CXL Live 上，Claire 提到了 Hotwire 的学习率。 Hotwire 不是关注导致获胜的测试数量，而是关注导致洞察力的测试数量。 看，测试并不需要获胜才能让您了解有关您的受众或网站的信息。

这就是档案的全部意义； 优先学习并在整个公司内分享这些见解。

高速测试哪里出错了？

在实践中，您喜欢在高速测试中遇到一些问题。 您有责任提前预测和准备这些问题。

虽然有很多，但您必须处理三个明显的问题：您的文化可能不支持它，有效性威胁会蔓延，质量可能开始下降。

1. 没有实验文化

从第一天起，您的目标就应该是建立一种实验和数据驱动型增长的文化。 我们写了整篇文章， 6 种巧妙的方法来建立一种实验文化，关于如何做到这一点。

一些例子包括……

• 确保在整个公司范围内共享优化更新和见解。
• 鼓励甚至游戏化的各个层面的优化。
• 庆祝失败并优先探索/学习。

无论你必须做什么，都要去做，并且经常去做。 如果没有实验文化，高速测试就会失败。

示例：1% 的实验

SparkPost（前推特）的 Josh Aberant 在旧金山的 eMetrics 分享了 1% 实验的概念。 本质上，Twitter 的每个人都被授权运行 1% 的实验（即对 1% 的流量进行实验），而不仅仅是增长团队。 你不需要任何形式的批准。

事实上，如果你在没有从最近的 1% 实验中获得洞察力的情况下出现在与高管的会议上，这是一个重大的失礼。

现在，您可能没有 1 亿用户可以运行有效的 1% 实验，所以我不鼓励您开始这样做。 我只想说，高速测试必须是全公司的承诺。

2. 过早调用测试和其他有效性威胁

如果您经常阅读 CXL，您就会熟悉有效性威胁和样本污染的概念。 如果没有，请花点时间阅读更多有关如何最大程度地减少 A/B 测试有效性威胁以及如何管理样本污染的信息。 这将是值得的，我保证。

高速测试可能会导致为了速度而过早调用测试。 当然，这是一个很大的禁忌。 Testing.Agency 的 Ton Wesseling 解释了为什么在去年的 EliteCamp 上......

Ton Wesseling, Testing.Agency :

“你的测试有固定的测试长度。 当它重要时你不会停止它，你不会让它运行，因为它不重要。 你预先计算它。

这个测试……我们将运行它 2 周，我们会有很多转换，我们知道我们必须有 8% 或更多的影响（这就是我们设计测试的目的）。

然后我们测试它两周，停止它并查看结果。”

您可以使用 CXL AB 测试计算器来计算您需要联系多少人，然后才能以一种或另一种方式进行测试。 请记住以整周为增量进行测试，以确保您拥有具有代表性的样本（例如，星期几和一天中的某个时间会对结果产生重大影响）。

当然，如果你在相反的方向走得太远（即太晚调用你的测试或者因为低流量等待几个月才调用它），你会遇到类似的问题。 吨说得好……

Ton Wesseling, Testing.Agency :

“人们倾向于做的是删除他们的 cookie。 平均而言，您将在两周内丢失 10% 的 cookie。 这意味着如果人们在没有 cookie 的情况下重新输入您的测试，他们有 50% 的机会以错误的变体结束。

所以，如果你继续一年，你肯定知道两个人口将是相同的。 两组之间不会有显着差异； 不会有结果。

这就是为什么如果您长时间运行 A/B 测试，您总是会看到这些转换线更接近彼此，更接近彼此……您最终什么也没有。 起初，它产生了影响，但最终，它是一样的。 你太晚停止测试了。 在我看来，不要测试超过 4 周。

但计算你的cookie删除； 它可以不同。 如果你有登录，太棒了。 你可以测试很多很多周。”

当您快速行动时，有效性威胁和样本污染更容易出现。 确保你保持快速，但保持警惕。

3. 质量开始受到影响

早些时候，我提到了两个输入：数量和质量。 通常，当您将注意力转移到一个时，另一个开始受到影响。 如果您希望高速测试程序正常运行，则需要同时维护两者。 坦率地说，测试胡说八道的想法的速度并不重要。

谈到质量，克莱尔谈到了您需要关注的三个指标……

Claire Vo，实验引擎：

“我认为这些是我们真正需要考虑的事情。

1. 不仅仅是“任何个人测试的成功是什么？” 但我正在运行有效的测试吗？ 那么，我的测试作为一个整体，作为一个程序，是否有效？ 我的胜率是多少？ 我的平均提升量是多少？ 我要运行的测试的预期值是多少？

2. 我是否有效地运行测试？ 那么，我是否投入了正确数量的资源、正确类型的资源，我是否在测试上花费了正确的时间并且我的投资回报率是正的？

3. 我认为这是非常重要的事情。 即使你正在跟踪这些事情，如果你没有随着时间的推移趋势化它们并且你没有在提高质量方面变得更好，那么那里可能有一些东西或者你变得更糟。”

因此，它不是关于单个测试的质量，而是更多关于随着时间的推移测试程序的质量。 毕竟，您是否希望整个 CXL 社区仅根据您上次测试的结果来判断您的 CRO 专业知识？

在开始高速测试计划之前，请根据上述指标绘制质量图表。 然后，注意质量随时间的变化趋势。 一旦它开始下降，您就会知道，因此您可以立即采取行动。

如何提高测试速度

那么，您如何负责任地提高测试速度？ 根据克莱尔的说法，它归结为三个因素：测试能力、测试速度和测试覆盖率。 她解释说……

Claire Vo，实验引擎：

“当我与团队谈论他们的测试计划时，这是我经常听到的。 当我问“你们的测试程序的数量是多少？”时，我听到了这个。 “我们每月进行 x 次测试。” 所以，我们每个月运行 5 个测试，我们每个月运行 1 个测试，我们每个月运行 50 个测试。

我经常听到这个。 我认为人们在谈论他们的测试数量时通常的意思是，“我们每月运行 x 次测试......通常。”

就像，大多数情况下，我们每个月都会进行 4 次测试，但 6 月并没有真正计算在内，而您在 12 月关闭，上周是我的生日……我真的不想那么努力。

因此，实际上，跟踪测试数量并没有太多严格要求。 我认为相反，您应该关注这些指标。

1. 我可以运行多少个测试？ 因此，在您甚至谈论您正在运行多少测试之前，您可以运行多少测试的可能性有多大……您的测试能力是多少？

2. 你运行了多少测试？ 您的测试速度和覆盖范围如何？

3. 然后，我认为我们没有跟踪的是：我有没有好转？ 随着时间的推移，我是否在趋向于这种趋势并且我是否越来越擅长？

4. 当我不做测试时，为什么？ 如果今天是你的生日，那很好，但至少在报道时对自己诚实。”

以下是您如何回答克莱尔提出的那些非常重要的问题。

一、检测能力

您的测试能力非常简单。 一年有 52 周，因此您将其除以平均所需的测试时间（以周为单位）。 然后将该数字乘以一次可以测试的不同页面/渠道的数量。

因此，例如，如果我的流量水平通常表明我需要运行两周的测试并且我有十个不同的潜在客户页面可以同时测试，那么我的测试容量是 260 (52 / 2 * 10)。 那是每周五次测试。

如果出于任何原因，您没有使用全部测试能力，那么您就是在赔钱。 因此，计算它并致力于测试速度，以确保您不会浪费您的容量。

2. 测试速度

克莱尔解释说，如何衡量测试速度取决于测试和实验的速度……

Claire Vo，实验引擎：

“一旦你拥有了测试能力，你就真的需要设定一个目标，然后开始跟踪你在达到该测试能力方面的进展情况。 这就是我们所说的测试速度。 那么，每个时间段运行多少实验或测试？

对于非常高速的测试程序，我认为您可以每周进行一次测量。 对于非常非常高速的测试程序，您可以每天对其进行测量，但您可能还需要在一天结束时喝一杯，因为要跟踪的数据很多。

但我认为，每周，对于高流量站点和高速测试程序是合理的。 然后，我认为，对于低流量站点，每月是跟踪测试速度的好方法。

即使您平均每个月都会推出一款产品，但真的要逐月查看并说，‘我什么时候会降到 0？ 我什么时候才能真正做到 4？ 真正弄清楚您的测试速度趋势将让您真正了解您在测试覆盖范围内的表现。

我认为奖金是在这方面做趋势线。 因此，如果您想获得真正的幻想并给我留下深刻印象，请随着时间的推移跟踪趋势以实现您的目标。”

这里要注意的一个关键是随着时间的推移趋势。 你的速度保持不变吗？ 减少？ 增加？ 仅仅知道您每个月运行了多少测试是不够的，您需要知道该数字是否高于上个月。 如果你没有变得更好，你就会变得更糟。

3. 测试覆盖率

一旦您拥有可以运行的测试数量（测试容量）和正在运行的测试数量（测试速度），剩下的就是您的测试覆盖率。 您的测试覆盖率回答了一个重要问题：您运行测试的可测试天数的百分比是多少？

克莱尔详细说明……

Claire Vo，实验引擎：

“我们中有多少人知道我们经常浪费多少流量？ 我们中有多少人真正知道，“过去一个月我浪费了流量”？

我认为你真的需要通过测量所谓的测试覆盖率来跟踪它。 因此，查看日历年中所有可测试的天数。 也许有些日子会被列入黑名单，因为那些日子是测试的禁区。 电子商务的假期，诸如此类。

但是，您实际进行了现场测试的可测试天数的百分比是多少？ 这是一个非常强大的指标，因为它提醒您的是您的测试程序中的浪费。 你真的可以看看你的程序，然后说，'我在我的测试程序中可以容忍什么流量浪费？'”

你有多少天没有运行零测试了？ 当您不进行测试时，您必须问自己为什么。 为什么你浪费时间和流量不测试？ 当您最终准备好启动测试时，您无法恢复流量。

当然，目标是实现 100% 的测试覆盖率。 实际上，计算浪费可以令人大开眼界，并激发我们上面谈到的实验文化。

结论

在测试和实验方面，您是否应该快速行动？ 绝对地。 你应该打破东西吗？ 不，质量与其姐妹输入的数量一样重要。 甚至扎克伯格也修改了他的理念，以“以稳定的基础设施快速行动”。 [推特！]

要实施高速测试程序，您必须致力于……

• 持续的构思，贯穿整个公司并涵盖整个漏斗。
• 使用当今可用的众多框架之一对战略构想进行优先排序。
• 智能测试管理，这意味着每周召开会议，以有效/现实地创建问责制和管理资源。
• 优先学习并在整个公司范围内分享彻底存档的见解。
• 避免高速测试的各种陷阱（例如质量降低、有效性威胁等）

您还需要了解三个非常重要的指标……

1. 测试容量，即您可能运行的测试数量。
2. 测试速度，即您每周/每月运行的测试数量。
3. 测试覆盖率，即您运行测试的可测试天数。

,