4月26日,《火山引擎A/B测试总体经济影响白皮书》正式发布。这份白皮书由市场研究公司Forrester调研撰写,揭示了A/B测试对于企业营收增长、运营成本、生产力优化等方面的重要影响。基于对多家企业调研,Forrester发现企业营收增长与其洞察力高度相关,领先企业的营收增长速度可以达到落后者的5倍,A/B测试正是企业提升洞察力最有效的工具之一。
白皮书中,Forrester调研了多家使用火山引擎A/B测试的企业,发现这些企业的广告营收和会员运营收益均有明显提升。综合财务分析来看,企业使用A/B测试的ROI(投资回报率)达到126%。
A/B测试成为企业降本增效利器
随着人口红利逐渐消退,各行各业面临着不同程度的增长瓶颈,企业迫切需要由过去粗放式的运营模式,转变到以客户体验至上的精细化运营模式。白皮书显示:94%的企业决策者认为,客户需求及偏好相关的数据洞察对于提升企业营收极为关键;81%的企业认为通过数据深入了解客户的需求,并基于数据不断改进和优化解决方案,提升了竞争优势。
作为客户洞察最有效的工具之一,A/B 测试正在被越来越多的企业所采纳。A/B测试本质是对照实验,其方法是对不同策略进行随机对比,通过实验数据来确定最优方案。为了客观呈现A/B测试带来的实际价值,Forrester使用总体经济影响(TEI)模型,对采用火山引擎A/B测试产品的企业进行调研分析。
调研显示,A/B测试能通过优化的方式实现广告营收增长、会员运营收益提升、运营成本节省,以及提升数据分析效率,实现生产力优化。量化分析表明,受访企业产品上线迭代效率提升20%,数据分析效率提升60%,三年广告业务利润净增长224万元,三年会员运营利润净增长115万元。综合财务分析来看,企业应用A/B测试的ROI达到126%。
“通过分流模型和持续的试验,我们大幅度优化了开屏广告,广告营收取得了翻倍的增长,这是以往无法做到的”,一家受访企业表示A/B测试的效果超出了预期。
白皮书指出,A/B测试带来的还有非量化收益,包括降低产品新版本发布风险、提升客户参与及活跃度、落地数据驱动的文化,以及提升企业自适应性,实现业务快速迭代和持续创新。
Forrester高级咨询顾问谷丰认为,洞察力驱动成熟度与企业营收增长高度相关,具有较高成熟度的洞察力驱动企业,营收增长是落后者的5倍。
从A/B测试走向“敏捷数智引擎”
字节跳动被称为一家“A/B测试”公司,有着“万事不决问AB”的流行语,甚至连抖音的名字也是通过A/B测试测出来的。作为字节跳动旗下的企业级技术服务平台,火山引擎也将A/B测试视为重要的技术工具。
火山引擎数据产品负责人郭东东表示,基于内部先进的底层算法、科学分流能力、智能统计引擎,火山引擎A/B测试已覆盖推荐、广告、搜索、UI、产品功能等业务场景,提供从实验设计、实验创建、指标计算和统计分析,到最终评估上线等贯穿整个实验生命周期的服务。
郭东东指出,A/B测试是一个重要的生产力工具,但转型为洞察驱动型组织还需要搭配数据驱动更多的能力。为此,火山引擎基于字节跳动数据驱动理念,为企业客户提供了一套完整的数据中台,实现从单品数智到全局数智。
火山引擎数据中台分为SaaS层和PaaS层。SaaS层主要是数据应用产品,核心是帮助业务使用数据、推动业务增长,包括A/B测试产品 DataTester、增长营销平GMP、增长分析DataFinder、客户数据平台CDP、智能数据洞察ABI。PaaS层主要是数据中台类产品,提效数据开发、沉淀数据资产,包括湖仓一体分析服务LAS、Stateless云原生开源大数据平台E-MapReduce、极速OLAP引擎ByteHouse、大数据研发治理套件DataLeap。
郭东东介绍,与传统建设数据驱动体系的理念不同,火山引擎数据中台是从业务场景出发,根据企业实际应用驱动中台能力建设,从上往下逐步落地数据驱动能力,为企业客户构建敏捷的数智引擎。