作者|贾凯强 

出品|CSDN(ID:CSDNnews)

字节跳动明星产品诸多,而如果一定要从中选择一个,那么抖音很可能会是其中大众认知度最高的一个了。但是你是否有想过,家喻户晓的“抖音”,名字是从何而来的呢?字节跳动为何要把这款风靡全球的短视频应用取名为“抖音”呢?

成功没有捷径,抖音的风靡也绝非偶然。当高层要对一款产品进行决策时,单纯依赖拍脑门、拍大腿来定结论,这种做法很难让一款产品获得真正的生命力。抖音名字的决策流程,其实一样是字节跳动的一次技术展现,通过 A/B 测试提供的数据评估与决策支持,再加上专家们的意见指导,最终才有了“抖音”的一锤定音。

当代技术的发展以共享和共赢为纲,字节跳动也将 A/B 测试的能力通过火山引擎对外公开。在 4 月 20 日,字节跳动火山引擎技术开放日 A/B 测试专场活动中,字节跳动副总裁杨震原便为现场参会者以抖音起名为案例,详细解读了火山引擎 A/B 测试的技术能力。

惶惶于阡陌,诸事数据说

以往的决策模式是怎样的呢?杨震原介绍称,首先要确定目标,产品设计或者迭代的目标是怎样的将会对未来发展造成不同的影响。而往往产品的迭代会是多个目标的综合考量结果,此时便需要对目标的层次、优先级和合理性进行评估。而目前所使用的评估方式主要有三种,经验判断、非A/B测试的数据分析,A/B测试。

经验判断很好理解,这是一种主观且高效的评估方法。比如像短视频内容质量评估时,主要依靠人的经验判断。但是经验判断的问题也显而易见,那就是偏见。如《哪吒·魔童降世》里的那句话,“人心中的成见就像一座大山,任你怎么努力也休想搬动。”对一家公司来说,每天要决策的事情很多,并不是每个决策都由 CEO 来做,可能会分到很多部门很多团队,而每个人都有不同的偏好,就会带来风险,比如不一致性和有偏性。所以这就需要有更加完善的评估体系和数据支撑,才能真正推动产品迭代。

但数据有时候也是会骗人的。非 A/B 测试的数据分析往往是看起来很美的,但想要真正实现起来就需要破除关联性和因果性。也就是我们在高中所学的对比实验,需要控制变量才能真正掌握问题的关键。可是在真实环境中,影响因素往往十分复杂,因此想真正量化评估数据真实影响,非 A/B 测试的效果往往不如 A/B 测试。

在真实环境中进行 A/B 测试,虽然无法把变量真正控制到完美,但其效果必然是比非 A/B 测试的效果好的,这也是字节跳动在多年实践之后得出的结论。字节跳动在 2012 年成立之初便开始使用 A/B 测试,在 2016 年将这部分能力升级为 Libra 平台,并最终于 2019 年正式成立了火山引擎 A/B 测试项目,将这部分能力公开给普罗大众。

字节跳动对于 A/B 测试的使用已然成为了其企业文化的一部分,目前仅字节跳动自家每日新增 A/B 测试实验次数就超过了 1500 次,目前已经服务于 400 多项业务,累计实验次数更是超过了 70 万次。也就是说,不论在交互设计、推荐算法、广告优化、用户增长、市场活动亦或是产品命名,字节都将 A/B 测试引入其中。而抖音的名字也是来源于此。

善用工具,而非迷信工具

如果你常常逛论坛,在诸多钓鱼水贴之中,儿子出生给取个名字可能是最容易吸引到大家回复的一类。这种刻在人类基因里的取名欲望自然在工作中也会遇到,但给产品取名却不能炸鱼,而是要以数据为依据。抖音取名为例,字节跳动便是采用了 A/B 测试的方式再结合专家意见最终才有了抖音的名字。

抖音取名的流程是一种典型的 A/B 测试应用流程,其主要可以分为四个部分,数据分析、提出假设、A/B 测试、解读实验。当然,取名是一次性的活动,无法多次优化,而如果是其他产品的升级迭代,便可以多次重复以上步骤以达到产品的最佳效果。抖音在取名时,其首先会根据以往数据和产品特点进行推断,提出多个可行的名字,然后再将不同的名字投放到应用商店进行A/B测试。

字节跳动创始人、CEO 张一鸣曾经表示“ A/B 测试只是一个工具而已,是测不出用户需求的,同理心才是重要的基础。” A/B 测试一般而言具备不可复制性,也无法精准判断大量的独立性问题和置信度评估,也就是说 A/B 测试也不是完美的。所以,这里还需要加入一定的人为干预,比如“抖音”这两个字在最终的 A/B 测试结果中,成绩就只是屈居第二。但是第一的方案却在经过探讨后被一致否决了,原因就在于其效果虽然好,但没能注入足够的同理心,结果自然难以长久。而在现场,杨震原也表示:“没有最好,只有最合适,充分利用A/B测试能够帮助实现科学决策,而不是替你决策。”

A/B 测试是工具,也是一套基于假设验证的实验方法。而在用户常用的场景中则更多的表现为在线上流量中取出一小部分,完全随机地分给原策略 A 和新策略 B,结合一定的统计方法,得到对于两种策略相对效果的准确估计。而火山引擎的 A/B 测试便是以工具的形态,为用户提供一站式多场景实验平台,其场景可以覆盖个性化推送、可视化建站、多链接网页、 客户端编程、 服务端编程等诸多领域。

工具的价值在于将我们所部分事情简单化、高效化。火山引擎 A/B 测试产品主要基于数据分析、提出假设、A/B 测试、解读实验这一闭环,在数据方面实现全面洞察,让决策链条更加清晰;在分析层集成不同产品,提升分析流畅度;在测试时实现统计引擎自动化分析来辅助决策;在解读时科学决策,再辅以 Feature Flag(功能开关)严格控制风险,跑赢的策略可以直接固化成一个Feature Flag,在合适的时机打开,进行差异化的下发,从而降低失败回滚的风险。

A/B 测试,还将引领多远的未来?

早在 1747 年,英国海军船员由于营养不均衡容易患上坏血病,医生们则为他们提供了苹果汁,醋,海水,柠檬和橘子等不同的食物来分组测试治疗方案,而这也是有记载以来 A/B 测试最早的雏形之一。经历了几百年的发展,到了互联网时代,A/B 测试依然需求旺盛,火山引擎 A/B 测试产品的丰富便是对用户 A/B 测试产品热情的一种回应。

如今的 A/B 测试相比以前已经有足够的进步,其核心便在于数据的质变。以数据为驱动,以 A/B 测试为量化分析和评估的方法,再辅佐专家意见,这样就可以帮助产品在决策时有据可依,进而提升决策的质量。

当然,A/B 测试的价值还远远不只这些。对于产品而言,合理使用 A/B 测试能够提升产品活跃度,促进用户留存率;而持续迭代的算法、功能和模型,也可以通过 A/B 测试实行降本增效;在一些活动之中,通过各类智能特型实验进行精细化运营,能实现收益最大化;而对于管理方面,利用正交试验可以找到更为高效和可靠的管理工具,从而为团队发展铺平道路。

那么市场中其他家对于火山引擎 A/B 测试产品的反响如何呢?在活动现场,我们有幸听到了几家用户的声音,他们对此的讨论主要集中在两个层面,第一是产品的开箱即用,操作方便,这能够解决中小型企业研发能力不足的问题,能够有效减少专业技术和数据两个层面投入;第二则是火山引擎 A/B 测试对于提升效率和价值驱动方面带来的帮助,其能够让企业的运转更加流畅,可以在后台直接看到当前需求的数据表现,快速得到数据结论,很直观的量化企业的数据价值。

字节跳动对于 A/B 测试可谓是“执念颇深”,他们深到让一些人一度认为字节是否只会 A/B 测试。对此,张一鸣则回应称:“同理心是地基,想象力是天空,中间是逻辑和工具。A/B 测试只是一个工具而已,是测不出用户需求的,同理心才是重要的基础。如果没有同理心,做出的产品肯定没有灵魂,不能满足用户需求。但是光有同理心还不够,这样只能做出有用的产品。想要做出彩的产品,想象力非常重要。我们跟踪一个个 Bug,做用户访谈,做 AB 测试是务实,但我们也有想象力,也浪漫。信息创造价值是我们的务实,记录美好生活是我们的浪漫。”

而如今,火山引擎在解决方案、技术中台、智能应用、统一基础服务等多个方面推出了技术产品。其旨在帮助用户建立数字触点,提升触点体验,数字驱动决策,研发敏捷迭代,进而打造了一套新一代的智能增长技术整体架构。火山引擎开放日 A/B 测试专场为大家呈现了冰山一角,相信字节跳动未来还会有更多优质的技术服务和能力会持续输出。

相关阅读推荐:

抖音春晚红包百亿互动量级背后,火山引擎浮出水面

独家揭秘!抖音爆款实时视频漫画变身特效背后技术

字节跳动 8 年,抖音、头条的技术能力开发者都可以用起来了!

Logo

20年前,《新程序员》创刊时,我们的心愿是全面关注程序员成长,中国将拥有新一代世界级的程序员。20年后的今天,我们有了新的使命:助力中国IT技术人成长,成就一亿技术人!

更多推荐