Skip to content Skip to footer

拥有全球最大月活跃用户数的三消游戏《Anipop》成长背后的人工智能和数据科学

作为休闲三消游戏品类的有力竞争者,乐元素开发了《Anipop Match-3》、《Clover Match-3》等“国家级”休闲三消游戏,实现月收入和MAU超亿。这一成就也离不开他们强调长期游戏运营与人工智能和数据科学相结合。

image-20231228234313577

Happy Elements的主要游戏。Anipop 是左边的第一个。

image-20231228234834455

Anipop:在中国占主导地位的三消游戏

在“2021游戏数据驱动大会”上,快乐元素AI与数据科学团队负责人Richard Chen分享了快乐元素多年来在数据驱动增长方面的努力。

目前,许多游戏厂商正在探索利用数据来优化运营的路径。如果你和你的团队在这方面仍然困扰着,或者想尝试其他的游戏操作方式,那么快乐元素的经验分享可以帮到你。以下为演讲实录:

通常,游戏设计师会问各种各样的问题:什么样的用户流失了?如何调整和优化关卡难度?你能快速给我数据反馈吗?作为人工智能和数据科学的成员,这些问题可能会让人不知所措。

image-20231228234851025

在游戏行业,用户的游戏内行为非常复杂,包括点击量、用户轨迹、用户留存、游戏行为等。与电商平台相比,用户在游戏应用中的时间和行为路径要长得多,也复杂得多。

因此,游戏设计师面临着许多挑战。例如,在设计一个活动时,哪个是有用的,活动内的整体排名列表或竞争列表,在各种游戏签到格式下,哪个是真正有效的,哪个参与者最多。由于游戏设计的复杂性,游戏设计师在谈到这些功能的性能时会遇到很多这样的问题,并提出了许多问题。

为了快速响应业务需求,我们需要依靠先进的人工智能和数据科学产品来提高游戏设计的自主性,并建立我们自己的人工智能和数据科学系统。

几年后,我们将数据分析框架总结为四类:

  1. 目标管理/收益运营

2.游戏机制优化
3.自动AB测试
4.个性化 AI 干预

image-20231228234920445

01 目标管理/收益运营

image-20231228234933942

当游戏在线时,外部干扰很容易导致收入或DAU波动。其他可能导致收入/DAU波动的原因可能是游戏设计漏洞没有及时发现和修复,或者用户已经满级而不再想玩等。这时,简单地回答这些问题可能是非常被动和耗时的,因为数据科学家需要检查所有的数据,看看哪些数据发生了变化,然后仔细看看游戏中每个功能模块的明显波动。

有时需要两到三周的时间才能找到数据波动的根本原因,而很多时候根本原因却找不到。我曾经听说,在另一家公司运营的一款游戏中,花了两个月的时间才找到功能模块和触发数据波动的原因。这种延迟对企业来说代价高昂。

因此,我们需要建立自己的收益运营体系,帮助我们分解游戏的收益目标,明确责任监控,尽快找出数据波动的主要原因。

image-20231228234951916

首先,我们将分解收入目标,建立目标管理体系。在游戏工作室定义其年度收入和 DAU 目标后,数据科学家将帮助企业分解目标并将其转化为可实现的子目标。在运营过程中,我们会跟踪目标达成情况,并定期进行业务审查,以优化游戏运营。

image-20231228235010563

在跟踪过程中,由于我们将收入/DAU目标分解为子目标,因此能够明确每个游戏部门团队的监控责任范围,并及时发现数据波动的主要原因。举个例子:这是我们在拆解游戏目标时制作的框架图。

image-20231228235028170

我们将按平台分解游戏的最终目标——DAU、ARPU 和游戏收入估算,然后查看新用户的质量、留存率和不同支付级别的用户。分解这些后,您可以准备这样的仪表板。

为了达到最终目标,我们分解收入后?DAU目标分成不同的模块,我们也可以定义相应的数据指标进行跟踪。经过几个月的运营,游戏团队将能够根据数据判断原定的目标是否在正轨上,以及如果目标不在正轨上应该做哪些相应的调整。跨部门也可以就目标结果及时沟通。

如果最终目标是获取新用户,那么它必须与不同的渠道和用户获取量有关。在这种情况下,如果我们的终极目标指标出现波动,我们可以快速定位到每个渠道和用户获取量中哪个子目标出现了波动,并做出相应的业务调整。

02 游戏机制优化

image-20231228235044542

但是,如果一些业务目标是提升新用户的核心,那么对于新用户或者某个级别的模块,应该在多大程度上进行数据分析呢?

这涉及我们将数据科学应用于博弈机制优化的工作。数据科学和游戏优化的核心目标是评估游戏功能和质量,并探索优化方向。完成分析后,我们需要知道每个功能模块做得好不好?哪个部分表现不佳?在告诉游戏设计师这些发现之后,游戏设计师可以进行什么样的优化和改进?

游戏优化还包括用户指南、关键游戏数值、游戏机制、各种游戏系统的交互等方面。许多游戏功能模块融合了多个概念、游戏玩法、艺术和创造力。因此,从数据科学家的角度来看,深入的数据科学是关键。

image-20231228235101560

我们还发现,过去做数据科学的时候,大家只看DAU、收入、留存等数据。事实上,这些数据揭示的关于他们自己游戏质量的信息相对有限,因为这些数据是每款游戏的标准数据。

因此,我们定义了游戏数据科学的框架。从游戏的底层来看,游戏实际上由游戏系统和核心玩法组成。在底层之上,有关卡发展、剧情、偶像成长等成长体系。结合游戏玩法和成长系统,用户将在游戏中展现对游戏的热爱。这时我们会发现,用户数量和时长被划分为直立/倒三角形,大多数用户在游戏中花费的时间最少,而最少的用户在游戏中花费的时间最多。随着经济系统叠加在游戏玩法之上,用户数量和支付金额的分层也呈现出直立/倒三角形的形状,大多数用户在游戏中花费很少,而极少数用户在游戏中花费很多。

image-20231228235119901

因此,我们在做博弈分析时,要时刻思考不同增长体系和玩法的结合,是否能有效地将用户的游玩时长和支付金额在分层中从下到上转化,从而将用户转化为更高的留存率和更高的LTV。

image-20231228235137352

以上是我们对游戏进行游戏分析时生成的报告示例。其目录结构如下:

首先,我们将首先评估该系统的ROI是否整体良好。这个系统的输出是正的还是负的?

其次,我们将对核心模块进行诊断,以确定它是参与问题、机制问题,还是数值或绘图问题?

第三,我们会给出相应的优化建议。我们要求分析师在做分析时,清晰地绘制出数据资源的流向,最后给出规划人员和工程师能够理解的调优和建议。

03 数据科学 — AB 实验与自动化实验分析

image-20231228235157429

数据科学家在进行游戏机制优化后,找到这些游戏的优化建议,并将其提供给游戏设计者。然而,游戏策划者应该接受哪些建议,他们如何快速验证这些优化建议是否真的导致了重要游戏指标的改进?

因此,第三步是进行A/B实验和自动化实验分析,以加快游戏测试试错速度。

image-20231228235216077

数据科学的核心目标是提供深入的自动化分析,以帮助企业快速迭代产品。实验启动后,我们最想知道的核心问题是,实验的整体效果如何?产生这种效果的机制和途径是什么?在得到当前的性能结果后,是否可以根据数据分析对结果进行改进?效果提升后,优化实验方案和功能,进行下一次迭代,然后业务走向正循环。

同样重要的是,当游戏设计师对各种游戏功能、内容、创意和其他机制进行更改时,我们可以帮助他们了解哪些是产生积极影响的,哪些不是。

为了高效解决这个问题,我们构建了一个自动化的数据科学A/B测试平台,可以在A/B实验过程中自动向游戏设计师提供闭环的数据反馈。他们只需要在游戏内实施更改并在我们的平台中进行配置,然后等待仪表板上弹出生成的详细分析。我们可以比较手动分析和自动分析之间的区别。

image-20231228235233548

手动分析需要数据科学人力,并且容易出现人为错误。也很难保证分析水平,游戏设计师和数据科学家之间的沟通成本也高得令人望而却步(更不用说写详细的幻灯片了)。此外,数据科学家需要花费大量时间来学习和发展使用高级分析模型的深入能力。实现自动化分析模块后,我们可以快速获取数据,精准定位结果,让游戏设计师能够独立高效地配置分析报告,自动提供深入的分析结果。

过去,我们的实验周期至少需要 3 周。现在,在计划了 A/B 实验之后,我们可以在同一天看到数据结果。我们还可以发现游戏中意想不到的用户行为反应,快速定位系统改进的方向。现在项目组每个月进行的实验次数也增加了20倍。

image-20231228235252633

以月活跃用户超过10亿的“Anipop”为例。在这款游戏推出新的变化后,一些重要的指标出现了波动。我们将使用红色和绿色标记来帮助企业快速查看支付和在线时间等关键指标是否稳定并表现符合预期。如果指标在统计上显着下降,游戏设计师将密切关注它。如果指标变化随着时间的推移而减弱,游戏设计师将检查影响是否是短期的,并调查为什么结果是不可持续的。

image-20231228235310345

过去,游戏设计师会要求进行一些手动数据检索,然后时不时地进行数据分析。但现在,游戏设计师只需每天登录自动化 A/B 测试平台,即可查看实验的数据性能。

在拿到整体的 A/B 测试结果后,我们会思考,这些结果对于所有用户来说都是一致的吗?

通常不会。鲸鱼用户、中付费用户、低付费用户;或者低参与度用户,许多游戏的高参与度用户在他们喜欢玩什么或做什么活动方面表现得非常不同。游戏策划者、分析师提出的优化建议,很可能只代表众多游戏玩家群体中一个或几个玩家群体的优化建议。

那么,有没有办法在实验的分析结果中自动找到效果改善的队列用户和效果未改善的用户呢?

这时,我们可以使用营销提升分析,结合因果推理和深度学习算法,结合用户画像数据,根据实验结果自动分析有效用户和无效用户。数据科学家不再需要手动细分用户,这在过去需要很长时间。

image-20231228235332230

下面是我们使用 A/B 实验的示例。总体而言,用户留存率并不明显。有些用户是积极的,有些用户是消极的。由此得出的结论是,游戏中的优化更改仅应用于具有积极影响的这组用户,而不适合其他用户。因此,我们可以通过将更改应用于这部分用户来产生积极的收入提升。

image-20231228235353043

这些自动详细用户细分的分析还可以帮助我们准确找到游戏内有效用户和无效用户的需求,也可以让游戏设计者思考为什么变化对有效用户和非有效用户有不同的结果,更好地了解不同的用户,并有可能提出其他游戏规则变化的想法,更准确地带来积极的收入提升。

在对用户进行清晰的细分之后,游戏设计师会进一步提出另一个问题:我觉得这个方案应该对所有用户都有增强的效果,为什么会对这么大的用户量产生负面影响

这时,我们可以使用另一种方法论:中介分析,从用户的路径开始,找出我们的干预在路径的哪个点上有很大的影响。例如,在实验启动后,我们发现用户活跃度有所增加,但用户观看激励视频的次数却减少了。事实上,我们没想到会发生这种情况。

image-20231228235417935

在观察到这种现象后,游戏设计师在推出实验的变更时,需要考虑激励视频和收入之间的权衡,并对设计进行微调。也许我们可以减少这个功能和激励视频之间的重叠,直接增加用户活跃度,而不是干预意想不到的变现渠道。如何?想出一个想法并尝试一下!

image-20231228235433542

04 个性化AI干预

image-20231228235450766

接下来,以下是在游戏场景中应用 AI 的一些其他示例。

一、智能礼包推荐。游戏中有大量的虚拟产品。通过智能礼包推荐,我们可以设计出不同的礼包和不同的游戏内物品礼包组合,从而增加用户购买的可能性和用户的生命价值。

image-20231228235508588

二是广告变现优化。广告变现有时会与 IAP 发生冲突。如果广告过多,高价值用户可能会被卖给其他游戏;如果广告太少,低LTV用户的变现就会下降。我们在这个场景中实现的,是在保持IAP支付不变的同时,提高IAA游戏广告收入的效果。

image-20231228235524761

第三,预测用户游戏和支付行为。除了通过客服运营来保障鲸鱼用户的活跃度外,我们还会预测用户流失/支付的概率,帮助商家快速定位哪些重要客户可能流失。

image-20231228235542995

第四,优化用户获取中关键用户行为的回传。当我们购买广告时,我们会针对具有不同用户行为准则的用户。这可以通过将游戏内用户的深度游戏和购买行为回传到广告网络来完成。但是在服务中应该返回什么样的关键行为,我们应该给这些关键行为什么样的价格,才能最大化用户获取量和ROI?

image-20231228235602626

这些都是非常模糊的,所以我们进行了相应的实验并实施了它们。我们发现,在优化广告购买行为方面,通过机器学习过滤掉重要行为并计算其最优出价,可以大大提高广告平台上的用户获取量和ROI效果。

第五,自动水平难度测试。Anipop 是一款基于关卡的数学 3 游戏,制作关卡非常具有挑战性。如果关卡太难,很多用户会流失;如果关卡很简单,可能会浪费变现机会。因此,我们将制作一些根据用户行为自动玩关卡的机器人,这使我们能够在上线之前测试新关卡难度的稳定性。

一般来说,数据科学家在分析数据时会遇到各种挑战。在带领团队进行业务分析时,我有过深刻的体会:我们需要从业务的角度思考,业务还需要我们创造哪些价值,需要做出哪些改进和改变。在这方面,数据仍有很大的空间来产生业务影响。