因果推断应用现状、挑战与趋势 时快讯

引言

因果推断与机器学习在近年来相互影响和促进，在实践中的应用越来越多，比如Uplift模型就是典型。目前，因果推断在典型的AI应用如推荐系统中也有一些有意义的探索，但尚未形成普遍的应用，仍存在一些待解决的难题和挑战。

本文是DataFun与 腾讯海外游戏数据科学总监赵振宇 的访谈， 探讨了因果推断的不同方向，比如实验（A/B测试）、观测因果推断在实践中的现状与挑战，以及其与机器学习之间相互影响的成果。

【资料图】

赵振宇老师介绍：

赵振宇，腾讯海外游戏数据科学总监，开源项目CausalML创始作者之一。美国西北大学统计学博士，先后在Yahoo、Uber、腾讯任职，负责实验、因果推断、机器学习、分析预测等数据科学方法的应用、研究和工具建设，发表多篇相关论文和专利 。

DataFun社区｜出品

数据智能专家访谈 第18期｜来源

▼

01.

A/B测试在实践应用中的挑战和发展趋势

如今很多科技公司在实验方面的实践应用已经很普遍，例如游戏、视频、电商、信息流、传统网页、社交平台、打车双边平台等。在这些产品中，实验的应用场景包括市场营销、精细化运营、产品UI、推广搜AI算法等多个方面。实验的主要价值在于帮助业务进行科学决策和产品迭代，进而提升用户体验和促进业务增长。然而在不同行业、产品、细分场景中，实验的进一步推广和应用仍有很大空间。

高效科学的实验需要一套好的实验解决方案支持，实验解决方案涵盖了实验平台和工具、实验方法、实验文化等多个方面。

一个优秀的实验平台和工具系统需要满足“多、快、准、稳、易”的要求，即可以通过容易理解和操作的平台系统，稳定的支持大规模并发的实验量，并快速的产出科学准确的实验结果。

在实验方法方面，有一些较为明确的研究方向，例如标准AB测试的削偏降噪、多臂老虎机、连续实验、Interleaving实验、社交网络实验、时间或空间交替实验等。掌握这些方法对实现更好的实验效果具有重要意义。

实验文化对于推广实验应用和实现业务价值具有关键作用。良好的实验文化有助于鼓励团队持续探索和创新，在合适的场景使用实验决策、试错和迭代，从而实现更高的业务价值。而实验文化的建设往往是一个长期过程，包括开设培训课程、建立分享机制、进行有效业务沟通、建设科普和专业文档等，并与实践相结合，在实例中学习和进步。

实验解决方案整体还在快速的迭代和发展，预期可以在更广阔的业务场景中发挥价值。 有一个值得探索的新方向是ChatGPT、 AIGC 如何与 A/B 测试和因果推断产生一些结合，例如一方面可以思考AIGC如何辅助实验解决方案的智能化，另一方面如何通过实验和因果推断优化AIGC相关的算法和产品。

▼

02.

基于观测数据的因果推断在实践应用中的现状、挑战

实践中的很多场景做随机实验存在困难，基于观测数据的因果推断是对实验的一个补充。

在方法层面，除了经典的虚拟事实(Potential Outcomes)模型，近些年因果图（Causal Graph），以及结合了机器学习的因果学习（Causal Learning）模型也越来越受关注。

在应用方面，近年来，随着因果推断方法和工具的不断成熟，工业界也开始越来越多的使用因果推断解决实际问题，例如评估全量发布的新功能或者营销活动效果，以及研究产品性能对用户的影响等。然而，值得注意的是，在业务成功落地因果推断项目的门槛依然较高，一个成功的因果推断项目需要满足三个关键要素：

1）严谨可信： 项目需要严谨地设计和验证因果模型，以得出可靠的结论。

2）业务价值： 因果推断需要与业务需求和目标紧密结合，保障产生的洞察可以为业务所用，具备落地价值。

3）合理的投入产出比（ROI）： 进行严谨的因果推断并非低成本的任务，因此在立项时，需要评估成本与产出。举个例子，如果一个研发团队在决策是否值得投入1个人力周进行网络加速，需要花费2个人力周进行因果推断分析网络加速对用户的影响，这从ROI角度是不划算的。实际上，在很多场景中，进行实验的成本可能低于因果推断分析，且结果更准确。

关于第一点，因果推断相比机器学习有更高的精确度要求，因为一个预测精确度80%的机器学习模型可以是对业务有用的，但如果一个因果推断模型可以移除80%甚至是90%的偏差，残余的偏差依旧可以导致结论不可用。为了达到严谨可信的目标，在实践中需要深入思考和克服以下难点：

1) 充分考虑潜在偏差和混杂因素：如何周全的考虑到所有可能的混杂因素以最小化偏差？或者说，如何确保没有漏掉重要的混杂因素？

2) 建立合理的关系模型：如何在混杂因素和目标变量之间建立合理的模型关系或图结构？

3) 评估因果推断的可信性：如何量化评估和解读结果的准确性和可信度？

尤其是最后一点，因果推断不像机器学习模型或实验那样容易建立精准度检测的方法，结果的可信度往往是难于直接量化的。 所以说建立一个因果模型可以是容易的（有很多的方法、方式构建一个模型），但建立一个严谨可信的因果模型是不易的：需要了解业务逻辑、深入思考模型框架，以及设计相关检验。 同时，我们对因果推断的模型可解释性以及结论的科学解读也应设立高要求和最佳实践准测。

▼

03.

结合机器学习的因果推断方法在实践应用中的现状、挑战

因果推断与机器学习的结合是相辅相成的。对于因果推断问题，借助机器学习工具可以做得更加精准，同时模型的假设条件也更宽松了，例如传统的线性回归模型假设目标变量和自变量之间是线性关系，但机器学习模型没有线性假设的限制，可以更灵活的捕捉真实的数据模式。对于传统的机器学习问题，因果推断可以提供新的视角和方案框架，强调关注业务策略对用户的增量影响。这种结合两者优势的方法为解决问题提供了更有效的方案。

对于因果推断与机器学习的结合，一个典型的例子就是Uplift模型。

Uplift模型借助机器学习，可以用于估计用户粒度的因果效果，根据用户的偏好，为用户提供个性化的产品体验。

A/B测试一般用于找用户整体粒度的实验效果，例如用于决策是将策略A还是策略B上线给全体用户。 但Uplift模型使得分析和预测用户粒度实验效果成为可能，如果我们知道一个策略对每个用户的影响，那么我们就可以根据用户的实验效果和偏好，提供差异化的策略，进而提升用户体验。

Uplift模型作为机器学习和因果推断的结合，可以被归为“因果学习”的大类，因为它不再是单纯的进行因果推断而止于数据洞察，而是在求解一个优化问题，生成在线策略或模型。Uplift模型的效果是可以通过实验量化的：通过实验对比基于Uplift模型的个性化策略和默认策略，是否可以得到更好的业务指标效果。因此，在用于解决优化问题时，Uplift模型不再受因果推断常见的难以验证结论可信度问题困扰。

▼

04.

Uplift模型在实践应用中的发展趋势

Uplift模型在过去 3 到 5 年里发展得非常快，现在已经有不少成熟的模型和函数库，同时大家已经开始在多元化的场景中使用，从最初的市场营销投放场景，延伸到推荐算法、内容生产、个性化产品体验等方面。未来有几方面可以思考：

首先是如何进一步增强模型的精确度和稳定性。 在实践中使用Uplift模型常遇到两个问题：1) 模型在训练数据集上看不到效果；2）模型在训练数据集上表现不错，但是在测试数据集或上线后没有效果。造成这两个问题的原因和Uplift模型的预测目标相关：经典的回归或分类机器学习模型的任务是预测一个目标变量Y， 但Uplift模型的任务是预测两个目标变量Y之间的差值（是一个二阶问题），而这个差值通常相对于目标变量更小、更不稳定 ，因此Uplift模型需要捕捉更细微的信号，过拟合风险会显著增加。有几方面的工作会对解决这个难题有帮助，包括优化模型架构、特征选择、改进基础模型（例如和深度学习的结合）等。

此外，降低Uplift模型的使用门槛和成本也是一个值得探讨的方向。 当前Uplift模型的应用通常需要分为三个阶段进行：先跑实验收集训练数据，然后训练模型，最后再跑一个实验来验证上线模型的有效性。这种分阶段流程会增加相关团队之间的沟通成本和项目周期。因此，期望未来能从方法、流程和工具等方面设计出更连贯且自动化的闭环，使Uplift模型的应用变得更加简单和快捷。

▼

05.

因果推断方法改进机器学习算法、应用的现状、挑战

因果推断可以为机器学习解决问题提供新的思路，也可以优化机器学习的模型流程中的某些环节，达到更好的效果。

这里可以结合几个例子说明。

首先，因果推断可以带来关于“增量”的思考，制定更合理的模型目标： 在推荐场景，假设我们知道一个用户来商店确定要消费商品A，那么向用户进一步推销商品A也许是多余的，如果用有限的资源位向用户推荐商品B，那么最终用户可能会同时购买商品A和B，从而提升整体销量。在广告营销场景，基于自然转化率模型，将广告投给那些大概率会自然转化的用户是低效的；因果推断提供了另一个视角，预测广告对提升用户转化率的增量效果，引导广告针对那些能够产生正面影响的用户进行定向投放，从而提升整体转化效果。

其次，因果推断可以帮助优化机器学习系统中的环节。 一个例子是通过因果推断方法帮助机器学习消除偏差，例如在训练新的推荐模型时，所使用的曝光、点击训练数据往往会受到产生数据的现有模型偏差影响，通过因果推断方法，可以帮助降低偏差，达到更好的模型训练效果。

值得注意的是，尽管目前有许多探索和案例在用因果推断方法完善机器学习解决方案，但这些方法在主流线上模型中的广泛应用尚未普及，说明仍有挑战需要克服。一些关键因素可以解释这个现象。首先，在一个业务场景的机器学习模型成熟之前，有许多其他成本较低且效果明显的优化路径可供挖掘，如特征工程和模型演进。其次，因果推断具有一定的复杂度，需要专业知识和投入，如之前谈到的，其应用过程中也存在一些待解决的难题。最后，大家对因果推断相关知识和经验的进一步了解，也会帮助推进形成更多有价值的业务应用。

因果推断是一个快速发展的领域，相信随着时间推移，因果推断的方法、易用性、效果将进一步完善，因果推断在各行业应用中的普及度和影响力会越来越广泛。在这一过程中，有很多技术创新和业务价值的机会等待着被我们发掘和把握。

- End -

访谈人： 赵振宇 腾讯

与谈人： 刘晓坤 DataFun

撰文： 刘晓坤 DataFun

▌专家介绍

赵振宇

个人介绍 ：腾讯海外游戏数据科学总监，开源项目CausalML创始作者之一。美国西北大学统计学博士，先后在Yahoo、Uber、腾讯任职，负责实验、因果推断、机器学习、分析预测等数据科学方法的应用、研究和工具建设，发表多篇相关论文和专利。

▌数据智能专家访谈

“数据智能专家访谈”是 DataFun 新推出的内容系列，本系列旨在访谈不同公司的核心技术人员，得到专家在不同领域的洞察，包括但不限于行业重点、热点、难点，增加读者对行业技术的了解。

▌大话数智

大话数智，是DataFun策划的智库类公众号，包括但不限于知识地图、深度访谈、直播、课程等学习资料，旨在为广大数据智能从业者、数据智能团队提供一个日常学习成长的平台，促进先进的数据智能技术的传播与广泛落地。

▌2023数据智能创新与实践大会

⏰ 时间 ：7.21/22 9:00-17:00

地点 ：北京朝阳悠唐皇冠假日酒店

购票 ：

会议亮点：

1. 4大体系，专业结构数据智能

2. 16个主题论坛，覆盖当下热点与趋势

3. 70+演讲，兼具创新与最佳实践

4. 1000+专业观众，内行人的技术盛会

标签：