在当前数字化时代，笔者更倾向于聚焦于项目的核心价值，并全面追踪项目的整个发展历程，期望读者能够在短短7分钟内，深入了解一个项目的起源与发展。
笔者所在的企业是一家总部位于美国的跨国公司，经常需要应对各种内部控制相关的要求。近期，笔者接到了财务部门关于SOX合规审计的任务。
首先，我们需要明确什么是SOX合规审计——SOX全称为Sarbanes-Oxley Act，即萨班斯-奥克斯利法案，是美国联邦政府颁布的一项极为复杂的法规，其中对企业影响最大的是要求企业每年提交一份内部控制报告，以评估内部控制的有效性，并在财务报告中对此报告进行背书。
在这样的背景下，作为市场部门数据中台负责人，笔者所在的团队自然成为了内部控制项目的重点关注对象。其中，一条关键的业务线是与广告联盟的合作，涉及多种佣金模型，如基于导流或导流产生的成交来支付佣金。这条业务线与超过13万个独立的导购网站合作，每年为公司创造超过上亿美元的收入，同时公司也需要支付千万美元的佣金费用。
今年，财务团队对这笔费用的准确性提出了质疑。笔者所在的公司拥有一个由20多人组成的业务团队，负责与这13万个合作伙伴进行对接。由于业务变化迅速，费率模型过于复杂，并行操作过多，仅依靠业务团队维护一套准确的费率计算系统成为一大难题。实际上，除了少数头部流量外，大部分合作伙伴几乎处于无人管理的状态。
当我们团队接手这项工作时，发现业务团队将所有的费率数据全部保存在谷歌文档中，并且经常发生多人同时修改文档的情况。
值得一提的是，这种现象在许多传统企业中非常普遍，由此导致的流程管理混乱、数据质量参差不齐、数据遗失严重等问题屡见不鲜。更糟糕的是，经过进一步分析，我们发现理论支付的佣金数与实际支付金额之间存在高达40%的差距。根据SOX法案，如此巨大的数据差异显然无法通过内控审核。
笔者对现有的业务流程进行了梳理：
接下来，我们将介绍一个第三方管理平台，该平台用于管理公司与所有导购网站的合作关系，并计算佣金模型及佣金支付。业务团队直接在第三方管理界面上调整佣金模型的配置，而数据团队则定期将导购网站的交易数据分享至第三方平台，并通过佣金模型计算出公司需要支付的佣金费用。
可以看出，最核心的费用计算完全依赖于这个第三方平台，而我们公司实际上无法保证这个平台的计算准确性。因此，一旦面临审查机构的质询，这个问题就会凸显出来。目前，由于大量人工操作的瓶颈，我们无法对海量的模型进行有效管理，也无法对每一笔交易进行核对，更无法对可疑交易进行预警。
因此，这个项目需要构建一套并行的内部费用计算系统，实现高度监管的佣金审计自动化工作，帮助业务和财务部门高效监控费用支付，确保支付准确，并主动对可疑交易进行预警。
这个需求面临两个主要难点：
（1）佣金模型结构化过于复杂，存在大量的定制化需求以及奖励触发条件。这种业务在不同层面的切割会导致结构化后的数据大幅膨胀。
下面举一个例子：导购网站A在手机品类上的佣金是1%，在首饰品类上成交总量10000美金以下佣金2%，超过部分5%，其余所有佣金为2%。对于这样一个佣金模型，在全品类（超过千种）上的费率展开多达上万条。(如下)
实际情况远远比这个佣金模型复杂得多，我们有130万个这样的合作伙伴，这意味着即将要面对的是海量费率模型的全历史维护和准确费用计算。
（2）主动预警需求的多样性
财务和业务团队为了保证高质量的引流，在各个方面都可能添加预警条件，如交易数量不平、佣金金额不平、奖励条件不合理等。面对这些未来可能需要大量开发的工作，如何让用户以最小的成本定制化监控和预警，在设计上给了我们一个巨大的挑战。接下来的产品设计将着重从这几个角度出发，进行实现。
基于以上分析，我们提出了整体解决方案：
与第三方平台对接，落地佣金模型ODS层。开发语义引擎，自动消费佣金模型元数据，并使用结构化引擎读取费率模型，生成最细粒度的结构化费率数据。应用佣金模型，使用核心交易数据模拟实际支付费用，并与佣金结算数据进行对比，实现费用监控。预留多层级自动监控和定制化警报推送。开放结构化的佣金模型数据，为分析师和业务人员提供自主分析和查询。上面的设计满足了以上的几个需求。首先，通过自动集成第三方的数据落地ODS层，保证了数据的一致性，同时在本公司内部同步了一份可读的佣金模型。
在结构化引擎这一层，我们将佣金模型进行扁平化展开后，对语义进行封装，保证了以后对更多佣金模型的横向可扩展性。最终将加工过的数据结构化落地，并在我们的数据平台上进行开放，供SQL based分析。
之后将数据进行BI层的搭建，基于业务需求，对多个数据源进行聚合，通过OLAP（Kylin）进行数据聚合后，在我们内部的BI应用上进行展示。
过程中对异常数据，我们团队进行了在各个层级的检测，从ODS、数仓、OLAP、业务每一层都预留了数据检测的定制化服务，允许包括工程师、分析师以及业务同学，定制基于需求的异常监控和主动预警。
这个项目涉及到了跨团队合作，跨公司合作：
题图来自 unsplash，基于 CC0 协议