阿里云计算_阿里云实时计算产品经理李佳林：基于 Flink 构建大规模风控系统的技术实战

时刻

This was by Flink Zou Zhiye, and the comes from the of Cloud real-time Li at the Flink (CSDN Cloud ) on July 5. The main : a risk based on Flink, 's risk , in large-scale risk , and Cloud FY23 risk plan.

目前，Flink基本上为阿里巴巴集团的所有公共汽车提供服务。它的计算能力达到两倍，每秒达到40亿块，其计算任务达到了30,000多，总计100万 +核心。它涵盖了小组中几乎所有特定的业务，例如：数据中间平台，AI中间平台，风险控制中间平台，实时操作和维护，搜索建议等。

建立基于弗林克的风险控制系统

风险控制是一个大主题，涉及规则引擎，NOSQL DB，CEP等。本章主要讨论了一些风险控制的基本概念。在大数据方面，我们将风险控制分为3×2的关系：

三种类型的风险控制服务

对于进程和后处理风险控制，对终端的看法是异步的，对于先前的风险控制，对终端的感知是同步的。

这是对先前风险控制的一些解释。风险前的控制是将训练有素的模型或计算出的数据存储在REDIS和其他数据库中；

总体而言，两种方法的延迟约为200毫秒，可以用作同步RPC或HTTP请求。

对于链式相关的大数据方案，它是异步风险控制请求，其异步及时性非常低，通常是一秒钟或两秒钟。如果您追求超低潜伏期，则可以认为这是该过程中的风险控制，并且可以由机器处理风险控制决策过程。

一种非常常见的类型是将Flink SQL用作指示阈值的统计信息，使用Flink CEP作为行为序列规则分析，而另一个是在Flink上使用Flink来描述其中的算法，然后使用Flink执行规则的计算。

Flink是规则中风险控制的最佳选择

目前，Flink是阿里巴巴组中最佳风险控制选择，并且有三个主要原因：

规则风险控制的三个要素

规则风险控制中有三个要素。后来提到的所有内容围绕这三个：

Flink规则表达式增强

对于Flink，它可以分为两类：无状态规则和规则规则，其中规则是Flink风险控制的核心：

阿里巴巴风险控制实践

本章主要介绍阿里巴巴如何符合上述工程中提到的风险控制的三个要素。

从整体技术的角度来看，它目前分为三个模块：感知，处置和洞察力：

阶段1：SQL实时协会和实时统计

在此阶段，有一个SQL评估风险控制系统，该系统使用简单的SQL来执行一些实时关联和统计数据，例如使用SQL进行聚合操作sum（）> 50，其中规则为sum（），规则的相应阈值为50;假设现在10、20、50和100正在同时在线运行，因为单个Flink SQL作业只能执行一个规则，那么这4个阈值需要应用4个flink作业。优势是简单的开发逻辑和高工作隔离，但缺点是它是计算资源的巨大浪费。

阶段2：

第1阶段风险控制规则的主要问题是规则和阈值是不可变的。当前，Flink社区中有一些解决方案，例如基于实施。在下图中，该规则是在有新阈值时通过广播来广播操作员的情况。

例如，判断风险控制对象已在一分钟内访问了10次以上，但是在618或 11上可能会变成20或30次，然后才能被风险控制系统下游的在线系统感知到它。

如果在第一阶段，只有两个选择：第一个是在线运行所有作业；第二个是在某个时刻停止flink工作，并根据新指标开始新的作业。

如果是基于它，则可以实现规则指标阈值的发行，并且可以直接修改在线指标阈值而无需重新启动工作。

阶段3：CEP

第2阶段的主要问题是它只能更新指标阈值。尽管它极大地促进了各种业务系统，但实际上很难与高级业务结合。有两个主要要求：结合CEP来实现对行为序列的感知；结合CEP仍然可以动态地修改阈值，甚至规则本身。

在第3阶段中，阿里巴巴云闪烁使CEP相关的抽象和脱钩的CEP规则和CEP执行节点。也就是说，这些规则可以在外部第三方存储中找到，例如RDS和其他外部第三方存储。发布CEP作业后，可以加载数据库中的CEP规则以动态替换它，因此将增强作业表达能力。

其次，工作的灵活性将得到增强。例如，如果您想在应用下方查看某些行为并更新此行为的指标阈值，则可以更新CEP规则，而不是通过第三方存储来更新自身。

这样做的另一个优点是，它可以将规则暴露于高层商业方，以便企业可以真正编写风险控制规则，并且我们成为规则的真正中间平台。这是动态CEP功能的好处。在阿里巴巴云的服务中，动态CEP功能已集成到最新版本中，而阿里巴巴云的完全托管的Flink 极大地简化了风险控制方案的开发周期。

阶段4：

基于第3阶段向前迈出一步，阿里巴巴云实施了“共享计算”解决方案。在此共享的计算解决方案中，可以通过建模平台来描述CEP规则，该平台暴露于高级客户或商业方的一个非常友好的规则说明平台，该平台可以通过拖放或其他方法耦合，然后在调度引擎上选择事件访问源以运行规则。

例如，这两个模型现在提供应用程序，可以在同一事实的Flink CEP作业中完全解耦，以便可以将商业团，执行层和发动机层完全解耦。目前，阿里巴巴云的共享计算解决方案非常成熟，并且具有丰富的客户实施实践。

阶段5：业务发展和平台建设的分离

在发动机侧，平台侧和业务方面，IV阶段可以在发动机侧和平台侧之间解散，但它仍然与业务方面相连。两者的工作模型仍然是党A与B方之间的协同关系，即业务方面的业务规则，平台方面接受了业务团队的风险控制需求，从而制定了风险控制规则。但是平台团队通常具有人员优先级，随着业务的发展，业务团队将越来越强大。

目前，业务方本身可以抽象一些基本概念，沉淀一些商业常见规格，并将它们组装成相对友好的DSL，然后通过阿里巴巴云完全脱钩的Open API实施工作提交。

由于我们需要同时支持小组中的近100辆巴士，因此无法为每个BU提供自定义的支持。我们只能尽可能地打开引擎的功能，然后通过DSL包装将其提交到平台上，以便只能向客户展示一个中间平台。

大规模风险控制技术的困难

本章主要引入了大规模风险控制方面的一些技术困难，以及阿里巴巴云如何在完全托管的Flink商业产品中打破这些技术困难。

细粒度的资源调整

在流计算系统中，数据源通常不会阻止节点。由于不计算逻辑的上游数据读取节点没有性能问题，因此下游数据处理节点是整个任务的性能瓶颈。

由于Flink的作业由插槽划分，因此默认节点和节点具有相同的并发性。在这种情况下，我们希望分别调整节点和CEP工作节点的并发。例如，在下图中，我们可以看到某个作业的CEP工作节点的并发可以达到2000，而该节点只需要2个并行度度，这可以大大提高CEP节点的工作性能。

此外，位于CEP工作节点的TM内存和CPU资源的划分。在开源Flink中，TM总体同构，这意味着节点和工作节点的规格完全相同。从保存资源的角度来看，节点不需要在实际生产环境中像CEP节点那样多的内存和CPU资源。节点只需要较小的CPU和内存即可满足数据爬行。

Cloud完全托管的Flink可以使节点和CEP节点在异质TM上运行，也就是说，CEP工作节点TM资源大大大于节点TM资源，并且CEP工作的执行效率将变得更高。考虑到精细元素资源调整带来的优化，与自大的IDC Flink相比，云完全托管的服务可以节省20％的成本。

集成流批量和自适应批次

如果流动引擎和批处理引擎不采用相同的执行模式，则它们通常会遇到不一致的数据口径。造成此问题的原因是，很难在批处理规则下完全描述流媒体规则。例如，Flink有一个特殊的UDF，但是Spark 中没有相应的UDF。当这种数据口径不一致时，选择数据口径的哪个方面成为一个非常重要的问题。

基于Flink流和批处集成，可以在批处理模式下以相同的口径并获得相同的结果，因此可以在批处理模式下再次运行CEP规则，因此无需开发批处理模式相关的CEP操作。

在此上面，阿里巴巴实施自适应批处理。实际上，CEP规则的每日效应输出不一定是平衡的。例如，当今行为序列中没有异常行为，并且只有少量的数据输入下游。目前，将保留一个弹性簇进行批处理分析。

当CEP结果很少时，下游批处理分析只需要很小的资源，甚至每个批处理分析工作节点的并行性也不需要在开始时指定。工作节点可以根据上游数据和任务负载的输出自动在批处理模式下自动调整并行性，从而真正实现弹性批处理分析。这是 Cloud Flink流批批处集成批量的独特优势。

结合读取以减轻公共层压力

这是实践中遇到的问题。当前的开发模型基本上基于数据中间平台，例如实时数据仓库。在实时仓储的情况下，可能没有很多数据源，但是中间层DWD会变得很大，并且中间层可能会演变成许多DWS层，甚至可以发展为许多部门使用的数据marts。在这种情况下，订单表的阅读压力将非常高。

通常，将多个源表关联（加宽）以形成DWD层，该层从单个源表的角度取决于多个DWD表。 DWD层也将被多个不同业务域中的操作所消耗以形成DW。基于这种情况，阿里巴巴实施了基于合并。它只需要阅读一次DWD。在弗林克方面，它将帮助您将其处理成多个DWS表的商务领域，这可以极大地减轻公共层的执行压力。

KV分离设计状态后端

执行CEP节点时，它涉及非常大的本地数据读数，尤其是在行为序列的计算模式下，因为所有先前的数据都需要在一定时间段内缓存或行为序列。

在这种情况下，一个更大的问题是，在后端状态存储（例如:)中，有一个非常大的性能开销，这反过来会影响CEP节点的性能。目前，阿里巴巴已经实施了KV分离设计的国家后端。默认情况下， Cloud Flink用作状态后部部分。在CEP方案中的实际测量性能至少提高了100％。

尺寸数据分区加载

在许多情况下，需要根据历史行为来分析风险控制。历史行为数据通常存在于Hive或ODPS表中，并且该表的比例可能是结核病水平。开源Flink需要默认情况下在每个维度表节点上加载此超大维表。这种方法实际上是不现实的。阿里巴巴云基于表节点实现了存储数据的分区，而尺寸表节点只会加载属于当前分区的数据。

阿里巴巴云截fy23风险控制进化计划

对于整个阿里巴巴云，FY23的进化计划包括以下内容：

欢迎使用云产品以供经验，发表更多意见并共同取得进步。