导读：各位朋友大家好，我是潘明亮，来自阿里巴巴广告数据平台部门，主要负责广告数据计算引擎研发相关的工作。本文主要跟大家分享高性能分布式计算引擎FAE。FAE主要聚焦于用户行为分析和广告归因分析。在这些场景上，FAE的计算性能能够达到通用的OLAP引擎的一到两个数量级。具体内容包括：

01用户行为分析领域的技术挑战

用户行为包括用户增强领域以及归因领域。

1. 营销领域的用户归因分析

用户发生一个事件序列，其归因行为是什么？在这个归因过程中，需要分清楚因和果。

营销归因分析所要产出的结果就是要把这些广告的转化结果分配到合适的广告触点上。这种分配的方式即归因模型，它有很多种，如Data-driven、First-Click等。归因分析的用途一般是用于衡量广告的投放效果或者营销活动的效果，例如：渠道ROI、创意优劣、人群定向精准性、用于制定广告预算分配。

2. 用增领域的用户行为分析

在用户增长领域的用户行为分析，主要回答以下问题：

用户行为分析的模型包括漏斗模型、留存模型、路径模型、画像模型、分布模型等。应用场景一般是用于产品流程的设计和优化、用户的增长和运营、高层的业务决策等。

3. 营销归因领域的技术挑战

归因的过程可以分解成几个步骤：

公司之前也试图使用通用的OLAP系统来做，但是效果非常不理想。对于复杂的操作，基本无法在秒级产出。

4. 用户行为分析的特点

用户行为分析主要分为以下几个特点：

02FAE简介

基于以上特点，阿里巴巴设计了FAE计算引擎，全称Fast Attribution Engine（快速归因引擎）。后来把它扩展到支持基于用户增长领域的模型。所以现在叫Fast Analytic Engine（快速分析引擎）。

FAE是一个分布式MPP计算引擎，聚焦于用户行为分析与广告归因分析，由阿里妈妈自主研发。FAE可以在十秒内完成百亿级广告触底归因分析，内置多种模型并支持用户自主扩展分析模型。主要特点包括：灵活、高性能、扩展性等；计算模式支持即席、离线和近实时三种模式。

与类似系统对比，例如Google解在决这个问题时，使用mesa + shasta系统；使用的技术存储结构是时间分片增量模型加预聚合；特点是近实时、物化视图、秒级，灵活性一般。百度使用的是Palo系统；使用的存储结构类似mesa；特点是查询基于impala、秒级等。还有一些开源的其他系统。FAE的存储结构是AFile，FAE的特点是数据量非常的大（百亿级），内置了很多模型，能支持较低的QPS，扩展性较强。

03FAE的数据模型

FAE的数据模型是这个系统最关键的地方。这个数据模型称为AFile，全称Attribution File，已经申请了专利。用户行为分析的计算过程可以分为以下几步：

通常在大数据平台上，数据开发者在设计用户表时，按照用户ID把小明分布到一个节点上。但是小明的数据与小红的数据还是有可能混杂在一起。所以还是需要按照用户ID在计算时，把它们单独拆开。阿里巴巴想到的一个最基础的方法就是上述过程实际上没有必要在计算时完成，可以在数据导入时，作为导入的一部分。由此，设计了AFile存储结构，这样的存储结构，可以把事件预先存储起来，快速的定位因与果。

04FAE的系统架构

FAE是围绕AFile数据结构来设计的，引入了四个不同的模块，如下：

除了这四个主要的开发的模块之外，FAE还依赖Redis。Redis主要做元数据管理，有效利用资源。另外一个依赖是Mysql，Mysql主要是用来存储日志等辅助信息。辅助模块包括监控器以及与运维相关的模块。所以整体的架构是一个较为传统的MPP架构。

FAE现在支持两种模式。第一种模式是本地磁盘的模式，本地盘各个节点之间独自访问自己的磁盘，绝不会去访问别人的盘。同时还支持另外一种分布式的存储架构。在阿里巴巴内部这种分布式存储就叫盘古，在业界通常叫Network Attached Storage（NAS）。基于NAS的好处是节点数可以进行分组，并且是无限扩展。

05FAE的应用场景与优化思路

1. 行为频次分析

行为频次分析场景主要是统计每个用户行为的次数。FAE中数据直接在导入时就已经按照用户ID分离，故其处理速度，通常能快十几到一百倍。

2. 人群流转模型

人群流转是指把用户做一个分层，即指现在一个用户是一个比较浅的接触层，接下来我要让他跟我有一定的关系，最后要变成一个购买之类的行为。那这种多种分层之间的流转的数据量级是非常大的，无法使用普通的机器做运算。所以阿里巴巴就做了一种压缩的数据结构。就是说在这种的基础之上，并不存储全量，只存储增量数据。增量数据是指相对于原始状态发生变化的数据。通过这样的方式，数据量级就可以压缩十倍或者几十倍了。

3. 路径分析

路径分析是指淘宝有很多广告渠道，比如有明星店铺、品专店铺等渠道。假设用户的广告投了一个明星店铺，又投了一个其他的品专店铺，可以看到具体的流转路径。

4. 留存分析

假设某天有一千三百个人浏览了我们的页面。在接下来第一天、第二天、第三天之后，这些人的后续行为有没有做点击或者其他行为。

5. 漏斗分析

漏斗分析，假设你要想分析一个商品，从时间轴上看，访问主页、访问详情页、产生购买行为的各个阶段的转化率是多少。

6. 基于行为的访客圈选

圈选是指把符合条件的访客给圈出来，圈出来之后做分析或者说做投放。基于行为的访客圈选指基于访客的行为圈选符合条件的访客。

06问答环节

问：导入数据时，是增量导入还是全部导入？

答：增量导入，目前我们有实时导入与离线导入两个部分。离线导入是每天只导一次，但是每次需要导入百亿级数据；实时导入是持续导入，数据持续导入但每隔五分钟更新一次。

问：AFile中的时间顺序是在插入时保证的吗？

答：是的，插入时保证。AFile中有两份数据，一份是离线数据，一份是实时数据，然而这两份AFile数据不会重复，因为在更新离线数据时，会自动删除旧的实时数据，因为实时数据永远保留最新数据。

问：FAE是倾向于CPU密集型还是IO密集型？

答：这需要看FAE的查询是冷查询还是热查询，冷查询是IO密集型，热查询是CPU型查询。

今天的分享就到这里，谢谢大家。

分享嘉宾：

分享嘉宾：潘明亮 阿里 高级技术专家

编辑整理：杨丽 大连理工大学

出品平台：DataFunTalk