声明一下，本文所有的理解都是基于个人理解。

图优化算是一个推理框架前端比较成熟的操作了，一般来说，针对模型做图优化有两个目的（对于通用框架来说，就加速减少计算一个目的了）：

第一种如图，是我自己使用onnx生成的，可以看做是一种变形的残差模块吧，那么对于一般的框架来说，这部分可以融合吗？答案是否定的 把这部分写成公式可以表示为： 看上去似乎很简单，但是对于底层硬件来说，由于是流式处理数据，步骤就可以解析成：

这里要明确一点，每一个步骤都是把数据从ddr搬运到专用的处理器(cpu的话就是cache，寄存器这些），比如SDP上，进行运算后，再吐出到ddr上的。所以，如果要一次性将这三个步骤在一个cycle中全部算完再吐出的话，首先要存张量x， 要存张量a， b，要存中间量或者说最终输出量y，而这个y你还不能复用x的空间，因为等下还要加x，这对专用硬件的要求是挺高的，同时对于框架也要求有所提升。

所以一般的框架对于算子融合其实能够做的非常有限，总不过就是卷积和BN融合，再把relu算上这些基础的做法，以Tengine为例： 我们看到Tengine拢共做的图优化也不过就5种，大家有兴趣可以去看下。 Tengine/Convert_Tool

但是TVM在算子融合上显然要做的更多，当然这主要得益于TVM强大的code generator，也就是编译器后端。

TVM整体的算子融合是基于支配树来做的。那么什么是支配树呢？ 简单来说，支配树就是由各个点的支配点构成的树，那么什么又是支配点呢？支配点在神经网络结构上可以理解为：所有能够到达当前节点的路径的公共祖先点(LCA)。 以图为例： 上面是我截取的resnet的一部分，那么我们从下往上看，以Node37为例，能够到达他的一共有两条路径，38-39， 40-71，那么这两条路径的LCA是谁呢，就是最后一个Node，所以它就是Node37的支配点。同理，图中所有点的支配点所构成的树就是支配树。

TVM的算子融合策略就是检查每个Node到其支配点的这些Node是否符合融合条件，如果符合就对其进行融合。举例来说，比如上图Node55的支配点就是他下面的BN层，就检查它俩能不能融合，一看可以融合，就用新的Func去替代原来的这俩算子。同理，检查Node37到他的支配点之间所有路径是否符合融合规则。

那么，为什么要基于支配树去做呢？试想一下，如果不按照上述规则去做，你将Node37与其中一条路径合并了，那么另外一条咋办？

融合的基本规则就是融合掉的Node节点不会对剩下的节点产生影响。

我们都知道，神经网络结构可以看做是一个有向无环图（DAG），根据这个有向无环图我们可以生成对应的支配树。 具体步骤如下：