算子融合
什么是算子融合 算子融合是一种通过合并计算图中多个算子到一个算子,达到减少计算量和内存访问的优化方法。 Conv + BatchNormalization + ReLu融合 从融合后的最终公式可以看出,可以在初始阶段就通过BN的均值和方差(推理阶段BN的均值和方差是常量)更新Conv层的weights和bias参数,这样融合后的算子相当少了一个BN层的操作,既减少了内存访问,也减少了计算量 ...
什么是算子融合 算子融合是一种通过合并计算图中多个算子到一个算子,达到减少计算量和内存访问的优化方法。 Conv + BatchNormalization + ReLu融合 从融合后的最终公式可以看出,可以在初始阶段就通过BN的均值和方差(推理阶段BN的均值和方差是常量)更新Conv层的weights和bias参数,这样融合后的算子相当少了一个BN层的操作,既减少了内存访问,也减少了计算量 ...