算子融合

什么是算子融合 算子融合是一种通过合并计算图中多个算子到一个算子,达到减少计算量和内存访问的优化方法。 Conv + BatchNormalization + ReLu融合 从融合后的最终公式可以看出,可以在初始阶段就通过BN的均值和方差(推理阶段BN的均值和方差是常量)更新Conv层的weights和bias参数,这样融合后的算子相当少了一个BN层的操作,既减少了内存访问,也减少了计算量 ...

五月 17, 2024 · 2 分钟 · 562 字 · Marshall Liu