代码优化方法论

为什么需要代码优化

• 提升体验，扩展玩法

• 减少限制跟要求，降低门槛 ，覆盖更多群体

在谷歌内部，打造AI应用有两条思路，一是让更多人受惠，二是尽可能减少限制和要求

• 场景限制必须进行优化

个人隐私越来越被重视，以往的云端处理方案存在局限性
一些场景要求算法要有极低的延时，如实时通信项目

Flag终极目标：让算法随手可得

传统代码优化

rnnoise优化举例

• 函数近似和查表优化sigmoid函数计算
  
  

static OPUS_INLINE float tansig_approx(float x)
{
    int i;
    float y, dy;
    float sign=1;
    /* Tests are reversed to catch NaNs */
    if (!(x<8))
        return 1;
    if (!(x>-8))
        return -1;
#ifndef FIXED_POINT
    /* Another check in case of -ffast-math */
    if (celt_isnan(x))
       return 0;
#endif
    if (x<0)
    {
       x=-x;
       sign=-1;
    }
    i = (int)floor(.5f+25*x);
    x -= .04f*i;
    y = tansig_table[i];
    dy = 1-y*y;
    y = y + x*dy*(1 - y*x);
    return sign*y;
}

static OPUS_INLINE float sigmoid_approx(float x)
{
   return .5 + .5*tansig_approx(.5*x);
}

最粗暴的函数近似方法：

atan(pi*x/2)*2/pi   24.1 ns
atan(x)             23.0 ns
1/(1+exp(-x))       20.4 ns
1/sqrt(1+x^2)       13.4 ns
erf(sqrt(pi)*x/2)    6.7 ns
tanh(x)              5.5 ns
x/(1+|x|)            5.5 ns

• 减少程序跳转优化RNN计算

CPU多级Cache机制

深度学习移动端优化

网络剪枝

• 网络的参数都存在冗余的，所以可以进行网络剪枝

• 网络剪枝的流程
  权值的重要性：计算L1或者L2
  神经元的重要性：不为零的次数
  
• 剪权值VS剪神经元

剪权值                                                                           剪神经元
                                               
剪权值：模型不规则，不便于实现和加速
剪神经元：模型规则，便于实现和加速

精简模型设计

• 标准CNN

• 深度分离卷积Depthwise Separable Convolution 【参见MobileNet】

• 参数比较

四、深度学习移动端部署工具

      与PC端深度学习环境被大厂垄断不同，移动端的部署工具可以说是百家争鸣，很多深度学习的厂商都会推出自家的推理加速工具。

4.1 硬件厂商

公司	硬件架构	开发工具
海思	NPU	HiAI Foundation
高通	CPU/GPU/DSP	Snapdragon Neural Processing Engine SDK
Apple	CPU/GPU/NeualEngine	CoreML
ARM	CPU/GPU	ARM NN SDK
MediaTek	CPU/GPU/APU	NeuroPilot SDK

4.2 软件厂商

工具	公司	系统支持情况	特点
TensorFlow Lite	Google	Android/IOS	Android结合比较密，支持GPU加速
CoreML	Apple	IOS	软件硬件结合紧密，更新快
Caffe2	Facebook	Android/IOS
NCNN	Tencent	Android/IOS	支持大部分CNN网络，已经落地的应用多
MACE	小米	Android
MNN	阿里	Android/IOS

• 利用Caffe2进行手写数字识别在Android端的部署

五、参考

• [Paper] A Survey of Model Compression and Acceleration
  
  for Deep Neural Networks
• [Book] 解析卷积神经网络–深度学习实践手册
• [Video] Toward Efficient Deep Neural Network Deployment: Deep Compression and EIE
• [Video] 李宏毅-Network Compression
• [Github] 模型压缩及移动端部署