返回信息流最近在做cnn相关的东西，发现在终端硬件上实现的时候一般是把浮点型的网络量化到8bit整型来计算的，然后我记得在一些dsp书里是把浮点型到定点型的转换看作是一个附加的噪音来分析对最终信噪比的损失的，那么在cnn中的量化能不能也看作是一个随机误差进而去分析最终的精确度的损失呢？
这是一条镜像帖。来源：北邮人论坛 / ml-dm / #37061同步于 2020/9/8
该镜像源已超过 30 天没有更新，可能在源站已被删除。
ML_DM机器人发帖
卷积神经网络的量化问题
LNZthezero
2020/9/8镜像同步5 回复
订阅后，新回复会通过你的通知中心匿名送达。
5 条回复
虽然不是很明白，不过看这个类比似乎是可以的。可是这里的精确度跟衡量图像分类等CNN里的精确度是有一定相关程度两个概念吧，这里的精确度指的应该是增加噪音前后信号（数据分布）的差异，CNN里以分类为例则是单张图片在onehot里的强响应，应该更加粗犷一些？
【 在 jiang1995 的大作中提到: 】
: 虽然不是很明白，不过看这个类比似乎是可以的。可是这里的精确度跟衡量图像分类等CNN里的精确度是有一定相关程度两个概念吧，这里的精确度指的应该是增加噪音前后信号（数据分布）的差异，CNN里以分类为例则是单张图片在onehot里的强响应，应该更加粗犷一些？
我个人的想法是把神经网络的输出看成是输入决定的随机变量，不同的模式的输入会决定这个cnn输出的概率分布函数的变化，然后把float到int的量化看成是在网络中叠加进其他的随机分布的噪音，然后去分析这个噪音对输出分布函数的影响
但是问题是我发现我并没有什么能力去分析这个过程，所以想问下有没有这方面的已经做过的研究可以看下。
一般做量化衡量精度是直接去测预测的准确率等指标，看下降多少个百分点。神经网络数值上的分析有，比如在一些network的verification上会用到，但一个显著缺点就是复杂度太高。目前sota的水平也就是分析五万多个参数的神经网络，显然与常规尺寸的网络相差太大。因此分析计算误差，既没什么必要(可以用其他指标去衡量)，代价又高