首页 信托文章正文

中粮信托-瑞盈3号河南平顶山集合资金信托计划

信托 2020年01月31日 05:01 67 信托胜利网
【近期信托列表】 【近期政府债列表】
买【中粮信托-瑞盈3号河南平顶山集合资金信托计划】┃/享/┃/全/┃/国/┃/最/┃/高/┃/返/┃/点/┃【1%-10%】

【合同面签】【返点现结】
点此处进入官网查看项目详情
----------------------以下项目是当天新闻资讯----------------------------------------------------------
选自arXiv

作者:Mostafa Elhoushi 等

机器之心编译

参与:魔王 、杜伟

前不久,机器之心报道过北大、华为诺亚等合著的一篇论文 ,探讨了不用乘法用加法能不能做深度学习。最近,我们又看到华为的另一篇论文,这一次没有用加法替代乘法 ,而是用「按位移位」和「按位取反」来取代乘法运算 。

           

深度学习模型,尤其是深度卷积神经网络(DCNN),在多个计算机视觉应用中获得很高的准确率。但是 ,在移动环境中部署时,高昂的计算成本和巨大的耗电量成为主要瓶颈。而大量使用乘法的卷积层和全连接层正是计算成本的主要贡献者 。

论文链接:https://arxiv.org/pdf/1905.13298.pdf

华为的这篇论文提出了解决该问题的新方法,即引入两种新型运算:卷积移位(convolutional shift)和全连接移位(fully-connected shift) ,从而用按位移位(bitwise shift)和按位取反(bitwise negation)来取代乘法。使用了卷积移位和全连接移位的神经网络架构族即 DeepShift 模型。DeepShift 模型可以在不使用乘法的情况下实现 ,且在 CIFAR10 数据集上获得了高达 93.6% 的准确率,在 ImageNet 数据集上获得了 70.9%/90.13% 的 Top-1/Top-5 准确率 。

研究者将多种著名 CNN 架构的卷积层和全连接层分别进行卷积移位和全连接移位转换,并进行了大量实验。实验结果表明 ,有些模型的 Top-1 准确率下降程度低于 4%,Top-5 准确率下降程度低于 1.5%。

所有实验均使用 PyTorch 框架完成,训练和运行代码也已经发布 。

代码地址:https://github.com/mostafaelhoushi/DeepShift

引言

越来越多的深度神经网络针对移动和 IoT 应用而开发 。边缘设备通常电量和价格预算较低 ,且内存有限。此外,内存和计算之间的通信量在 CNN 的电量需求中也占主要地位。如果设备和云之间的通信成为必要(如在模型更新等情况下),那么模型大小将影响连接成本 。因此 ,对于移动/IoT 推断应用而言,模型优化、模型规模缩小 、加速推断和降低能耗是重要的研究领域。

目前已有多种方法可以解决这一需求,这些方法可分为三类:

第一类方法是从头开始构建高效模型 ,从而得到新型网络架构,但要找出最适合的架构需要尝试多个架构变体,而这需要大量训练资源;

第二类方法是从大模型开始。由于网络中存在一些冗余参数 ,这些参数对输出没有太大贡献 ,因而我们可以基于参数对输出的贡献程度对它们进行排序 。然后修剪掉排序较低的参数,这不会对准确率造成太大影响。参数排序可以按照神经元权重的 L1/L2 均值(即平均激活)进行,或者按照非零神经元在某个验证集上的比例进行。剪枝完成后 ,模型准确率会下降,因此需要进一步执行模型训练来恢复准确率 。一次性修剪太多参数可能导致输出准确率大幅下降,因此在实践中 ,通常迭代地使用「剪枝-重新训练」这一循环来执行剪枝操作。这可以降低模型大小,并加快速度;

第三类方法是从大模型开始,然后用量化技术来缩减模型大小。在一些案例中 ,量化后的模型被重新训练,以恢复部分准确率 。

这些方法的重要魅力在于:它们可以轻松应用于多种网络,不仅能够缩减模型大小 ,还能降低在底层硬件上所需的复杂计算单元数量。这带来了更小的模型占用、更少的工作记忆(和缓存)、在支持平台上的更快计算,以及更低的能耗。

此外,一些优化技术用二值 XNOR 运算来替代乘法 。此类技术在小型数据集(如 MNIST 或 CIFAR10)上可能有较高的准确率 ,但在复杂数据集(如 ImageNet)上准确率会严重下降 。

华为的这篇论文提出两种新型运算——卷积移位和全连接移位 ,用按位移位和按位取反来取代乘法,从而降低 CNN 的计算成本和能耗。这一神经网络架构族即为 DeepShift 模型。该方法主要使用 2 的幂或按位移位从头开始执行 one-shot 训练,或者对预训练模型进行转换 。

DeepShift 网络

           

图 1:(a) 原始线性算子 vs 本研究提出的移位线性算子;(b) 原始卷积算子 vs 本研究提出的移位卷积算子。

如上图 1 所示 ,本论文的主要概念是用按位移位和按位取反来替代乘法运算。如果输入数字的底层二进制表示 A 是整数或固定点形式,则向左(或向右)按位移动 s 位在数学层面上等同于乘以 2 的正(负)指数幂:

           

按位移位仅等同于乘以正数,因为对于任意 s 值 ,都有 2_±s > 0 。但在神经网络训练过程中,搜索空间中必须存在乘以负数的情况,尤其是在卷积神经网络中 ,其滤波器的正负值可用于检测边。因此,我们还需要使用取反运算,即:

           

与按位移位类似 ,取反运算的计算成本较低,因为它只需要对数字返回 2 的补码。

下文将介绍该研究提出的新型算子 LinearShift 和 ConvShift,它们用按位移位和取反取代了乘法:

其中 s 是移位值 ,n 是取反值 。在经典的 CPU 架构中 ,按位移位和按位取反仅使用 1 个时钟周期,而浮点乘法可能需要 10 个时钟周期。

LinearShift 算子

其中输入 x 可表示为矩阵 B × m_in,输出 y 可表示为矩阵 B × m_out ,W 是可训练权重矩阵 m_in × m_out,b 是可训练偏置向量 m_out × 1。B 是批大小,m_in 是输入特征大小 ,m_out 是输出特征大小 。

该线性算子的反向传播可表达为:

           

其中  L/ y 是运算的梯度输入(运算输出的模型损失 L 的导数), L/ x 是运算的梯度输出(运算输入的模型损失的导数), L/ W 是运算权重的模型损失的导数。本论文提出该移位线性算子 ,在其前向传播中用按位移位和取反替代了矩阵乘法。其前向传播可定义为:

其中 N 是取反矩阵,S 是移位值矩阵,· 表示这两个矩阵的对应元素乘法 。B 和 S 的大小是 m_in × m_out ,b 是偏置向量,类似于原始线性算子 。S 、N 和 b 都是可训练的参数。

为了帮助推导后向传播,研究者使用项 V = ( 1)^round(N) ˙ (2)^round(S) ,得到:

           

注意 ,反向传播导致 -1 和 2 的幂存在非整数值。但是,在前向传播中,它们被四舍五入 ,以实现按位取反和移位 。

ConvShift 算子

原始卷积算子的前向传播可表达为:

其中 W 的维度是 c_out × c_in × h × w,其中 c_in 是输入通道大小,c_out 是输出通道大小 ,h 和 w 分别是卷积滤波器的高和宽。LeCun 等 【1999】 将卷积的反向传播表示为:

           

类似地,本研究提出的卷积移位(即 ConvShift)算子的前向传播可表示为:

其中 N 和 S 分别表示取反和移位矩阵,维度为 c_out × c_in × h × w。类似地 ,为了推导反向传播,研究者使用项 V = ( 1)^round(N) ˙ (2)^round(S),得到:

           

基准测试结果

研究者在 3 个数据集上测试了模型的训练和推断结果:MNIST、CIFAR10 和 ImageNet 数据集 。

MNIST 数据集

下表 1 展示了模型在 MNIST 验证集上的准确率。我们可以看到 ,从头训练得到的 DeepShift 模型的准确率下降程度超过 13%,不过仅转换预训练权重得到的 DeepShift 版本准确率下降程度较小,而基于转换权重进行后续训练则使验证准确率有所提升 ,甚至超过了原版模型的准确率。

           

CIFAR10 数据集

下表 2 展示了模型在 CIFAR10 验证集上的评估结果 。我们注意到从头训练得到的 DeepShift 版本出现了严重的准确率下降 ,而基于转换预训练权重训练得到的 DeepShift 模型准确率下降幅度较小(不到 2%)。

值得注意的是,对于未经进一步训练的转换权重,宽度更大、复杂度更高的模型取得的结果优于低复杂度模型。这或许可以解释为 ,模型复杂度的提升补偿了运算被转换为 ConvShift 或 LinearShift 导致的精度下降 。

           

ImageNet 数据集

下表 3 展示了模型在 ImageNet 数据集上的结果,我们从中可以看到不同的模型结果迥异。最好的性能结果来自 ResNet152,其 Top-1 和 Top-5 准确率分别是 75.56% 和 92.75%。值得注意的是 ,由于时间限制,一些模型仅训练了 4 个 epoch 。进行更多训练 epoch 可能带来更高的准确率 。

           

复杂度较高的模型被准换为 DeepShift 后,结果通常更好。MobileNetv2 等「难缠」模型在移除所有乘法运算后准确率仅降低了约 6%。与其他加速方法(如 XNOR 网络 、量化或剪枝)相比 ,这无疑是巨大的优势,这些方法对 MobileNet 的优化带来负面效果 。然而,其他「难缠」网络(如 SqueezeNet)的准确率则出现了大幅下降。

为什么 MobileNetv2 的权重被转换后 ,在未经后续训练的情况下准确率几乎为 0?而在训练几个 epoch 后,Top-5 准确率竟然超过 84%?这一点还有待分析。

本文为机器之心编译,转载请联系本公众号获得授权 。

------------------------------------------------


作为影响一代人的巨星 ,科比的离去让大家久久不能释怀。除了用8秒和24秒违例来致敬 ,还有不少人希望能有更多的方式,来纪念科比。有人发起了更换联盟logo的请愿,目前已经有超过200万人参与 。

           

此后有球员呼吁 ,各队应该退役24号球衣,以示对科比的尊敬。库班直接宣布,独行侠率先退役24号球衣。

           

联盟中陆续有球员响应此号召 。根据名记Shams报道 ,丁威迪将从8号改穿26号,并得到联盟批准。接受采访时丁威迪解释道:“科比的号码是24号,吉安娜是2号 ,24+2=26,此外2+6=8,所以我决定换成26号。 ”

           

魔术球员特伦斯-罗斯也得到许可 ,将从8号改穿31号 。另外快船前锋哈克利斯,也将从8号改穿11号 。76人后卫扎伊尔-史密斯,同样从8号改穿5号。

           

马基夫-莫里斯从8号换成了88号 ,奎因-库克也将2号换成了28号 ,他在接受采访时表示:“2号是GiGi的号码,我感觉这也应该被退役。”

           

穆迪埃从8号改穿15号,他的队友米耶-奥尼 ,从24号改穿81号 。普拉姆利将24号换成7号,奥卡福将8号换为9号。勇士的伯克斯从8号换成20号。他们都希望,用这种方式“非正式地”退役8号和24号球衣 。

           

沃克也在接受采访时表示 ,自己在考虑更换号码,来纪念科比。但他更希望穿着老科的号码,每场拼尽全力比赛来怀念他。

           

雄鹿球员康诺顿在接受采访时表示 ,正考虑不再穿24号球衣 。猛龙球员鲍威尔同样表示,如果球队退役24号,他会另外更换一个和科比有关的球衣号码。目前已经有14名球员表示想要换号 ,其中11人已经完成更换。

           

也有一些球员选择继续穿着8号和24号,带着科比的精神继续上场 。公牛的拉文和马尔卡宁就是代表。

           

教主觉得,只要上场努力拼搏 ,永不言弃 ,无论号码换或不换,都是最好的纪念方式。


北京时间1月31日消息,魔术前锋阿隆-戈登已经承诺参加2月份的全明星扣篮大赛 ,这也将会是他第三次参加这项赛事,在2016年,戈登和拉文在扣篮大赛上上演巅峰对决 ,这也被认为是史上最强扣篮PK 。

           

自2014年进入NBA以来,阿隆-戈登在NBA赛场上始终未能完全兑现自己的天赋,迄今为止 ,他最出色的一个赛季是2017-18赛季场均拿到17.6分7.9个篮板,不过,在全明星扣篮大赛舞台上 ,戈登却已经展示过自己的硬实力,在2016年,他成为了“无冕扣篮王 ” 。

在那届比赛里 ,戈登 、拉文在首轮顺利过关 ,在决赛中,戈登创意十足,他先是面对旋转的吉祥物完成接球暴扣 ,随后又飞跃吉祥物,从双膝下换手完成暴扣,两扣均拿到满分。戈登的无解表现也逼出了最强的拉文 ,他的两记精彩扣篮同样拿到满分,双方进入附加赛。

附加赛阶段,双方再度以满分打成平手 ,只能依靠第二个加时分出胜负,拉文最终用一记罚球线起跳的胯下换手扣篮击败戈登,成功卫冕扣篮王 。不过 ,纵观两人整个PK过程,的确堪称是史上最强扣篮对决,当时 ,很多人也都为戈登错失扣篮王鸣不平 ,这次扣篮大赛的结果也引发了巨大争议。

2017年,戈登再度参加了NBA扣篮大赛,正当外界认为他将会亲手夺回属于自己的荣誉时 ,戈登却发挥失常,他在首轮即遭淘汰,且成为了四位参赛选手里得分最低的一位 ,那届扣篮王最终被格伦-罗宾逊三世获得。

如今,阿隆-戈登将第三次踏入扣篮大赛舞台,本赛季 ,戈登的脚踝、小腿以及跟腱都曾出现过伤病,他又能否重演当年的辉煌?

在戈登确定参赛后,目前扣篮大赛名单已经确定三人 ,分别是魔术的戈登、湖人的德怀特-霍华德以及热火的小德里克-琼斯,接下来,联盟还将会确定一位参赛球员 。

34岁的霍华德曾在2007年 、2008年以及2009年参加NBA扣篮大赛 ,并在2008年以超人扮相夺取扣篮大赛冠军。德里克-琼斯在2017年就曾作为戈登的对手参加过NBA扣篮大赛 ,当时他在首轮以最高分进入决赛,但最终不敌格伦-罗宾逊三世。


标签: 中粮信托-瑞盈3号河南平顶山集合资金信托计划

信托胜利网