新智元报道 来源：GoogleAI 编辑：鹏飞 【新智元导读】谷歌AI研讨部门华人科学家再发论文《EfficientNet：重新思索CNN模型缩放》，模型缩放的传统做法是恣意增加CNN的深度和宽度，或运用更大的输入图像分辨率中止锻炼，而运用EfficientNet运用一组固定额缩放系数统一缩放每个维度，超越了抢先最先进图像辨认网络的精确率，效率进步了10倍，而且更小。 目行进步CNN精度的措施，主要是经过恣意增加CNN深度或宽度，或运用更大的输入图像分辨率中止锻炼和评价。 以固定的资源成本开发，然后按比例放大，以便在取得更多资源时完成更好的精确性。例如ResNet能够经过增加层数从ResNet-18扩展到ResNet-200。
再好比开源大范围神经网络模型高效锻炼库GPipe，经过将基线CNN扩展四倍来完成84.3％ImageNettop-1精度。 这种措施的优势在于的确能够进步精度，但优势也很明显。这个时分常常需求中止繁琐的微调。一点点的摸黑去试、还经常的徒劳无功。这绝对不是一件能够让人身心高兴的事情，关于谷歌科学家们也一样。
这就是为什么，谷歌人工智能研讨部门的科学家们正在研讨一种新的“更结构化”的方式，来“扩展”卷积神经网络。他们给这个新的网络命名为：EfficientNet（效率网络）。 代码已开源，论文刚刚上线arXiv，并将在6月11日，作为poster亮相ICML2019。 比现有卷积网络小84倍，比GPipe快6.1倍 为了了解扩展网络的效果，谷歌的科学家系统地研讨了缩放模型不同维度的影响。模型缩放并肯定认真均衡网络深度后，发现只需对网络的深度、宽度和分辨率中止合理地均衡，就能带来更好的性能。基于这一察看，科学家提出了一种新的缩放措施，运用简单但高效的复合系数平均地缩放深度、宽度和分辨率的一切尺寸。 据悉，EfficientNet-B7在ImageNet上完成了最先进精度的84.4％Top1/97.1％Top5，同时比最好的现有ConvNet小84倍，推理速度快6.1倍；在CIFAR-100（91.7％），Flower（98.8％）和其他3个迁移学习数据集上，也能很好地传输和完成最先进的精度。参数减少一个数量级，效率却进步了10倍（更小，更快）。
与盛行的ResNet-50相比，另一款EfficientNet-B4运用了相似的FLOPS，同时将ResNet-50的最高精度从76.3％进步到82.6％。 这么优秀的成果是如何做到的 这种复合缩放措施的第一步是执行网格搜索，在固定资源约束下找到基线网络的不同缩放维度之间的关系（例如，2倍FLOPS），这样做的目的是为了找出每个维度的恰当缩放系数。然后应用这些系数，将基线网络扩展到所需的目的模型大小或算力预算。
与传统的缩放措施相比，这种复合缩放措施能够持续进步扩展模型的精确性和效率，和传统措施对比结果：MobileNet（+1.4％imagenet精度），ResNet（+0.7％）。 新模型缩放的有效性，很大水平上也依赖基线网络。 为了进一步进步性能，研讨团队还经过运用AutoMLMNAS框架执行神经架构搜索来开发新的基线网络，该框架优化了精确性和效率（FLOPS）。 由此产生的架构运用移动倒置瓶颈卷积（MBConv），相似于MobileNetV2和MnasNet，但由于FLOP预算增加而略大。然后，经过扩展基线网络以取得一系列模型，被称为EfficientNets。
不只局限于ImageNet EfficientNets在ImageNet上的良好表示，让谷歌的科学家希望将其应用于更普遍的网络中，造福更多的人。 在8个普遍运用的迁移学习数据集上测试之后，EfficientNet在其中的5个网络完成了最先进的精度。例如，在参数减少21倍的状况下，完成了CIFAR-100（91.7％）和Flowers（98.8％）。 看到这样的结果，谷歌科学家估量EfficientNet可能成为未来计算机视觉任务的新基础，因而将EfficientNet开源。 华人做出了重要贡献 论文的两位作者，都和中国有关。 第一作者是谷歌的高级软件工程师MingmingTan，北大博士，在康奈尔大学取得博士后学位。
第二作者QuocV.Le往常是谷歌的一名软件工程师，在斯坦福取得博士学位，师从著名的人工智能首领吴恩达。
他在越南乡村长大，会英语、普通话、吴语和广东话。小时分家里连电都没有。但他住的中央左近有一个图书馆。Le在图书馆里，如饥似渴的阅读那些巨大发明，小小年岁便幻想有朝一日自己的名字，也能铭记在人类巨大发明家名人堂上。 14岁的时分，他就幻想一个足够聪明的机器能够辅佐人类。这个幻想让他走上了人工智能的道路。 论文链接： Github： |
名表回收网手机版
