深度学习顶会“无冕之王”ICLR 2018评审结果出炉,斯坦福大学对抗训练研究得分第一

简介: 今年举办到第六届的ICLR会议被誉为深度学习顶会的“无冕之王”,在业内得到广泛认可。ICLR 采用Open Review 评审制度,ICLR 2018 共收到981篇有效稿件,截止2017年12月1日,已经有979篇论文收到至少一个评分,本文对评审结果进行了分析。

ICLR,全称为 International Conference on Learning Representations(国际学习表征会议),2013 年才刚刚成立了第一届。这个一年一度的会议虽然今年2017年办到第六届,已经被学术研究者们广泛认可,被认为“深度学习的顶级会议”。ICLR 采用Open Review 评审制度。Open Review 则非常不同,根据规定,所有提交的论文都会公开姓名等信息,并且接受所有同行的评价及提问(open peer review),任何学者都可或匿名或实名地评价论文。而在公开评审结束后,论文作者也能够对论文进行调整和修改。这几天ICLR 2018的审稿结果陆续出来了,让我们来看一下。

今年ICLR 2018共收到981篇有效稿件,截止2017年12月1日,已经有979篇论文收到至少一个评分。下图是平局分的分布,平均得分是5.24,中位得分是5.33 。

687465f8616482cc801ae0c65873a7aa5ea5ac64

根据Karpathy之前的博客统计,ICLR2017共收到491篇论文提交,其中15篇被录用为oral论文占3%,183篇录用为Poster论文占37.3%。

2817dfd43985df82ef6b361415ad62dde0a880e2

论文评分方差


得分最高的十篇论文

|  Ranking  |   Rating | Title |
| 9.00 | Certifiable Distributional Robustness with Principled Adversarial Training |
| 8.56 | On the Convergence of Adam and Beyond |
| 8.33 | Emergence of grid-like representations by training recurrent neural networks toperform spatial localization |
| 8.33 | Multi-Scale Dense Networks for Resource Efficient Image Classification |
| 8.09 | i-RevNet: Deep Invertible Networks |
| 8.00 | Wasserstein Auto-Encoders |
| 8.00 | Stabilizing Adversarial Nets with Prediction Methods |
| 8.00 | Learning to Represent Programs with Graphs |
| 8.00 | Boosting Dilated Convolutional Networks with Mixed Tensor Decompositions |
| 8.00 | Continuous Adaptation via Meta-Learning in Nonstationary and CompetitiveEnvironments |

需要注意的是,目前并不是所有的评分都已经打出来了。现在得分最高的论文是 《Certifiable Distributional Robustness with Principled Adversarial Training》。另外一篇值得注意的论文是 《Progressive Growing of GANs forImproved Quality, Stability, and Variation 》得分为 8,8,1

附:得分Top 20论文(via Search ICLR 2018)

c0a8cd4adbc92d622c6e91eebe05d190a71310ec

声明:

本文是受@plrz77 的ICLR2017的统计报告启发。

相关链接:

  • Search ICLR 2018

 http://search.iclr2018.smerity.com/

  •  ICLR 2017Overview by @plrz77.

https://prlz77.github.io/iclr2017-stats/

  • ICLR 2017 vs arxiv-sanity by @karpathy

https://medium.com/@karpathy/iclr-2017-vs-arxiv-sanity-d1488ac5c131

参考链接:

  • https://liyaguang.github.io/iclr2018-stats

原文发布时间为:2017-12-4
本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”微信公众号
相关文章
|
机器学习/深度学习 算法 测试技术
深度学习环境搭建笔记(二):mmdetection-CPU安装和训练
本文是关于如何搭建深度学习环境,特别是使用mmdetection进行CPU安装和训练的详细指南。包括安装Anaconda、创建虚拟环境、安装PyTorch、mmcv-full和mmdetection,以及测试环境和训练目标检测模型的步骤。还提供了数据集准备、检查和网络训练的详细说明。
1045 5
深度学习环境搭建笔记(二):mmdetection-CPU安装和训练
|
机器学习/深度学习 数据可视化 计算机视觉
目标检测笔记(五):详细介绍并实现可视化深度学习中每层特征层的网络训练情况
这篇文章详细介绍了如何通过可视化深度学习中每层特征层来理解网络的内部运作,并使用ResNet系列网络作为例子,展示了如何在训练过程中加入代码来绘制和保存特征图。
493 1
目标检测笔记(五):详细介绍并实现可视化深度学习中每层特征层的网络训练情况
|
机器学习/深度学习 数据可视化 TensorFlow
使用Python实现深度学习模型的分布式训练
使用Python实现深度学习模型的分布式训练
522 73
|
机器学习/深度学习 调度 计算机视觉
深度学习中的学习率调度:循环学习率、SGDR、1cycle 等方法介绍及实践策略研究
本文探讨了多种学习率调度策略在神经网络训练中的应用,强调了选择合适学习率的重要性。文章介绍了阶梯式衰减、余弦退火、循环学习率等策略,并分析了它们在不同实验设置下的表现。研究表明,循环学习率和SGDR等策略在提高模型性能和加快训练速度方面表现出色,而REX调度则在不同预算条件下表现稳定。这些策略为深度学习实践者提供了实用的指导。
724 2
深度学习中的学习率调度:循环学习率、SGDR、1cycle 等方法介绍及实践策略研究
|
机器学习/深度学习 自然语言处理 语音技术
Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧
本文介绍了Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧,并通过TensorFlow和PyTorch等库展示了实现神经网络的具体示例,涵盖图像识别、语音识别等多个应用场景。
498 8
|
机器学习/深度学习 数据采集 传感器
基于深度学习的图像识别技术在自动驾驶中的应用研究####
本文旨在探讨深度学习技术,特别是卷积神经网络(CNN)在自动驾驶车辆图像识别领域的应用与进展。通过分析当前自动驾驶技术面临的挑战,详细介绍了深度学习模型如何提升环境感知能力,重点阐述了数据预处理、网络架构设计、训练策略及优化方法,并展望了未来发展趋势。 ####
501 6
|
机器学习/深度学习 监控 自动驾驶
基于深度学习的图像识别技术研究进展###
本文旨在探讨深度学习在图像识别领域的最新研究进展,重点分析卷积神经网络(CNN)的技术创新、优化策略及其在实际应用中的成效。通过综述当前主流算法结构、损失函数设计及数据集增强技巧,本文揭示了提升模型性能的关键因素,并展望了未来发展趋势。尽管未直接涉及传统摘要中的研究背景、方法、结果与结论等要素,但通过对关键技术点的深度剖析,为读者提供了对领域现状与前沿动态的全面理解。 ###
|
机器学习/深度学习 自然语言处理 并行计算
DeepSpeed分布式训练框架深度学习指南
【11月更文挑战第6天】随着深度学习模型规模的日益增大,训练这些模型所需的计算资源和时间成本也随之增加。传统的单机训练方式已难以应对大规模模型的训练需求。
1885 3
|
机器学习/深度学习 算法 决策智能
【机器学习】揭秘深度学习优化算法:加速训练与提升性能
【机器学习】揭秘深度学习优化算法:加速训练与提升性能
|
机器学习/深度学习 算法 TensorFlow
深度学习笔记(五):学习率过大过小对于网络训练有何影响以及如何解决
学习率是深度学习中的关键超参数,它影响模型的训练进度和收敛性,过大或过小的学习率都会对网络训练产生负面影响,需要通过适当的设置和调整策略来优化。
2603 0
深度学习笔记(五):学习率过大过小对于网络训练有何影响以及如何解决