学界丨先睹为快:神经网络顶会ICLR 2018论文接受结果速览

简介:

今天早晨,ICLR 2018的论文接受结果揭晓,我们就带大家来大致了解一下今年ICLR 2018的论文接受概况。

ICLR全称International Conference of Learning Representation,是由Lecun,Hinton和Bengio三位神经网络的元老联手发起的。近年来随着深度学习在工程实践中的成功,ICLR会议也在短短的几年中发展成为了神经网络的顶会。

论文接受率:

2.3%的口头展示,31.4%的poster接受,9%的workshop,51%拒绝。

ICLR口头展示论文速览:

ICLR口头论文中一大半的论文会成为ICLR Best paper,同时也代表了2018年的研究方向,下面我们就简单的介绍一下今年的oral论文,由于ICLR会议的论文范围较广,方向比较新,我们也不能够做到面面俱到。

Wasserstein Auto-Encoders (Max Planck Institute)

这篇论文提出了在Variation Auto-Encoder中使用Wasserstein距离进行度量,从而第一次让VAE能够产生跟Generative Adversarial Network比肩的效果。并且WAE在理论上面联系了VAE和GAN。是一篇不可多得理论与实践兼得的好论文。WAE产生的图像如下图:

704c8a58832c847f9098fcb4ed1aa57702324fe0

Spherical CNNs (阿姆斯特丹大学Max Welling组)

卷积神经网络只能够在2D planar图像中使用,但是近年来很多问题如机器人运动,自动驾驶需要对spherical image进行分析。传统的方法是将spherical image投影到2D planar图像,但是这个过程会产生distortion,如下图:

5591856b459083b997e100bad48f406026efa41a

于是作者提出了spherical CNN。Spherical CNN通过傅立叶变换来避免过度的计算。通过傅立叶变换来实现spherical CNN的示意图如下:

ee6faf6a5df7aeb762811fa15a45856a7f8cf637

相信本篇论文提出的spherical CNN能够在自动驾驶,机器人运动的任务中得到广泛的应用。

Boosting Dilated Convolution with Mixed Tensor Decomposition

本篇论文通过tensor decomposition的角度来分析神经网络,并且提出了mix tensor decomposition的方法来提高神经网络的表达能力。作者在实践中使用了mix dilation的办法来进行mix tensor decomposition。结构图如下:

92171ab482c2b85ebff6f5d13536bc0c01ac02a9

两个对偶的网络weight sharing,仅仅通过dilation的变化就可以得到不同的连接,提高神经网络的expressive efficiency。

本篇论文的理论分析详尽,并且论文讲述简单易懂,美中不足的是实验部分太弱,但是也不影响该论文被接受为oral。

Ask the right questions:active question reformulation with reinforcement learning(Google)

这篇论文提出了一个做question answering的新的思路,通过question reformulation将一个问题转换成类似的问题,然后反复的选择最佳问题。Question reformulation和answer selection通过强化学习进行训练。流程图如下:

78a82274a2d6a7bfaf092b09c82f50836028d3b0

ICLR趣闻


由于ICLR的审稿意见是公开的,所以我们可以看到作者和审阅者之间的思想碰撞,下面我们就介绍一些有趣的事情。

Mix-up vs “Data Augmentation by paring samples for images classification”

这两篇论文提出了类似的方法,通过将数据库的图像的线形组合来做Data Augmentation,并且在CIFAR,IMAGENET上面都取得了好的结果,但是Mix-up被接受,paring samples被拒绝。

Matrix capsules with EM routing

这篇论文是神经网络之父的CapsuleNet的后续,也被ICLR接受了,Geoffrey Hinton是该论文的第一作者。

Progressive Growing of GANs

这篇论文是NVIDIA提出的使用GAN生成high resolution image的论文,由于在论文中违反了double blind原则,在review阶段被拒绝(strong reject),但是由于其amazing的结果,在最后阶段被ICLR接收。

附上大会及相关链接,感兴趣的读者可以自行查看:

ICLR 2018会议链接:

https://openreview.net/group?id=ICLR.cc/2018/Conference

论文链接:

Ask the right question:

https://openreview.net/pdf?id=S1CChZ-CZ

Wasserstein Auto-Encoders:

https://openreview.net/pdf?id=HkL7n1-0b

Spherical CNNs:

https://openreview.net/pdf?id=Hkbd5xZRb


原文发布时间为:2018-01-30
本文作者:不看镜头的ZARD
本文来自云栖社区合作伙伴“ 大数据文摘”,了解相关信息可以关注“ 大数据文摘”微信公众号
相关文章
|
2月前
|
机器学习/深度学习 人工智能
类人神经网络再进一步!DeepMind最新50页论文提出AligNet框架:用层次化视觉概念对齐人类
【10月更文挑战第18天】这篇论文提出了一种名为AligNet的框架,旨在通过将人类知识注入神经网络来解决其与人类认知的不匹配问题。AligNet通过训练教师模型模仿人类判断,并将人类化的结构和知识转移至预训练的视觉模型中,从而提高模型在多种任务上的泛化能力和稳健性。实验结果表明,人类对齐的模型在相似性任务和出分布情况下表现更佳。
65 3
|
2月前
|
机器学习/深度学习 Web App开发 人工智能
轻量级网络论文精度笔(一):《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》
《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》这篇论文提出了一种基于YOLOv3-Tiny的轻量级目标检测模型Micro-YOLO,通过渐进式通道剪枝和轻量级卷积层,显著减少了参数数量和计算成本,同时保持了较高的检测性能。
39 2
轻量级网络论文精度笔(一):《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》
|
2月前
|
机器学习/深度学习 编解码 算法
轻量级网络论文精度笔记(三):《Searching for MobileNetV3》
MobileNetV3是谷歌为移动设备优化的神经网络模型,通过神经架构搜索和新设计计算块提升效率和精度。它引入了h-swish激活函数和高效的分割解码器LR-ASPP,实现了移动端分类、检测和分割的最新SOTA成果。大模型在ImageNet分类上比MobileNetV2更准确,延迟降低20%;小模型准确度提升,延迟相当。
67 1
轻量级网络论文精度笔记(三):《Searching for MobileNetV3》
|
2月前
|
编解码 人工智能 文件存储
轻量级网络论文精度笔记(二):《YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object ..》
YOLOv7是一种新的实时目标检测器,通过引入可训练的免费技术包和优化的网络架构,显著提高了检测精度,同时减少了参数和计算量。该研究还提出了新的模型重参数化和标签分配策略,有效提升了模型性能。实验结果显示,YOLOv7在速度和准确性上超越了其他目标检测器。
53 0
轻量级网络论文精度笔记(二):《YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object ..》
|
4月前
|
机器学习/深度学习 人工智能 调度
显著提升深度学习 GPU 利用率,阿里云拿下国际网络顶会优胜奖!
显著提升深度学习 GPU 利用率,阿里云拿下国际网络顶会优胜奖!
315 7
|
4月前
|
机器学习/深度学习 算法 网络架构
神经网络架构殊途同归?ICML 2024论文:模型不同,但学习内容相同
【8月更文挑战第3天】《神经语言模型的缩放定律》由OpenAI研究人员完成并在ICML 2024发表。研究揭示了模型性能与大小、数据集及计算资源间的幂律关系,表明增大任一资源均可预测地提升性能。此外,论文指出模型宽度与深度对性能影响较小,较大模型在更多数据上训练能更好泛化,且能高效利用计算资源。研究提供了训练策略建议,对于神经语言模型优化意义重大,但也存在局限性,需进一步探索。论文链接:[https://arxiv.org/abs/2001.08361]。
51 1
|
4月前
|
人工智能 算法 安全
【2023 年第十三届 MathorCup 高校数学建模挑战赛】C 题 电商物流网络包裹应急调运与结构优化问题 赛后总结之31页论文及代码
本文总结了2023年第十三届MathorCup高校数学建模挑战赛C题的解题过程,详细阐述了电商物流网络在面临突发事件时的包裹应急调运与结构优化问题,提出了基于时间序列预测、多目标优化、遗传算法和重要性评价模型的综合解决方案,并提供了相应的31页论文和代码实现。
81 0
|
6天前
|
存储 SQL 安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将介绍网络安全的重要性,分析常见的网络安全漏洞及其危害,探讨加密技术在保障网络安全中的作用,并强调提高安全意识的必要性。通过本文的学习,读者将了解网络安全的基本概念和应对策略,提升个人和组织的网络安全防护能力。
|
7天前
|
SQL 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将从网络安全漏洞、加密技术和安全意识三个方面进行探讨,旨在提高读者对网络安全的认识和防范能力。通过分析常见的网络安全漏洞,介绍加密技术的基本原理和应用,以及强调安全意识的重要性,帮助读者更好地保护自己的网络信息安全。
27 10
|
9天前
|
SQL 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
在数字化时代,网络安全和信息安全已成为我们生活中不可或缺的一部分。本文将介绍网络安全漏洞、加密技术和安全意识等方面的内容,并提供一些实用的代码示例。通过阅读本文,您将了解到如何保护自己的网络安全,以及如何提高自己的信息安全意识。
36 10