来自：深度学习技术前沿 ICLR，全称为International Conference on Learning Representations（国际学习表征会议），2013年由深度学习三座大山中的 Yoshua Bengio 和 Yann LeCun牵头创办。众所周知，Yoshua Bengio主管着蒙特利尔大学人工智能实验室，也就是 MILA，它是世界上最大的人工智能研究中心之一。Yann LeCun是 Facebook 人工智能研究院的院长，被称为卷积神经网络之父。 「史上第一次在非洲举行的 AI 顶会」ICLR 2020 将于明年 4 月 26 日于埃塞俄比 深度学习的顶级会议ICLR 2020将于明年 4 月 26 日于埃塞俄比亚首都亚的斯亚贝巴举行。

昨日ICLR 2020放榜，最终2594篇论文中共有687篇被接收，其中48篇orals，108篇spotlights，531篇poster。录取率为26.5%，相比去年的31.4%略有下降。

ICLR 2020 的接收结果终于放出，以下是官方统计的数据：

据统计，约有320篇被接收论文中有华人学者参与，占比47%。

ICLR 2020 官方评审页面：

https://openreview.net/group?id=ICLR.cc/2020/Conference

从官方发布的博文可知，今年的审稿过程与去年基本保持不变，但进行了两项调整：大会组委会不允许在评审期间进行公开评论，以使作者和审稿人对讨论的要点有清晰的认知，并且留有一周进行替换和紧急评审。

此外，为了帮助审稿人做出更清晰的决策，今年的评分系统也做了简化，组委会取消了中性评分的选项：只保留“reject（拒绝）、weak reject（弱拒绝）、 weak accept（弱接受） 、accept（接受）”四个选项。

逐年上涨的 ICLR 投稿量：2018 年 900 多篇，2019 年 1500 篇，2020 则达到了 2600 多篇。

通过将评分分配给上述四项评分选项，以产生平均分数。由于各种原因，分数是不对称分布的，分别为1、3、6和8。对于接收的论文，组委会担心审稿人不愿意给出10分，实际对于作者来说可能希望论文被接收，但并不意味着它应该得到10分。此外，3分到6分之间的较大差距使得弱拒绝和弱接受之间得以有更大区分，以提供更多的建议从而避免“中立”。尽管这些做法有些不典型，但得出的平均值对于最终指导决策还是有意义的。

详解OpenReview数据

ICLR 2020论文入选结果公布后，来自南加利福尼亚大学计算机专业的博士生小哥哥Sun Shao-Hua对此次提交的论文数据进行了详细分析。此外，他也有一篇论文被接收为spotlight论文。

该OpenReview数据已经上传至：

https://github.com/shaohua0116/ICLR2020-OpenReviewData#Data

ICLR2020关键字

下图是由投稿关键词生成的词云图，突出了深度学习、强化学习、表示学习、生成模型、图形神经网络等热点话题。

TOP50关键字词其频率见下图。

根据审稿人的平均评分和关键词的频率表明，如果想要增加你得高分的几率可以多使用关键字，比如深入学习或梯度下降等。

审稿长度

ICLR 2020平均评审长度为407.91字。直方图如下：

多篇「满分论文」

在 ICLR 2020 上出现了多达 34 篇满分论文（8 分），其中不乏来自清华大学、上海交通大学、南京大学、哈工大、西安电子科技大学等国内高校以及华为、字节跳动等国内名企的论文作者。

此外，来自以色列特拉维夫大学的一篇论文（下文中的论文 25）甚至拿到了 4 个 8 分。

论文 1：An Algorithm-Agnostic NAS Benchmark

作者：Xuanyi Dong、Yi Yang

机构：悉尼科技大学

关键词：神经架构搜索、AutoML、基准测试

链接：https://openreview.net/forum?id=HJxyZkBKDr

论文 2：On the "steerability" of generative adversarial networks

作者：Ali Jahanian、Lucy Chai、Phillip Isola

机构：麻省理工学院

关键词：生成对抗网络、隐空间插值、数据集偏见、模型泛化

链接：https://openreview.net/forum?id=HylsTT4FvB

论文 3：A Generalized Training Approach for Multiagent Learning

作者：Paul Muller、Shayegan Omidshafiei、Mark Rowland 等

机构：谷歌

关键词：多智能体学习、博弈论、训练、游戏

链接：https://openreview.net/forum?id=Bkl5kxrKDr¬eId=XEgYShJzuK

论文 4：Mirror-Generative Neural Machine Translation

作者：Zaixiang Zheng、Hao Zhou、Shujian Huang 等

机构：南京大学、字节跳动

关键词：神经机器翻译、生成网络

链接：https://openreview.net/forum?id=HkxQRTNYPH¬eId=HmFOnYDNdx

论文 5：Restricting the Flow: Information Bottlenecks for Attribution

作者：Karl Schulz、Leon Sixt、Federico Tombari、Tim Landgraf

机构：慕尼黑工业大学等

关键词：信息瓶颈、深度神经网络

链接：https://openreview.net/forum?id=S1xWh1rYwB¬eId=dsIQuI8DCU

论文 6：Understanding and Robustifying Differentiable Architecture Search

作者：Arber Zela、Thomas Elsken、Tonmoy Saikia 等

机构：弗莱堡大学

关键词：神经架构搜索、AutoML、深度学习、计算机视觉

链接：https://openreview.net/forum?id=H1gDNyrKDS¬eId=9abhtGXJdR

论文 7：Sparse Coding with Gated Learned ISTA

作者：Kailun Wu、Yiwen Guo、Ziang Li、Changshui Zhang

机构：清华大学、英特尔

关键词：稀疏编码、深度学习、收敛性分析

链接：https://openreview.net/forum?id=BygPO2VKPH

论文 8：The Logical Expressiveness of Graph Neural Networks

作者：Pablo Barceló、Egor V. Kostylev、Mikael Monet 等

机构：智利大学等

关键词：图神经网络、可表达性、一阶逻辑

链接：https://openreview.net/forum?id=r1lZ7AEKvB

论文 9：Implementation Matters in Deep RL: A Case Study on PPO and TRPO

作者：Logan Engstrom、Andrew Ilyas、Shibani Santurkar 等

机构：麻省理工学院

关键词：深度策略梯度方法、深度强化学习

链接：https://openreview.net/forum?id=r1etN1rtPB¬eId=LqWqdhJGoy

论文 10：Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distribution Tasks

作者：Donghyun Na、Hae Beom Lee、Hayeon Lee 等

机构：韩国科学技术院、浦项科技大学

关键词：元学习、少样本学习、贝叶斯神经网络

链接：https://openreview.net/forum?id=rkeZIJBYvr¬eId=Vgm-PPd3W

论文 11：Recurrent Hierarchical Topic-Guided Neural Language Models

作者：Dandan Guo、Bo Chen、Ruiying Lu、Mingyuan Zhou

机构：西安电子科技大学、得克萨斯大学奥斯汀分校

关键词：贝叶斯深度学习、变分推理

链接：https://openreview.net/forum?id=Byl1W1rtvH

论文 12：Depth-Width Trade-offs for ReLU Networks via Sharkovsky's Theorem

作者：Vaggos Chatziafratis、Sai Ganesh Nagarajan、Ioannis Panageas、Xiao Wang

机构：斯坦福大学、新加坡科技设计大学

关键词：ReLU 网络、混沌理论、动态系统

链接：https://openreview.net/forum?id=BJe55gBtvH

论文 13：GenDICE: Generalized Offline Estimation of Stationary Values

作者：Ruiyi Zhang、Bo Dai、Lihong Li、Dale Schuurmans

机构：杜克大学、谷歌

关键词：强化学习、平稳分布校正估计、Off-policy Policy Evaluation

链接：https://openreview.net/forum?id=HkxlcnVFwB¬eId=wPTYJz9HH0

论文 14：FreeLB: Enhanced Adversarial Training for Language Understanding

作者：Chen Zhu、Yu Cheng、Zhe Gan、Siqi Sun 等

机构：马里兰大学帕克分校、微软

关键词：对抗性训练

链接：https://openreview.net/forum?id=BygzbyHFvB

论文 15：Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity

作者：Jingzhao Zhang、Tianxing He、Suvrit Sra、Ali Jadbabaie

机构：麻省理工学院

关键词：自适应方法、最优化、深度学习

链接：https://openreview.net/forum?id=BJgnXpVYwS¬eId=KA65jj-wX

论文 16：Principled Weight Initialization for Hypernetworks

作者：Oscar Chang、Lampros Flokas、Hod Lipson

机构：哥伦比亚大学

关键词：超级网络；初始化；最优化；元学习

链接：https://openreview.net/forum?id=H1lma24tPB¬eId=SttNyKHM11

论文 17：Enhancing Adversarial Defense by k-Winners-Take-All

作者：Chang Xiao、Peilin Zhong、Changxi Zheng

机构：哥伦比亚大学

关键词：对抗性防御、激活函数

链接：https://openreview.net/forum?id=Skgvy64tvr

论文 18：Dynamics-Aware Unsupervised Skill Discovery

作者：Archit Sharma、Shixiang Gu、Sergey Levine 等

机构：谷歌

关键词：强化学习、无监督学习、深度学习

链接：https://openreview.net/forum?id=HJgLZR4KvH

论文 19：Differentiable Reasoning over a Virtual Knowledge Base

作者：Bhuwan Dhingra、Manzil Zaheer、Vidhisha Balachandran 等

机构：卡耐基梅隆大学、谷歌

关键词：QA、深度学习、知识库、信息提取

链接：https://openreview.net/forum?id=SJxstlHFPH¬eId=Ilh9vDgaeg

论文 20：Data-dependent Gaussian Prior Objective for Language Generation

作者：Zuchao Li、Rui Wang、Kehai Chen 等

机构：上海交通大学、哈工大、NICT

关键词：语言生成

链接：https://openreview.net/forum?id=S1efxTVYDr¬eId=QtxdEfLPMv

论文 21：Geometric Analysis of Nonconvex Optimization Landscapes for Overcomplete Learning

作者：Qing Qu, Yuexiang Zhai, Xiao Li, Yuqian Zhang, Zhihui Zhu

机构：纽约大学、加州大学伯克利分校、谷歌以色列

关键词：字典学习、稀疏表示、非凸优化

链接：https://openreview.net/forum?id=rygixkHKDH

论文 22：Mathematical Reasoning in Latent Space

作者：Dennis Lee, Christian Szegedy, Markus Rabe, Sarah Loos, Kshitij Bansal

机构：加州大学伯克利分校、谷歌

关键词：机器学习、形式推理

链接：https://openreview.net/forum?id=Ske31kBtPr¬eId=_xQ9Hvor9M

论文 23：Contrastive Learning of Structured World Models

作者：Thomas Kipf, Elise van der Pol, Max Welling

机构：阿姆斯特丹大学

关键词：状态表征学习、图神经网络、基于模型的强化学习、关系学习、目标检测

链接：https://openreview.net/forum?id=H1gax6VtDB¬eId=06V352WC2Y

论文 24：Rotation-invariant clustering of functional cell types in primary visual cortex

作者：Ivan Ustyuzhaninov, Santiago A. Cadena 等

机构：图宾根大学等

关键词：计算神经科学、神经系统识别、功能细胞类型、深度学习、旋转等变性

链接：https://openreview.net/forum?id=rklr9kHFDB

论文 25：Optimal Strategies Against Generative Attacks

作者：Roy Mor, Erez Peterfreund, Matan Gavish, Amir Globerson

机构：以色列特拉维夫大学等

链接：https://openreview.net/forum?id=BkgzMCVtPB

论文 26：CATER: A diagnostic dataset for Compositional Actions & TEmporal Reasoning

作者：Rohit Girdhar, Deva Ramanan

机构：卡内基梅隆大学

关键词：视频理解基准；时序推理

链接：https://openreview.net/forum?id=HJgzt2VKPB¬eId=dUTT3jReHa

论文 27：Causal Discovery with Reinforcement Learning

作者：Shengyu Zhu, Ignavier Ng, Zhitang Chen

机构：华为诺亚方舟实验室、多伦多大学等

关键词：因果发现、结构学习、强化学习、有向无环图

链接：https://openreview.net/forum?id=S1g2skStPB

论文 28：Simplified Action Decoder for Deep Multi-Agent Reinforcement Learning

作者：Hengyuan Hu, Jakob N Foerster

机构：卡内基梅隆大学、牛津大学

关键词：多智能体强化学习、心智理论

链接：https://openreview.net/forum?id=B1xm3RVtwB

论文 29：Smooth markets: A basic mechanism for organizing gradient-based learners

作者：David Balduzzi, Wojciech M. Czarnecki, Edward Hughes, Joel Leibo, Ian Gemp, Tom Anthony, Georgios Piliouras, Thore Graepel

机构：Deepmind 等

关键词：博弈论、优化、梯度下降、对抗学习

链接：https://openreview.net/forum?id=B1xMEerYvB

论文 30：Meta-Learning with Warped Gradient Descent

作者：Sebastian Flennerhag, Andrei A. Rusu, Razvan Pascanu, Francesco Visin, Hujun Yin, Raia Hadsell

机构：DeepMind、伦敦大学学院、谷歌等

关键词：元学习、迁移学习

链接：https://openreview.net/forum?id=rkeiQlBFPB¬eId=zwVZBPeDT

论文 31：Differentiation of Blackbox Combinatorial Solvers

作者：Marin Vlastelica Pogančić, Anselm Paulus, Vit Musil, Georg Martius, Michal Rolinek

机构：马普所、图宾根大学等

关键词：组合算法、深度学习、表征学习、优化

链接：https://openreview.net/forum?id=BkevoJSYPB

论文 32：A Theory of Usable Information under Computational Constraints

作者：Yilun Xu, Shengjia Zhao, Jiaming Song, Russell Stewart, Stefano Ermon

机构：北京大学、斯坦福大学等

链接：https://openreview.net/forum?id=r1eBeyHFDH

论文 33：How much Position Information Do Convolutional Neural Networks Encode?

作者：Md Amirul Islam, Sen Jia, Neil D. B. Bruce

机构：瑞尔森大学

关键词：网络理解、绝对位置信息

链接：https://openreview.net/forum?id=rJeB36NKvB

论文 34：BackPACK: Packing more into Backprop

作者：Felix Dangel, Frederik Kunstner, Philipp Hennig

机构：图宾根大学、不列颠哥伦比亚大学

关键词：自动微分框架；向后传播算法；BackPACK

链接：https://openreview.net/forum?id=BJlrF24twB¬eId=EHmfrSLVu