【新智元导读】ICLR2023审稿意见已出炉，你的结果如何？
人工智能领域综合顶级会议ICLR2023（ International Conference on Learning Representations）审稿意见已出炉。ICLR的审稿分数和意见全部在OpenReview平台上公开，有网友爬取了本轮审稿的论文得分排名，链接如下：https://docs.google.com/spreadsheets/d/1INZI9epkfBkPOlKuJFaffUCOKDns87Iqg4zovHnf-zs/htmlview#gid=625873159该链接公布了4848份审稿分数统计。大部分论文的审稿人数量为3-5人，每名审稿人给每篇论文的可评分数选项为1, 3, 5, 6, 8, 10，也就是说审稿人不能给论文打2分、4分、7分或9分。
分数分布概况
ICLR2022年录用率为32.3%（1095/3391），2021年录用率为28.7%（860/2997）。
若按照2022年的录用率32.3%来看，今年卡在前32.3%的论文有1556篇，最低均分为5.50分。若按照2022年的录用数1095篇来看，今年前1095篇论文占总量的前22.6%，最低均分为5.75分。尼谟认为均分在5.50分及以上的同学都值得认真rebuttal。ICLR在2021年rebuttal前后总平均分提高了0.21，其中72%的论文分数没有变化。
以下为各分数详细位次与对应比例：
8.67分 位次1 0.02%
8.50分 位次3 0.06%
8.25分 位次7 0.14%
8.00分 位次8 0.17%
7.75分 位次42 0.87%
7.50分 位次50 1.03%
7.25分 位次121 2.50%
7.00分 位次152 3.14%
6.75分 位次238 4.91%
6.50分 位次386 7.96%
6.25分 位次576 11.18%
6.00分 位次744 15.35%
5.75分 位次1010 20.83%
5.50分 位次1364 28.14%
5.25分 位次1840 37.95%
5.00分 位次2098 43.28%
4.75分 位次2549 52.58%
4.50分 位次3041 62.73%
4.25分 位次3439 70.94%
4.00分 位次3682 75.95%
分数标准差分布概况
1. 标准差大于3 9篇 占比0.19%只有9篇论文标准差大于3，其中标准差最高的得分为[1;3;10]，标准差高达3.859。2. 标准差2-3（前开后闭下同）476篇 占比9.82%标准差2.5的得分范例：[3;8;8;3]、[1;6;1;6]
标准差2.5的得分范例：[5;8;1;1]、[3;5;10]3. 标准差1.5-2 500篇 占比10.31%标准差2.0的得分范例：[3;3;8;3;3]4. 标准差1-1.5 1747篇 占比36.0%标准差1.5的得分范例：[6;3;6;3]、[8;8;5;5]。5. 标准差0-1 1760篇 占比36.3%标准差1.0的得分范例：[8;8;6;6]、[5;5;3;3]，标准差1以下的论文，说明审稿人意见大体一致。6. 标准差0 356篇 占比 7.3%共有356篇论文分数标准差为0，也就是说所有审稿人意见完全一致，其中26篇全为8，占比7.3%；49篇全为6，占比13.8%；121篇全为5，占比34.0%；154篇全为3，占比43.3%；6篇全为1，占比1.7%。可以看到标准差为0的集中在3分和5分，占比达到了77.3%。总体上来说，标准差在1.5以下的文章共有3863篇，占比79.7%，分差较小的占大多数。
一些诡异的得分情况
评分中也出现了一些比较诡异的情况。比如，有3篇论文评分同时出现了1分和10分：
1. Breaking the Curse of Dimensionality for Parametric Elliptic PDEs
分数：[1;3;10]
论文链接：https://openreview.net/pdf?id=3nfMmcditWu
2. Neural Decoding of Visual Imagery via Hierarchical Variational Autoencoders
分数：[3;6;1;10]
论文链接：https://openreview.net/pdf?id=TM9jOSaIzN
3. Generalizable Multi-Relational Graph Representation Learning: A Message Intervention Approach
分数：[1;10;3;3;3]
论文链接：https://openreview.net/pdf?id=xOPd5QO_5RT
交流群内分数统计情况
「计算机会议投稿」于22.11.5上午在轻松参会ICLR2023群内发起了ICLR Rebuttal得分匿名投票，群内共560名群友，共计137名群友投票。
其中共有2名群友8分以上（不含，下同），全球仅有7人均分>8分，可以说是非常牛了。
14位群友6.5分以上，群投票占比10.21%，实际占比（OpenReview上所有投稿的分数占比）8.0%。
36位群友6分以上，群投票占比26.3%，实际占比15.3%。
57位群友5.5分以上，群投票占比41.6%，实际占比28.1%。
可以看出6分及5.5分以上群投票占比明显高于实际占比。由此可以大致外推出一个结论，即，各个学术会议在rebuttal阶段，投稿交流群内的投票得分统计总体会比实际分数分布要虚高一些，尼谟认为，其原因是，通常得分高的人比得分低的人更愿意积极参与此类投票活动。所以大家在投稿其他会议时，也不要在交流群内看到分数投票统计结果就泄气了。
投票具体分数分布如下：
觉得录用希望不大、放弃治疗的同学，近期可考虑转投以下会议（按照截稿时间最早到最晚排序）：
ICME2023
录用率：2022年29%
CCF分级：B
截稿时间：22.12.11
录用通知时间：23.3.12
官网链接：https://www.2023.ieeeicme.org/
征稿范围：
3D multimedia, AR/VR and immersive media
Emerging multimedia applications and technologies
Multimedia analysis and understanding
Multimedia communications, networking and mobility
Multimedia databases and mining
Multimedia quality assessment and metrics
Multimedia security, privacy and forensics
Multimedia standards, trends and related research
Multi-modal media computing, interaction and human machine
Social media analysis and applications
Speech/audio processing
Image/video processing
PAKDD2023
录用率:2022年19.3%（121/627）2021年20.4%(157/768)
CCF分级：C
截稿时间：22.11.24
录用时间：23.1.24
征稿范围：
PAKDD2023 welcomes high-quality, original, and previously unpublished submissions in the theories, technologies, and applications on all aspects of knowledge discovery and data mining. Topics of relevance for the conference include, but not limited to the following.
Methods and algorithms:
Anomaly and outlier detection, Association rule, Classification, Clustering, Data mining pipelines, Deep learning, Dimensionality detection and feature selection, Ethics and fairness, Graphs and networks, Interpretability and explainability, Kernel methods, Matrices and tensors, Online and streaming algorithms, Parallel and distributed mining, Probabilistic models and statistical inference, Regression, Reinforcement learning, Relational learning, Security and privacy, Semi-supervised and unsupervised learning, Theoretical foundations, Transfer learning and meta learning, and Visualization and user interface.
Applications:
Big data, Computational Advertising, Financial data, Information retrieval and search, Internet of Things, Intrusion and fraud detection, Medical and biological data, Multimedia and multimodal data, Recommender systems, Robotics, Scientific data, Social network analysis, Spatio-temporal data, Texts, web, social media, and Time-series and streaming data.
ACL2023
往年录用率：2021年24.5% (571/2327)
CCF分级：A
截稿时间：直接投递（非ARR）通道摘要注册截止时间23.01.13，论文提交截止时间23.1.20
录用通知时间：23.5.1
征稿范围：
Computational Social Science and Cultural Analytics
Dialogue and Interactive Systems
Discourse and Pragmatics
Ethics and NLP
Generation
Information Extraction
Information Retrieval and Text Mining
Interpretability and Analysis of Models for NLP
Language Grounding to Vision, Robotics and Beyond
Multilingualism and Language Contact: Code-switching, Representation Learning, Cross-lingual transfer
Linguistic Theories, Cognitive Modeling, and Psycholinguistics
Machine Learning for NLP
Machine Translation
NLP Applications
Phonology, Morphology, and Word Segmentation
Question Answering
Resources and Evaluation
Semantics: Lexical
Semantics: Sentence-level Semantics, Textual Inference, and Other Areas
Sentiment Analysis, Stylistic Analysis, and Argument Mining
Speech and Multimodality
Summarization
Syntax: Tagging, Chunking and Parsing
Theme Track
ICDAR2023
录用率：2017年投稿数409篇，Oral论文录取率13%，Poster论文录取率39%。
CCF分级：C
截稿时间：22.1.15(23:59 AOE)
录用时间：23.3.26
征稿范围：
Document image processing
Physical and logical layout analysis
Text and symbol recognition
Handwriting recognition
Document analysis systems
Document classification
Indexing and retrieval of documents
Document synthesis
Extracting document semantics
NLP for document understanding
Office automation
Graphics recognition
Human document interaction
Document Representation Modeling
Structured document generation
Multimedia document analysis
Mobile text recognition
Pen-based document analysis
Scene text detection and recognition
Recognition of tables and formulas
Historical document analysis
Signature verification
Document summarization and translation
Document forensics and provenance
Medical document analysis
Document analysis for social good
Document analysis for literature search
Gold-standard benchmarks and datasets
