论文 5：A Neural Network Solves, Explains, and Generates Universitymath Problems by Program Synthesis and Few-shot Learning Athuman Level
- 作者：Iddo Droria、Sarah Zhang 等
- 论文地址：https://www.pnas.org/doi/epdf/10.1073/pnas.2123433119
摘要：MIT 的学生可以不费吹灰之力就能解决多元微积分、微分方程、线性代数等数学课题，但这些却把机器学习模型给难倒了。因为机器学习模型只能回答小学或高中水平的数学问题，而且它们并不总是能找到正确答案。
MIT、哥伦比亚大学、哈佛大学和滑铁卢大学的研究者，他们使用小样本学习、OpenAI 的 Codex 来自动合成程序，在几秒钟内解决大学数学问题，达到了人类水平。这项研究发表在《美国国家科学院院刊》（PNAS）上。
该模型对生成的解决方案还能进行解释，并能快速生成新的大学数学问题。当研究人员向学生展示这些机器生成的问题时，学生们甚至无法判断这些问题是由算法生成的还是由人类生成的。这项研究还可以用来简化课程内容生成，这对拥有数千名学生的学校和大型开放式网络课程尤其有用。该系统还可以充当在线导师，向学生展示解决数学问题的步骤。
出自六门 MIT 课程的示例问题和解。
推荐：AI 几秒钟内解决大学数学问题，拿到 80% 多准确率，还充当出题老师。
论文 6：Perturbed and Strict Mean Teachers for Semi-supervised Semantic Segmentation
- 作者：Yuyuan Liu、Yu Tian 等
- 论文地址：https://arxiv.org/abs/2111.12903
摘要：在本工作中，来自阿德莱德大学、乌鲁姆大学的研究者针对当前一致性学习出现的三个问题做了针对性的处理, 使得经典的 teacher-student 架构 (A.K.A Mean-Teacher) 在半监督图像切割任务上得到了显著的提升。该研究已被计算机视觉顶会 CVPR 2022 大会接收。
方法概览。
推荐：基于一致性的半监督语义分割方法：刷新多项 SOTA，还有更好泛化性。
论文 7：Collaboration Equilibrium in Federated Learning
- 作者：Sen Cui、Jian Liang 等
- 论文地址：https://arxiv.org/pdf/2108.07926.pdf
摘要：联邦学习（federated learning，FL）是指在保护数据隐私的前提下实现分布式多数据源模型训练的学习范式。由于各个数据源的统计异质性在现实场景下广泛存在，同时统计异质性也给联邦学习下合作式的模型学习带来了负面影响，甚至会损害模型性能。因而，这也带来了一个基本问题：一个机构（client）加入合作网络能否获得增益，即参与合作是否意味着自身模型性能的提升。事实上，一个机构并非总是与所有机构合作才能带来自身性能的最大化。
清华大学三年级博士生崔森等人建立了联邦学习下的合作均衡理论，其中各个机构只与对其有利的机构合作，最大程度上避免负迁移的影响，从而实现自身模型性能的最大化。具体地，提出通过两个公理刻画合作均衡：自私原则：没有利益，就没有合作；理性原则：各个机构致力于最大化自身模型性能。他们还提出增益图（benefit graph）的概念，描述了每个机构的最优合作者，并提出了一种基于帕累托优化的方法确定最优合作者。最后在理论上证明了合作均衡的存在性，并提出了一种基于图论的方法，实现 O(V+E) 时间复杂度下的合作均衡。
算法 1：实现合作均衡。
推荐：从自私和理性原则的视角，看联邦学习下的合作均衡理论。
ArXiv Weekly Radiostation
机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：
本周 10 篇 NLP 精选论文是：
1. Recognizing and Extracting Cybersecurtity-relevant Entities from Text. (from Tim Finin)2. Unravelling Interlanguage Facts via Explainable Machine Learning. (from Fabrizio Sebastiani)3. Smoothing Entailment Graphs with Language Models. (from Mark Steedman)4. Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning. (from Yossi Matias, Craig Boutilier)5. GTrans: Grouping and Fusing Transformer Layers for Neural Machine Translation. (from Jian Yang, Haoyang Huang)6. Composable Text Control Operations in Latent Space with Ordinary Differential Equations. (from Xiaodong He, Shuguang Cui)7. Building an Efficiency Pipeline: Commutativity and Cumulativeness of Efficiency Operators for Transformers. (from Jimmy Lin)8. Improving Distantly Supervised Relation Extraction by Natural Language Inference. (from Qi Li)9. What Can Transformers Learn In-Context? A Case Study of Simple Function Classes. (from Percy Liang)10. Efficient Fine-Tuning of Compressed Language Models with Learners. (from James J. Clark)
本周 10 篇 CV 精选论文是：1. Automatic dense annotation of large-vocabulary sign language videos. (from Andrew Zisserman)2. TAG: Boosting Text-VQA via Text-aware Visual Question-answer Generation. (from Larry S. Davis)3. Revisiting the Critical Factors of Augmentation-Invariant Representation Learning. (from Xiangyu Zhang)4. Explicit Occlusion Reasoning for Multi-person 3D Human Pose Estimation. (from Alan Yuille)5. Global-Local Self-Distillation for Visual Representation Learning. (from Tinne Tuytelaars)6. High Dynamic Range and Super-Resolution from Raw Image Bursts. (from Jean Ponce, Julien Mairal)7. Matching with AffNet based rectifications. (from Jiří Matas)8. Vision-Centric BEV Perception: A Survey. (from Yu Qiao, Ruigang Yang, Dinesh Manocha)9. Augmenting Vision Language Pretraining by Learning Codebook with Visual Semantics. (from C.-C. Jay Kuo)10. Statistical Attention Localization (SAL): Methodology and Application to Object Classification. (from C.-C. Jay Kuo)
本周 10 篇 ML 精选论文是：1. Flow Annealed Importance Sampling Bootstrap. (from Bernhard Schölkopf)2. Boosted Off-Policy Learning. (from Thorsten Joachims)3. Link Prediction on Heterophilic Graphs via Disentangled Representation Learning. (from Charu Aggarwal)4. A Hybrid Complex-valued Neural Network Framework with Applications to Electroencephalogram (EEG). (from Xiaogang Wang)5. Bayesian regularization of empirical MDPs. (from Inderjit Dhillon)6. AdaCat: Adaptive Categorical Discretization for Autoregressive Models. (from Pieter Abbeel)7. Semi-supervised Learning of Partial Differential Operators and Dynamical Flows. (from Lior Wolf)8. Robust Graph Neural Networks using Weighted Graph Laplacian. (from Sandeep Kumar)9. De-biased Representation Learning for Fairness with Unreliable Labels. (from Yang Wang)10. Understanding the classes better with class-specific and rule-specific feature selection, and redundancy control in a fuzzy rule based framework. (from Nikhil R. Pal)
