论文 5：Locally Testable Codes with constant rate, distance, and locality
- 作者：Irit Dinur、 Shai Evra、 Ron Livne、 Alexander Lubotzky、 Shahar Mozes
- 论文链接：https://arxiv.org/pdf/2111.04808.pdf
摘要：本地可测试代码（locally testable code, LTC）是具有属性测试器的纠错代码。测试者读取随机选择的 q 个比特，并以与它们和代码之间的距离成正比的概率拒绝单词。参数 q 为被称为测试者的位置。
LTC 最开始是作为 PCP 的重要组件进行研究的，此后便发展成为单独的主题了。高速率 LTC 在实践中可能非常有用：在尝试对接收到的字进行解码之前，我们首先可以通过快速测试它是否接近代码来节省时间。不过，一个尚未解决的问题在于是否存在「c^3-LTCs」，即具有恒定速率、恒定距离和恒定位置的 LTC。
在本文中，研究者基于一个新的二维复合体构建这样的代码，并称之为「左右 Cayley 复合体」。这本质上是一个图，除了点和边之外还有正方形。他们的代码可以被视为（一维）扩展器代码的二维版本，其中代码字是正方形而非边上的函数。
算法 1：迭代解码算法。
推荐：计算机理论顶会 STOC2022 最佳论文。
论文 6：GANimator: Neural Motion Synthesis from a Single Sequence
- 作者：PEIZHUO LI 、KFIR ABERMAN 、 ZIHAN ZHANG 等
- 论文链接：https://arxiv.org/pdf/2205.02625.pdf
摘要：近日，来自苏黎世联邦理工学院、谷歌、芝加哥大学等机构的研究者开发了一个框架 GANimator，该框架能够产生不同且逼真的动作，只使用一个单一的训练序列。这一框架大大简化了数据收集过程，同时允许创建逼真的动作变化，还可以准确地捕捉单独动作序列细节。该研究入选 SIGGRAPH 2022。
我们先来看如下效果图，左边输入的是单个动作序列，右边是生成结果：
群体动画。GANimator 框架训练了一个单一的螃蟹舞蹈序列，可以生成各种新颖的运动：
上述示例说明 GANimator 框架是生成新动作的有效工具，它可以仅使用短动作序列作为输入来合成较长、多样和高质量的动作序列。
动作表征：研究者通过一个𝑇姿势的时序集来表征动作序列，该时序集由足部关节位移 O ϵ R^𝑇×3 和关节旋转 R ϵ R^𝑇×𝐽𝑄组成，其中𝐽表示关节数，𝑄表示旋转特征数。为了减少常见的足部滑动伪影，研究者在表征中加入了足部接触标签。并且，为了简化注释，他们还将连接特征的度量空间表示成了 M_𝑇 ≡ R^𝑇×(𝐽 𝑄+𝐶+3)。
研究者提出的动作生成框架如下图 2 所示。该框架由𝑆个粗放到精细（coarse-to-fine）对抗生成网络组成，每个负责生成具有特定帧数 {𝑇_𝑖 }^𝑆_𝑖=1 的动作序列。
网络构建块：首先是生成器。研究者采用的生成器𝐺_𝑖包含一个全卷积神经网络𝑔_𝑖 (·)，该网络由具有一些骨骼感知卷积层和其后的非线性层。由于该网络的主要作用是添加缺失的高频细节，因此他们使用残差结构，因此对于 2 ≤ 𝑖 ≤ 𝑆，得到如下公式（4）。
下图为 3 则为生成器架构概览。
其次是鉴别器。虽然经典 GAN 架构中的鉴别器输出单个标量，指示输入被分类为「真」或「假」。但对于训练数据中单个序列的情况，这种结构会导致模式崩溃，原因是生成器通常过拟合序列。最后是骨骼感知算子。研究者采用骨骼感知卷积作为框架基础构建块。骨骼感知算子需要一个由一组关节（顶点）和临接表（边）定义的固定骨骼拓扑。由于网络在单个序列上运行，他们调整该拓扑以匹配输入序列。这允许在任何骨骼拓扑上操作，并且不需要将输入动作重新定位到特定的骨骼结构。
推荐：ETH、谷歌用单个序列玩转神经动作合成，入选 SIGGRAPH。
论文 7：Translation between Molecules and Natural Language
- 作者：Carl Edwards 、 Tuan Lai 等
- 论文链接：http://blender.cs.illinois.edu/paper/molt5.pdf
摘要：来自伊利诺伊大学厄巴纳 - 香槟分校和 Google X 的研究者通过提出两项新任务来实现分子与自然语言转换的研究目标：1）为分子生成描述；2）在文本指导下从头生成分子。
如下图所示，文本指导分子生成任务是创建一个与给定自然语言描述相匹配的分子，这将有助于加速多个科学领域的研究。
在多模态模型领域，自然语言处理和计算机视觉 (V+L) 的交叉点已被广泛研究。通过自然语言实现对图像的语义级控制已取得一些进展，人们对多模态数据和模型越来越感兴趣。
该研究提出的分子 - 语言任务与 V+L 任务有一些相似之处，但也有几个特殊的难点：1）为分子创建注释需要大量的专业知识，2）因此，很难获得大量的分子 - 描述对，3) 同一个分子可以具有许多功能，需要多种不同的描述方式，这导致 4) 现有评估指标（例如 BLEU）无法充分评估这些任务。
为了解决数据稀缺的问题，该研究提出了一种新的自监督学习框架 MolT5（Molecular T5），其灵感来源于预训练多语言模型的最新进展（Devlin et al., 2019; Liu et al., 2020）。MolT5 首先使用简单的去噪目标在大量未标记的自然语言文本和分子字符串上预训练模型。之后，预训练模型在有限的黄金标准注释上进行微调。
此外，为了充分评估分子描述或生成模型，该研究提出了一个名为 Text2Mol 的新指标（Edwards et al., 2021）。Text2Mol 重新调整了检索模型的用途，以分别评估实际分子 / 描述和生成的描述 / 分子之间的相似性。
图 3 为 MolT5 架构图。该研究首先使用 T5.1.1（T5 的改进版本）的公共检查点（public checkpoints）之一初始化编码器 - 解码器 Transformer 模型。之后，他们使用「replace corrupted spans」目标对模型进行预训练。具体而言，在每个预训练 step 中，该研究都会采样一个包含自然语言序列和 SMILES 序列的 minibatch。对于每个序列来说，研究者将随机选择序列中的一些单词进行修改。每个连续 span 中的 corrupted token 都被一个 sentinel token 替换（如图 3 中的 [X] 和 [Y] 所示）。接下来的任务是预测 dropped-out span。
推荐：给几句话就能生成分子，看见分子也能生成描述，神秘的 Google X 把多模态 AI 做成了黑科技。
ArXiv Weekly Radiostation
机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：
10 NLP Papers音频：00:0019:46
本周 10 篇 NLP 精选论文是：
1. CiteSum: Citation Text-guided Scientific Extreme Summarization and Low-resource Domain Adaptation. (from Jiawei Han)2. Multi-level Contrastive Learning for Cross-lingual Spoken Language Understanding. (from Jian Pei)3. KETOD: Knowledge-Enriched Task-Oriented Dialogue. (from Bing Liu)4. Identifying concept libraries from language about object structure. (from Joshua B. Tenenbaum)5. Structured, flexible, and robust: benchmarking and improving large language models towards more human-like behavior in out-of-distribution reasoning tasks. (from Joshua B. Tenenbaum)6. Richer Countries and Richer Representations. (from Dan Jurafsky)7. Problems with Cosine as a Measure of Embedding Similarity for High Frequency Words. (from Dan Jurafsky)8. Building Machine Translation Systems for the Next Thousand Languages. (from Zhifeng Chen, Yonghui Wu)9. FETA: A Benchmark for Few-Sample Task Transfer in Open-Domain Dialogue. (from Lise Getoor)10. Empowering parameter-efficient transfer learning by recognizing the kernel structure in self-attention. (from Yang Liu, Dilek Hakkani-Tur)
