7 Papers & Radios | 用神经网络推开数学推理大门;世界首个宏基因组蛋白质图谱

简介: 7 Papers & Radios | 用神经网络推开数学推理大门;世界首个宏基因组蛋白质图谱

本周重要论文包括中山大学人机物智能融合实验室(HCP Lab)在数学解题领域的一系列研究,以及 Meta AI 用 150 亿参数语言模型预测 6 亿+宏基因组蛋白质结构图谱。


目录:


  1. Semantically-Aligned Universal Tree-Structured Solver for Math Word Problems
  2. GeoQA: A Geometric Question Answering Benchmark Towards Multimodal Numerical Reasoning
  3. A Policy-Guided Imitation Approach for Offline Reinforcement Learning
  4. Evolutionary-scale rediction of atomic level protein structure with a language model
  5. Data-Free Neural Architecture Search via Recursive Label Calibration
  6. Transformers in Remote Sensing: A Survey
  7. Superconducting Optoelectronic Single-photon Synapses
  8. ArXiv Weekly Radiostation:NLP、CV、ML 更多精选论文(附音频)


论文 1:Semantically-Aligned Universal Tree-Structured Solver for Math Word Problems



摘要:一个实用的数学应用题求解器应该能够解决各种类型的数学应用题,如一元一次方程,二元一次方程组,一元二次方程等类型。然而大多数的数学应用题求解工作只针对四则运算类题目进行设计,而这类设计往往难以扩展到更多题型,无法使用一个统一的数学应用题求解器同时求解各种类型表达式的应用题。此外,当下的大部分数学应用题求解器缺乏对题目文本和求解表达式之间的语义约束。


针对上述问题,中山大学人机物智能融合实验室团队提出一种统一表达式树表示方案,通过引入额外的运算符连结多个表达式,将一元一次方程,二元一次方程组,一元二次方程等类型的表达式进行统一表示,从而可以简化求解器的设计的同时也可以求解多种类型的应用题,如下图所示。


推荐:中山大学 HCP Lab 团队:AI 解题新突破,神经网络推开数学推理大门(1)。


论文 2:GeoQA: A Geometric Question Answering Benchmark Towards Multimodal Numerical Reasoning



摘要:自动数学解题最近获得了越来越多的关注,大多数工作关注数学应用题自动求解。然而很少工作关注几何题。相比较于数学应用题,几何题需要同时对文本描述、图形图表进行理解,因为在几何题目中,题目文本和图形图表通常是相辅相成,缺一不可的。现有的几何题自动求解方法高度依赖规则并只在小数据集上进行评估。


为了推动几何题自动求解的研究,中山大学人机物智能融合实验室团队构建了一个由 5010 道几何选择题组成的问答数据集 GeoQA。如图所示,GeoQA 数据集中的每一个样本具有题目描述、几何图像、问题选项、答案、问题类型、知识点、解答解析,以及按解题步骤标注的形式程序。在题目规模上,该数据集是前人工作常用的 GeoS 数据集的 25 倍。


推荐:中山大学 HCP Lab 团队:AI 解题新突破,神经网络推开数学推理大门(2)。


论文 3:A Policy-Guided Imitation Approach for Offline Reinforcement Learning



摘要:本文中,新方法 POR 对离线强化学习算法的策略评估和策略提升过程进行解耦式学习,完成了状态连接的思想。POR 既拥有了训练的稳定性,也拥有了稳定的逻辑范围内的数据外的泛化能力,在基准上表现惊人,并提出了该解耦式学习范式的潜在好处。


推荐:NeurIPS 2022 Oral | 离线强化学习新范式!京东科技 & 清华提出解耦式学习算法。


论文 4:Evolutionary-scale Rediction of Atomic Level Protein Structure with a Language Model



摘要:Meta AI 宣布推出包含 6 亿多个蛋白质的 ESM 宏基因组图谱(ESM Metagenomic Atlas),它是首个蛋白质宇宙「暗物质」的综合视图。这还是最大的高分辨率预测结构数据库,比任何现有的蛋白质结构数据库都要大 3 倍,并且是第一个全面、大规模地涵盖宏基因组蛋白质的数据库。


推荐:世界首个!Meta AI 开放 6 亿 + 宏基因组蛋白质结构图谱,150 亿参数语言模型用两周完成。


论文 5:Data-Free Neural Architecture Search via Recursive Label Calibration



摘要:神经网络架构搜索 (NAS) 自 2016 年提出以来就广受关注,很多工作通过设计搜索空间,提升搜索算法等提升 NAS 的精度。今天这篇文章主要研究如何将 NAS 用于数据缺失的情况,文中提出 data-free NAS,该架构仅需要一个预训练模型,就可以自动进行网络搜索。目前该方法主要研究图片领域。


推荐:ECCV 2022 | 谷歌提出 Data-free NAS,网络搜索仅需一个预训练模型。


论文 6:Transformers in Remote Sensing: A Survey



摘要:过去十年,深度学习算法在遥感图像分析中得到广泛应用。最初引入到 NLP 领域的 transformer 已经渗透到计算机视觉领域。遥感社区也是如此,他们见证了视觉 transformer 用于各种任务的增加。不过到目前为止许多调查都集中在计算机视觉中的 transformer,而关于遥感方面的调查却很少。


本文系统回顾了遥感中使用基于 transformer 的最新进展,多达 60 多种方法,这些方法可用于解决遥感子领域中不同的遥感问题:超高分辨率 (VHR)、高光谱 (HSI) 和合成孔径雷达 (SAR) 图像。


推荐:回顾 60 多种 transformer 研究,一文总结遥感领域最新进展。


论文 7:Superconducting Optoelectronic Single-photon Synapses



摘要:AI 系统越来越受限于为实现其功能的硬件。现在,一种新的超导光子电路问世,它可模拟脑细胞之间的连接。这仅需消耗人类具有同类功能细胞能量的 0.3% ,而运行速度却可提高约 30000 倍。相关论文在《自然 · 电子学》上发表。


推荐:超高效人工光电神经元成真?速度比自然神经元快 3 万倍,研究登 Nature 子刊。

相关文章
|
6月前
|
机器学习/深度学习 人工智能 算法
从300亿分子中筛出6款,结构新且易合成,斯坦福抗生素设计AI模型登Nature子刊
【4月更文挑战第12天】斯坦福大学研究团队在Nature子刊发表论文,展示人工智能如何从300亿个分子中筛选出6种新型抗生素候选分子,为抗药性问题提供新解决方案。利用深度学习算法,AI模型考虑化学结构及合成可行性,发现独特化合物,加速药物研发。然而,成功应用还需临床试验验证及克服安全性和耐药性挑战。AI技术在药物设计中的角色引起关注,强调平衡使用与基础科学研究的重要性。
55 1
从300亿分子中筛出6款,结构新且易合成,斯坦福抗生素设计AI模型登Nature子刊
|
2月前
|
人工智能 自然语言处理 算法
GPT-4无师自通预测蛋白质结构登Nature子刊!LLM全面进军生物学,AlphaFold被偷家?
【9月更文挑战第17天】近日,《自然》子刊发表的一篇论文展示了GPT-4在预测蛋白质结构方面的惊人能力,这一突破不仅揭示了大型语言模型在生物学领域的巨大潜力,还可能影响传统预测工具如AlphaFold的地位。研究人员发现,GPT-4仅通过自然语言处理就能准确预测蛋白质的三维结构,包括常见的氨基酸序列和复杂的α-螺旋结构。实验结果显示,其预测精度与实际结构非常接近。这一成果意味着自然语言处理技术也可应用于生物学研究,但同时也引发了关于其局限性和对现有工具影响的讨论。论文详情见:https://www.nature.com/articles/s41598-024-69021-2
50 8
|
2月前
|
机器学习/深度学习 图形学 计算机视觉
ECCV 2024:南洋理工三维数字人生成新范式:结构扩散模型
【9月更文挑战第6天】南洋理工大学团队提出了一种名为StructLDM的新型三维数字人生成方法,旨在克服现有技术在图像合成质量、细节捕捉及人体结构建模等方面的不足。该方法通过结构化潜在空间、结构化3D感知解码器及结构化潜在扩散模型三项关键技术,实现了高质量的三维数字人生成与编辑,并在多个数据集上展示了卓越的性能和多样性。未来研究将进一步提升模型的鲁棒性和泛化能力。论文预计在ECCV 2024上展示。论文地址:https://arxiv.org/pdf/2404.01241。
34 1
|
3月前
|
机器学习/深度学习 自然语言处理
准确率达60.8%,浙大基于Transformer的化学逆合成预测模型,登Nature子刊
【8月更文挑战第29天】浙江大学团队在《Nature》子刊上发表的论文介绍了一款名为EditRetro的基于Transformer架构的化学逆合成预测模型,其准确率高达60.8%,为化学合成领域带来了革命性的变化。此模型无需依赖传统化学反应模板,具备更强的泛化能力和多样化合成路线生成能力,在药物研发和材料科学领域展现出巨大潜力,尽管仍存在一定的错误率和计算资源需求高等挑战。论文详情见:https://www.nature.com/articles/s41467-024-50617-1。
53 3
|
5月前
|
机器学习/深度学习 定位技术
ICLR 2024 Spotlight:连续数值分布式表征加持,浙大UIUC让语言模型擅长表格预测
【6月更文挑战第23天】在ICLR 2024会议上,浙大和UIUC的研究团队推出TP-BERTa,一种改进的BERT模型,专为表格预测。通过将连续数值特征转为文本并利用自注意力机制,TP-BERTa能有效处理高维、异构表格数据,提高预测性能。预训练和微调策略使其在XGBoost等传统方法及FT-Transformer等深度学习模型中脱颖而出。论文链接:[anzIzGZuLi](https://openreview.net/pdf?id=anzIzGZuLi)
104 5
|
5月前
|
数据采集 人工智能 算法
ICLR 2024 Spotlight:单模型斩获蛋白质突变预测榜一!西湖大学提出基于结构词表方法
【6月更文挑战第1天】西湖大学团队研发的蛋白质语言模型SaProt,在结构词表方法下,于蛋白质突变预测任务中荣登榜首。SaProt利用Foldseek编码的结构标记理解蛋白质行为,超越现有基准模型,在10个下游任务中表现出色。尽管训练资源需求大,且有特定任务优化空间,但该模型为生物医学研究带来新工具,促进科学理解与合作。论文链接:[https://www.biorxiv.org/content/10.1101/2023.10.01.560349v4](https://www.biorxiv.org/content/10.1101/2023.10.01.560349v4)
184 7
|
6月前
|
机器学习/深度学习 人工智能
辉瑞 AI 方法登 Science,揭示数以万计的配体-蛋白质相互作用
【5月更文挑战第15天】辉瑞研究人员在《Science》发表论文,利用深度学习模型PLIN预测和分析数以万计的蛋白质-配体相互作用,有望加速药物研发,提高药物效果和安全性。实验显示模型在1000多对数据上表现良好,但对复杂相互作用和泛化能力仍有待改进。[链接](https://www.science.org/doi/10.1126/science.adk5864)
48 3
|
6月前
|
机器学习/深度学习 人工智能 算法
CVPR 2023 Highlight | 西湖大学提出一种全新的对比多模态变换范式
CVPR 2023 Highlight | 西湖大学提出一种全新的对比多模态变换范式
81 0
|
机器学习/深度学习 人工智能 安全
人类进化新时代,DARPA 的「靶向神经可塑性训练」为何如此重要?
在4 月 8 号机器之心的文章 (前沿 | 疯狂科学家!DARPA 颅内芯片研究项目即将启动)文章中,机器之心PSI 小伙伴吴航首先为我们介绍了 DARPA 的历史和技术。在本篇(后篇)文章中,他详细介绍了 DARPA 正式发布的 TNT 项目。
1223 0
人类进化新时代,DARPA 的「靶向神经可塑性训练」为何如此重要?
|
机器学习/深度学习 人工智能 编解码
7 Papers & Radios | 用神经网络推开数学推理大门;世界首个宏基因组蛋白质图谱
7 Papers & Radios | 用神经网络推开数学推理大门;世界首个宏基因组蛋白质图谱