LLM-Mixer: 融合多尺度时间序列分解与预训练模型,可以精准捕捉短期波动与长期趋势
近年来，大型语言模型（LLMs）在自然语言处理领域取得显著进展，研究人员开始探索将其应用于时间序列预测。Jin等人提出了LLM-Mixer框架，通过多尺度时间序列分解和预训练的LLMs，有效捕捉时间序列数据中的短期波动和长期趋势，提高了预测精度。实验结果显示，LLM-Mixer在多个基准数据集上优于现有方法，展示了其在时间序列预测任务中的巨大潜力。
将 Spring AI 与 LLM 结合使用以生成 Java 测试
AIDocumentLibraryChat 项目通过 GitHub URL 为指定的 Java 类生成测试代码，支持 granite-code 和 deepseek-coder-v2 模型。项目包括控制器、服务和配置，能处理源代码解析、依赖加载及测试代码生成，旨在评估 LLM 对开发测试的支持能力。
KAN结合Transformer，真有团队搞出了解决扩展缺陷的KAT
【10月更文挑战第15天】Transformer模型在深度学习中广泛应用，但其扩展性存在局限。为此，研究人员提出了Kolmogorov-Arnold Transformer（KAT）模型，通过引入理性基函数、Group KAN和方差保持初始化等创新设计，显著提升了模型的性能和扩展性。实验结果显示，KAT在图像识别、目标检测和语义分割任务中均表现出色，但在计算成本和训练资源方面仍有改进空间。
梯度累积的隐藏陷阱：Transformer库中梯度累积机制的缺陷与修正
在本地微调大规模语言模型时，由于GPU显存限制，通常采用梯度累积技术来模拟大批次训练。然而，实际研究表明，梯度累积方法在主流深度学习框架中会导致模型性能显著下降，尤其是在多GPU环境中。本文详细探讨了梯度累积的基本原理、应用场景及存在的问题，并通过实验验证了修正方案的有效性。研究指出，该问题可能在过去多年中一直存在且未被发现，影响了模型的训练效果。