勋章
我关注的人
粉丝
技术能力
暂时未有相关云产品技术能力~
公众号 Deephub-IMBA
-
发表了文章 2024-11-03
基于PyTorch的大语言模型微调指南：Torchtune完整教程与代码示例
**Torchtune**是由PyTorch团队开发的一个专门用于LLM微调的库。它旨在简化LLM的微调流程,提供了一系列高级API和预置的最佳实践
-
发表了文章 2024-10-31
Github上的十大RAG(信息检索增强生成)框架
信息检索增强生成（RAG）是一种结合了检索系统和生成模型优势的技术，能够显著提升大型语言模型的性能。RAG通过从外部知识库中检索相关信息，增强模型的输入，从而生成更加准确、符合上下文、实时更新的响应。GitHub上涌现出多个开源RAG框架，如Haystack、RAGFlow、txtai等，每个框架都有独特的功能和特性，适用于不同的应用场景。这些框架不仅提高了模型的准确性和可靠性，还增强了过程的透明度和可解释性。
-
发表了文章 2024-10-25
RAPTOR：多模型融合+层次结构 = 检索性能提升20%，结果还更稳健
本文探讨了通过多模型集成技术提升信息检索系统性能的方法，重点介绍了RAPTOR框架。RAPTOR通过构建层次化的信息组织结构和递归摘要技术，显著提高了检索系统的性能和适应性。研究建立在RAG Fusion技术基础上，旨在提供更全面的信息检索解决方案。
-
发表了文章 2024-10-12
多代理强化学习综述：原理、算法与挑战
多代理强化学习是强化学习的一个子领域，专注于研究在共享环境中共存的多个学习代理的行为。每个代理都受其个体奖励驱动，采取行动以推进自身利益；在某些环境中，这些利益可能与其他代理的利益相冲突，从而产生复杂的群体动态。
-
发表了文章 2024-10-08
图像数据增强库综述：10个强大图像增强工具对比与分析
在深度学习和计算机视觉领域，数据增强是提升模型性能和泛化能力的关键技术。本文全面介绍了10个广泛使用的图像数据增强库，分析其特点和适用场景，帮助研究人员和开发者选择最适合需求的工具。这些库包括高性能的GPU加速解决方案（如Nvidia DALI）、灵活多功能的Albumentations和Imgaug，以及专注于特定框架的Kornia和Torchvision Transforms。通过详细比较各库的功能、特点和适用场景，本文为不同需求的用户提供丰富的选择，助力深度学习项目取得更好的效果。选择合适的数据增强库需考虑性能需求、任务类型、框架兼容性及易用性等因素。
-
发表了文章 2024-10-03
SCoRe: 通过强化学习教导大语言模型进行自我纠错
谷歌研究人员提出了一种名为自我纠错强化学习（SCoRe）的新方法，旨在使大型语言模型（LLMs）能够在无需外部反馈的情况下即时纠正自己的错误。SCoRe通过在线多轮强化学习训练模型，解决了传统自我纠错方法的局限性。实验结果显示，SCoRe在数学问题求解和代码生成任务上显著提升了模型的自我纠错能力，相较于基准模型和其他方法表现出色。此外，SCoRe还可与其他推理优化技术结合，进一步提升模型性能。尽管存在迭代次数限制和计算成本等局限性，SCoRe为未来研究提供了新的方向，有望推动AI系统的自主性和适应性发展。
-
发表了文章 2024-10-02
VisionTS：基于时间序列的图形构建高性能时间序列预测模型，利用图像信息进行时间序列预测
构建预训练时间序列模型的主要挑战在于获取高质量、多样化的时间序列数据。目前有两种方法：迁移学习LLM（如GPT-4或Llama）和从零训练。尽管迁移学习可行，但效果有限；从零训练则依赖大量数据，如MOIRAI、TimesFM和TTM等模型所示。为解决这一难题，研究人员提出利用图像数据进行时间序列预测。
-
发表了文章 2024-09-29
在Pytorch中为不同层设置不同学习率来提升性能，优化深度学习模型
在深度学习中，学习率作为关键超参数对模型收敛速度和性能至关重要。传统方法采用统一学习率，但研究表明为不同层设置差异化学习率能显著提升性能。本文探讨了这一策略的理论基础及PyTorch实现方法，包括模型定义、参数分组、优化器配置及训练流程。通过示例展示了如何为ResNet18设置不同层的学习率，并介绍了渐进式解冻和层适应学习率等高级技巧，帮助研究者更好地优化模型训练。
-
发表了文章 2024-09-28
TimeMOE: 使用稀疏模型实现更大更好的时间序列预测
TimeMOE是一种新型的时间序列预测基础模型，通过稀疏混合专家（MOE）设计，在提高模型能力的同时降低了计算成本。它可以在多种时间尺度上进行预测，并且经过大规模预训练，具备出色的泛化能力。TimeMOE不仅在准确性上超越了现有模型，还在计算效率和灵活性方面表现出色，适用于各种预测任务。该模型已扩展至数十亿参数，展现了时间序列领域的缩放定律。研究结果显示，TimeMOE在多个基准测试中显著优于其他模型，特别是在零样本学习场景下。
-
发表了文章 2024-09-25
PyTorch自定义学习率调度器实现指南
本文将详细介绍如何通过扩展PyTorch的 ``` LRScheduler ``` 类来实现一个具有预热阶段的余弦衰减调度器。我们将分五个关键步骤来完成这个过程。
-
发表了文章 2024-09-22
使用GPU 加速 Polars：高效解决大规模数据问题
Polars 最新开发了 GPU 加速执行引擎，支持对超过 100GB 的数据进行交互式操作。本文详细介绍了 Polars 中 DataFrame（DF）的概念及其操作，包括筛选、数学运算和聚合函数等。Polars 提供了“急切”和“惰性”两种执行模式，后者通过延迟计算实现性能优化。启用 GPU 加速后，只需指定 GPU 作为执行引擎即可大幅提升处理速度。实验表明，GPU 加速比 CPU 上的懒惰执行快 74.78%，比急切执行快 77.38%。Polars 的查询优化器智能管理 CPU 和 GPU 之间的数据传输，简化了 GPU 数据处理。这一技术为大规模数据集处理带来了显著的性能提升。
-
发表了文章 2024-09-21
GraphRAG 与 RAG 的比较分析
Graph RAG 技术通过引入图结构化的知识表示和处理方法，显著增强了传统 RAG 系统的能力。它不仅提高了信息检索的准确性和完整性，还为复杂查询和多步推理提供了更强大的支持。
-
发表了文章 2024-09-19
机器学习模型中特征贡献度分析：预测贡献与错误贡献
本文将探讨特征重要性与特征有效性之间的关系，并引入两个关键概念：预测贡献度和错误贡献度。
-
发表了文章 2024-09-18
CAS-ViT:用于高效移动应用的卷积加法自注意力视觉Transformer
这是8月份再arxiv上发布的新论文，我们下面一起来介绍这篇论文的重要贡献
-
发表了文章 2024-09-17
概率分布深度解析：PMF、PDF和CDF的技术指南
本文将深入探讨概率分布，详细阐述概率质量函数（PMF）、概率密度函数（PDF）和累积分布函数（CDF）这些核心概念，并通过实际示例进行说明。
-
发表了文章 2024-09-15
利用未标记数据的半监督学习在模型训练中的效果评估
本文将介绍三种适用于不同类型数据和任务的半监督学习方法。我们还将在一个实际数据集上评估这些方法的性能，并与仅使用标记数据的基准进行比较。
-
发表了文章 2024-09-14
MemLong: 基于记忆增强检索的长文本LLM生成方法
本文介绍了一种名为MemLong的创新长文本处理方法，该方法通过整合外部检索器显著增强了大型语言模型处理长上下文的能力。MemLong采用轻量级设计，利用不可训练的外部记忆库存储历史上下文和知识，并通过检索相关的块级键值对增强模型输入。其技术优势包括分布一致性、高效训练策略及扩展的上下文窗口，能够在单个GPU上处理长达80k个token的文本，同时保持计算效率和内存控制。实验结果显示，MemLong在多个长文本基准数据集上表现出色，显著提升了语言建模能力和上下文学习效果。
-
发表了文章 2024-09-13
KAN专家混合模型在高性能时间序列预测中的应用：RMoK模型架构探析与Python代码实验
Kolmogorov-Arnold网络（KAN）作为一种多层感知器（MLP）的替代方案，为深度学习领域带来新可能。尽管初期测试显示KAN在时间序列预测中的表现不佳，近期提出的可逆KAN混合模型（RMoK）显著提升了其性能。RMoK结合了Wav-KAN、JacobiKAN和TaylorKAN等多种专家层，通过门控网络动态选择最适合的专家层，从而灵活应对各种时间序列模式。实验结果显示，RMoK在多个数据集上表现出色，尤其是在长期预测任务中。未来研究将进一步探索RMoK在不同领域的应用潜力及其与其他先进技术的结合。
-
发表了文章 2024-09-11
RAG系统的7个检索指标：信息检索任务准确性评估指南
大型语言模型（LLMs）在生成式AI领域备受关注，但其知识局限性和幻觉问题仍具挑战。检索增强生成（RAG）通过引入外部知识和上下文，有效解决了这些问题，并成为2024年最具影响力的AI技术之一。RAG评估需超越简单的实现方式，建立有效的性能度量标准。本文重点讨论了七个核心检索指标，包括准确率、精确率、召回率、F1分数、平均倒数排名（MRR）、平均精确率均值（MAP）和归一化折损累积增益（nDCG），为评估和优化RAG系统提供了重要依据。这些指标不仅在RAG中发挥作用，还广泛应用于搜索引擎、电子商务、推荐系统等领域。
-
发表了文章 2024-09-09
Transformer、RNN和SSM的相似性探究：揭示看似不相关的LLM架构之间的联系
通过探索大语言模型（LLM）架构之间的潜在联系，我们可能开辟新途径，促进不同模型间的知识交流并提高整体效率。尽管Transformer仍是主流，但Mamba等线性循环神经网络（RNN）和状态空间模型（SSM）展现出巨大潜力。近期研究揭示了Transformer、RNN、SSM和矩阵混合器之间的深层联系，为跨架构的思想迁移提供了可能。本文深入探讨了这些架构间的相似性和差异，包括Transformer与RNN的关系、状态空间模型在自注意力机制中的隐含作用以及Mamba在特定条件下的重写方式。
-
发表了文章 2024-09-08
时间序列结构变化分析：Python实现时间序列变化点检测
在时间序列分析和预测中，准确检测结构变化至关重要。新出现的分布模式往往会导致历史数据失去代表性，进而影响基于这些数据训练的模型的有效性。
-
发表了文章 2024-09-06
Optuna发布 4.0 重大更新：多目标TPESampler自动化超参数优化速度提升显著
Optuna，广受欢迎的超参数优化框架，近日发布了其第四个主要版本。自2018年问世以来，Optuna迅速成为机器学习领域的关键工具，目前拥有10,000+ GitHub星标、每月300万+下载量、16,000+代码库使用、5,000+论文引用及18,000+ Kaggle使用。Optuna 4.0引入了OptunaHub平台，支持功能共享；正式推出Artifact Store管理生成文件；稳定支持NFS的JournalStorage实现分布式优化；显著加速多目标TPESampler，并引入新Terminator算法。
-
发表了文章 2024-09-03
一文读懂蒙特卡洛算法：从概率模拟到机器学习模型优化的全方位解析
蒙特卡洛方法起源于1945年科学家斯坦尼斯劳·乌拉姆对纸牌游戏中概率问题的思考，与约翰·冯·诺依曼共同奠定了该方法的理论基础。该方法通过模拟大量随机场景来近似复杂问题的解，因命名灵感源自蒙特卡洛赌场。如今，蒙特卡洛方法广泛应用于机器学习领域，尤其在超参数调优、贝叶斯滤波等方面表现出色。通过随机采样超参数空间，蒙特卡洛方法能够高效地找到优质组合，适用于处理高维度、非线性问题。本文通过实例展示了蒙特卡洛方法在估算圆周率π和优化机器学习模型中的应用，并对比了其与网格搜索方法的性能。
-
发表了文章 2024-09-02
CNN中的注意力机制综合指南：从理论到Pytorch代码实现
注意力机制已成为深度学习模型的关键组件，尤其在卷积神经网络（CNN）中发挥了重要作用。通过使模型关注输入数据中最相关的部分，注意力机制显著提升了CNN在图像分类、目标检测和语义分割等任务中的表现。本文将详细介绍CNN中的注意力机制，包括其基本概念、不同类型（如通道注意力、空间注意力和混合注意力）以及实际实现方法。此外，还将探讨注意力机制在多个计算机视觉任务中的应用效果及其面临的挑战。无论是图像分类还是医学图像分析，注意力机制都能显著提升模型性能，并在不断发展的深度学习领域中扮演重要角色。
-
发表了文章 2024-09-01
压缩大型语言模型(LLMs):缩小10倍、性能保持不变
尽管大规模语言模型（LLMs）在多种应用场景中表现出色，但其庞大的规模也带来了实际部署难题。本文探讨了通过模型压缩技术解决这些问题的方法，介绍了量化、剪枝和知识蒸馏三种主要压缩技术，并通过具体Python代码示例展示了如何将一个100M参数的文本分类模型压缩至52.8M参数，再通过4位量化进一步减小至原来的1/7，同时保持甚至提升性能。示例代码展示了从数据预处理、模型训练到评估的完整流程，证明了压缩技术的有效性。
-
发表了文章 2024-08-31
6种有效的时间序列数据特征工程技术（使用Python）
在本文中，我们将探讨使用日期时间列提取有用信息的各种特征工程技术。
-
发表了文章 2024-08-15
60行代码就可以训练/微调 Segment Anything 2 (SAM 2)
本文演示了如何在仅60行代码内（不包括标注和导入）对SAM2进行微调。
-
发表了文章 2024-08-14
音频去噪：使用Python和FFT增强音质
声音去噪目标是改善聆听体验以及音频分析和处理的准确性。过滤掉噪音对于高保真音频来说非常重要,不仅是为了聆听,也是为了创建某些机器学习任务的数据集。
-
发表了文章 2024-08-01
Adam-mini：内存占用减半，性能更优的深度学习优化器
论文提出一种新的优化器Adam-mini，在不牺牲性能的情况下减少Adam优化器的内存占用。
-
发表了文章 2024-07-28
深度学习中常用损失函数介绍
选择正确的损失函数对于训练机器学习模型非常重要。不同的损失函数适用于不同类型的问题。本文将总结一些常见的损失函数，并附有易于理解的解释、用法和示例
-
发表了文章 2024-07-27
大语言模型的Scaling Law：如何随着模型大小、训练数据和计算资源的增加而扩展
在这篇文章中，我们将介绍使这些模型运作的秘密武器——一个由三个关键部分组成的法则：模型大小、训练数据和计算能力。通过理解这些因素如何相互作用和规模化，我们将获得关于人工智能语言模型过去、现在和未来的宝贵见解。
-
发表了文章 2024-07-22
VQ-VAE：矢量量化变分自编码器，离散化特征学习模型
VQ-VAE 是变分自编码器（VAE）的一种改进。这些模型可以用来学习有效的表示。本文将深入研究 VQ-VAE 之前，不过，在这之前我们先讨论一些概率基础和 VAE 架构。
-
发表了文章 2024-07-19
使用Pytorch中从头实现去噪扩散概率模型（DDPM）
在本文中，我们将构建基础的无条件扩散模型，即去噪扩散概率模型（DDPM）。从探究算法的直观工作原理开始，然后在PyTorch中从头构建它。本文主要关注算法背后的思想和具体实现细节。
-
发表了文章 2024-07-18
谷歌的时间序列预测的基础模型TimesFM详解和对比测试
在本文中，我们将介绍模型架构、训练，并进行实际预测案例研究。将对TimesFM的预测能力进行分析，并将该模型与统计和机器学习模型进行对比。
-
发表了文章 2024-07-16
注意力机制中三种掩码技术详解和Pytorch实现
**注意力机制中的掩码在深度学习中至关重要，如Transformer模型所用。掩码类型包括：填充掩码（忽略填充数据）、序列掩码（控制信息流）和前瞻掩码（自回归模型防止窥视未来信息）。通过创建不同掩码，如上三角矩阵，模型能正确处理变长序列并保持序列依赖性。在注意力计算中，掩码修改得分，确保模型学习的有效性。这些技术在现代NLP和序列任务中是核心组件。**
-
发表了文章 2024-07-15
Transformer中高级位置编码的介绍和比较：Linear Rope、NTK、YaRN、CoPE
在NLP中，位置编码如RoPE、CoPE等增强模型对序列顺序的理解。RoPE通过旋转矩阵编码位置，适应不同距离的相对位置。线性旋转、NTK和YaRN是RoPE的变体，优化长序列处理。CoPE是动态的，根据序列内容调整位置编码，改善长距离依赖的捕捉。这些技术提升了模型在处理复杂语言任务时的性能。
-
发表了文章 2024-07-13
持续学习中避免灾难性遗忘的Elastic Weight Consolidation Loss数学原理及代码实现
在本文中，我们将探讨一种方法来解决这个问题，称为Elastic Weight Consolidation。EWC提供了一种很有前途的方法来减轻灾难性遗忘，使神经网络在获得新技能的同时保留先前学习任务的知识。
-
发表了文章 2024-07-11
LLM代理应用实战：构建Plotly数据可视化代理
构建数据可视化代理解决了LLM（大型语言模型）在理解和生成定制图表时的局限性。代理提供DataFrame信息和自定义样式工具，简化与LLM的交互。选择了Plotly而非Matplotlib，因其交互性和Web渲染能力更适合现代可视化。代理通过元数据索引了解数据集详情，并根据样式指示生成符合特定审美的图表。通过ReActAgent和Groq模型，代理能理解用户指令，生成准确的Plotly代码，从而创建定制图表，提高了数据可视化的效率和准确性。
-
发表了文章 2024-07-08
LLM推理引擎怎么选？TensorRT vs vLLM vs LMDeploy vs MLC-LLM
有很多个框架和包可以优化LLM推理和服务，所以在本文中我将整理一些常用的推理引擎并进行比较。
-
发表了文章 2024-07-06
2024年6月后2周重要的大语言模型论文总结：LLM进展、微调、推理和对齐
本文总结了2024年6月后两周发表的一些最重要的大语言模型论文。这些论文涵盖了塑造下一代语言模型的各种主题，从模型优化和缩放到推理、基准测试和增强性能。
-
发表了文章 2024-07-05
RouteLLM：高效LLM路由框架，可以动态选择优化成本与响应质量的平衡
新框架提出智能路由选择在强弱语言模型间，利用用户偏好的学习来预测强模型胜率，基于成本阈值做决策。在大规模LLMs部署中，该方法显著降低成本而不牺牲响应质量。研究显示，经过矩阵分解和BERT等技术训练的路由器在多个基准上提升性能，降低强模型调用，提高APGR。通过数据增强，如MMLU和GPT-4评审数据，路由器在GSM8K、MMLU等测试中展现出色的性能提升和成本效率。未来将测试更多模型组合以验证迁移学习能力。该框架为LLMs部署提供了成本-性能优化的解决方案。
-
发表了文章 2024-07-04
字符串相似度算法完全指南：编辑、令牌与序列三类算法的全面解析与深入分析
在自然语言处理领域，人们经常需要比较字符串，这些字符串可能是单词、句子、段落甚至是整个文档。如何快速判断两个单词或句子是否相似，或者相似度是好还是差。这类似于我们使用手机打错一个词，但手机会建议正确的词来修正它，那么这种如何判断字符串相似度呢？本文将详细介绍这个问题。
-
发表了文章 2024-07-02
图神经网络版本的Kolmogorov Arnold（KAN）代码实现和效果对比
目前我们看到有很多使用KAN替代MLP的实验，但是目前来说对于图神经网络来说还没有类似的实验，今天我们就来使用KAN创建一个图神经网络Graph Kolmogorov Arnold(GKAN)，来测试下KAN是否可以在图神经网络方面有所作为。
-
发表了文章 2024-06-30
深入解析高斯过程：数学理论、重要概念和直观可视化全解
这篇文章探讨了高斯过程作为解决小数据问题的工具，介绍了多元高斯分布的基础和其边缘及条件分布的性质。文章通过线性回归与维度诅咒的问题引出高斯过程，展示如何使用高斯过程克服参数爆炸的问题。作者通过数学公式和可视化解释了高斯过程的理论，并使用Python的GPy库展示了在一维和多维数据上的高斯过程回归应用。高斯过程在数据稀疏时提供了一种有效的方法，但计算成本限制了其在大数据集上的应用。
-
发表了文章 2024-06-29
Transformer 能代替图神经网络吗?
Transformer模型的革新性在于其自注意力机制，广泛应用于多种任务，包括非原始设计领域。近期研究专注于Transformer的推理能力，特别是在图神经网络（GNN）上下文中。
-
发表了文章 2024-06-28
RAG流程优化（微调）的4个基本策略
在本文中，我们将介绍使用私有数据优化检索增强生成(RAG)的四种策略，可以提升生成任务的质量和准确性。通过使用一些优化策略，可以有效提升检索增强生成系统的性能和输出质量，使其在实际应用中能够更好地满足需求。
-
发表了文章 2024-06-27
Theta方法：一种时间序列分解与预测的简化方法
Theta方法整合了两个基本概念:分解时间序列和利用基本预测技术来估计未来的价值。
-
发表了文章 2024-06-26
精选：15款顶尖Python知识图谱（关系网络）绘制工具，数据分析的强力助手
这里有15款免费工具推荐：NetworkX（Python基础），Graph-tool（C++速度），Graphviz（可视化库），ipycytoscape（Jupyter集成），ipydagred3，ipySigma（NetworkX + Web），Netwulf（交互式），nxviz（Matplotlib绑定），Py3plex（复杂网络分析），Py4cytoscape（Python+Cytoscape），pydot（Graphviz接口），PyGraphistry（GPU加速），python-igraph，pyvis（交互式图形），SNAP（大规模网络分析）。绘制和理解网络图从未如此简单！
-
发表了文章 2024-06-25
2024年6月上半月30篇大语言模型的论文推荐
大语言模型（LLMs）在近年来取得了快速发展。本文总结了2024年6月上半月发布的一些最重要的LLM论文，可以让你及时了解最新进展。
-
发表了文章 2024-06-23
2024年6月计算机视觉论文推荐：扩散模型、视觉语言模型、视频生成等
6月还有一周就要结束了，我们今天来总结2024年6月上半月发表的最重要的论文，重点介绍了计算机视觉领域的最新研究和进展。
-
发表了文章
2024-12-04
分布式机器学习系统：设计原理、优化策略与实践经验
-
发表了文章
2024-12-03
Transformer模型变长序列优化：解析PyTorch上的FlashAttention2与xFormers
-
发表了文章
2024-12-02
图卷积网络入门：数学基础与架构设计
-
发表了文章
2024-12-01
从本地部署到企业级服务：十种主流LLM推理框架的技术介绍与对比
-
发表了文章
2024-11-30
基于特征子空间的高维异常检测：一种高效且可解释的方法
-
发表了文章
2024-11-29
置信区间与预测区间：数据科学中的不确定性量化技术深度解读
-
发表了文章
2024-11-28
基于改进自适应分段线性近似（IAPLA）的微分方程数值解法研究： 从简单动力系统到混沌系统的应用分析
-
发表了文章
2024-11-27
一份写给数据工程师的 Polars 迁移指南：将 Pandas 速度提升 20 倍代码重构实践
-
发表了文章
2024-11-26
Scikit-learn Pipeline完全指南:高效构建机器学习工作流
-
发表了文章
2024-11-24
IoU已经out了，试试这几个变体:GIoU、DIoU和CIoU介绍与对比分析
-
发表了文章
2024-11-23
图神经网络在欺诈检测与蛋白质功能预测中的应用概述
-
发表了文章
2024-11-22
优化注意力层提升 Transformer 模型效率：通过改进注意力机制降低机器学习成本
-
发表了文章
2024-11-21
LLM2CLIP：使用大语言模型提升CLIP的文本处理，提高长文本理解和跨语言能力
-
发表了文章
2024-11-20
解读双编码器和交叉编码器：信息检索中的向量表示与语义匹配
-
发表了文章
2024-11-19
使用Pytorch构建视觉语言模型（VLM）
-
发表了文章
2024-11-18
使用 PyTorch-BigGraph 构建和部署大规模图嵌入的完整教程
-
发表了文章
2024-11-17
25 个值得关注的检索增强生成 (RAG) 模型和框架
-
发表了文章
2024-11-16
利用PyTorch的三元组损失Hard Triplet Loss进行嵌入模型微调
-
发表了文章
2024-11-15
告别Print，使用IceCream进行高效的Python调试
-
发表了文章
2024-11-14
为什么卷积现在不火了：CNN研究热度降温的深层原因分析
