【5月更文挑战第23天】本文探讨了如何评估复杂且精密的语言模型（LLMs）应用。通过创建QA应用程序，如使用GPT-3.5-Turbo模型，然后构建测试数据，包括手动创建和使用LLM生成示例。接着，通过手动评估、调试及LLM辅助评估来衡量性能。手动评估借助langchain.debug工具提供执行细节，而QAEvalChain则利用LLM的语义理解能力进行评分。这些方法有助于优化和提升LLM应用程序的准确性和效率。

【5月更文挑战第22天】本文探讨了如何使用大型语言模型（LLM）进行文档问答，通过结合LLM与外部数据源提高灵活性。 LangChain库被介绍为简化这一过程的工具，它涵盖了嵌入、向量存储和不同类型的检索问答链，如Stuff、Map-reduce、Refine和Map-rerank。文章通过示例展示了如何使用LLM从CSV文件中提取信息并以Markdown格式展示

本文重点围绕向量数据库Chroma的使用和实战，主要包括以下内容： * Chroma设计理念 * Chroma常见概念（数据集，文档，存储，查询，条件过滤） * Chroma快速上手 * Chroma支持的Embeddings算法 * 实战：在Langchain中使用Chroma对中国古典四大名著进行相似性查询

【5月更文挑战第21天】LangChain是一个框架，利用“链”的概念将复杂的任务分解为可管理的部分，便于构建智能应用。数据科学家可以通过组合不同组件来处理和分析非结构化数据。示例中展示了如何使用LLMChain结合OpenAI的GPT-3.5-turbo模型，创建提示模板以生成公司名称和描述。顺序链（SimpleSequentialChain和SequentialChain）则允许按顺序执行多个步骤，处理多个输入和输出

【5月更文挑战第19天】LangChain是一个Python库，简化了与大型语言模型（LLM）如GPT-3.5-turbo的交互。通过ChatOpenAI类，开发者可以创建确定性输出的应用。提示词是指导LLM执行任务的关键，ChatPromptTemplate允许创建可重用的提示模板。输出解析器如StructuredOutputParser将模型的响应转化为结构化数据，便于应用处理。LangChain提供可重用性、一致性、可扩展性，并有一系列预建功能。它使得利用LLM构建复杂、直观的应用变得更加容易。

【5月更文挑战第18天】 本文介绍了构建聊天机器人和语义搜索的关键组件——向量存储和嵌入。首先，文章描述了工作流程，包括文档拆分、生成嵌入和存储在向量数据库中。接着，通过Python代码展示了如何设置环境并处理文档，以及如何创建和比较文本嵌入。向量存储部分，文章使用Chroma存储嵌入，并进行了相似性检索的演示。最后，讨论了故障模式，如重复文档和未捕获结构化信息的问题。整个博文中，作者强调了在实际应用中解决这些问题的重要性。

【5月更文挑战第17天】LangChain代理利用大型语言模型（LLM）作为推理引擎，结合各种工具和数据库，处理复杂任务和决策。这些代理能理解和生成人类语言，访问外部信息，并结合LLM进行推理。文章介绍了如何通过LangChain构建代理，包括集成DuckDuckGo搜索和维基百科，以及创建Python REPL工具执行编程任务。此外，还展示了如何构建自定义工具，如获取当前日期的示例，强调了LangChain的灵活性和可扩展性，为LLM的应用开辟了新途径。

【5月更文挑战第16天】 本文介绍了从零构建一个轻量级的深度学习框架tinynn，旨在帮助读者理解深度学习的基本组件和框架设计。构建过程包括设计框架架构、实现基本功能、模型定义、反向传播算法、训练和推理过程以及性能优化。文章详细阐述了网络层、张量、损失函数、优化器等组件的抽象和实现，并给出了一个基于MNIST数据集的分类示例，与TensorFlow进行了简单对比。tinynn的源代码可在GitHub上找到，目前支持多种层、损失函数和优化器，适用于学习和实验新算法。

【5月更文挑战第15天】 本文介绍了LangChain中文档拆分的重要性及工作原理。文档拆分有助于保持语义内容的完整性，对于依赖上下文的任务尤其关键。LangChain提供了多种拆分器，如CharacterTextSplitter、RecursiveCharacterTextSplitter和TokenTextSplitter，分别适用于不同场景。MarkdownHeaderTextSplitter则能根据Markdown标题结构进行拆分，保留文档结构。通过实例展示了如何使用这些拆分器，强调了选择合适拆分器对提升下游任务性能和准确性的影响。

云效流水线Flow是Java&Maven项目理想的CI/CD工具，以其直观界面、全面功能和阿里云的强性能支持脱颖而出。它简化了新用户的学习过程，无缝集成阿里云ECS，且允许自定义构建脚本，提供高开放性和定制化。尽管非阿里云服务集成有改进空间，但对已有阿里云基础架构的团队，Flow在成本效益和满意度上表现出色，推荐给寻求深度集成解决方案的团队。

【5月更文挑战第14天】 LangChain提供80多种文档加载器，简化了从PDF、网站、YouTube视频和Notion等多来源加载与标准化数据的过程。这些加载器将不同格式的数据转化为标准文档对象，便于机器学习工作流程中的数据处理。文中介绍了非结构化、专有和结构化数据的加载示例，包括PDF、YouTube视频、网站和Notion数据库的加载方法。通过LangChain，用户能轻松集成和交互各类数据源，加速智能应用的开发。

ModelScope-Agent是一个交互式创作空间，它支持LLM（Language Model）的扩展能力，例如工具调用（function calling）和知识检索（knowledge retrieval）。它已经对相关接口进行了开源，以提供更原子化的应用LLM能力。用户可以通过Modelscope-Agent上的不同代理（agent），结合自定义的LLM配置和消息，调用这些能力。

XTuner和魔搭社区（SWIFT）合作引入了一项长序列文本训练技术，该技术能够在多GPU环境中将长序列文本数据分割并分配给不同GPU，从而减少每个GPU上的显存占用。通过这种方式，训练超大规模模型时可以处理更长的序列，提高训练效率。魔搭社区的SWIFT框架已经集成了这一技术，支持多种大模型和数据集的训练。此外，SWIFT还提供了一个用户友好的界面，方便用户进行训练和部署，并且支持评估功能。

【5月更文挑战第9天】 使用Python和预训练的AI模型，结合Gradio前端框架，创建了一个文本及PDF摘要聊天机器人。通过加载"FalconsAI/text_summarization"模型，实现文本和PDF的预处理，包括PDF合并与文本提取。聊天机器人接收用户输入，判断是文本还是PDF，然后进行相应的摘要生成。用户可以通过运行`app.py`启动机器人，访问`localhost:7860`与之交互，快速获取内容摘要。这个工具旨在帮助忙碌的人们高效获取信息。

Yi-1.5是Yi的升级版本。 它使用 500B tokens的高质量语料库在 Yi 上持续进行预训练，并在 3M 个多样化的微调样本上进行微调。

【5月更文挑战第12天】 LangChain代理是利用大语言模型和推理引擎执行一系列操作以完成任务的工具，适用于从简单响应到复杂交互的各种场景。它能整合多种服务，如Google搜索、Wikipedia和LLM。代理通过选择合适的工具按顺序执行任务，不同于链的固定路径。代理的优势在于可以根据上下文动态选择工具和执行策略。适用场景包括网络搜索、嵌入式搜索和API集成。代理由工具组成，每个工具负责单一任务，如Web搜索或数据库查询。工具包则包含预定义的工具集合。创建代理需要定义工具、初始化执行器和设置提示词。LangChain提供了一个从简单到复杂的AI解决方案框架。

本文为魔搭社区轻量级训练推理工具SWIFT微调实战教程系列

LISA是Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning的简写，由UIUC联合LMFlow团队于近期提出的一项LLM微调技术，可实现把全参训练的显存使用降低到之前的三分之一左右，而使用的技术方法却是非常简单。

5月6日，幻方继1月份推出首个国产MoE模型，历时4个月，带来第二代MoE模型DeepSeek-V2，并开源了技术报告和模型权重，魔搭社区可下载体验。

【5月更文挑战第13天】智能学生顾问构建技术学习（Lyrz SDK + OpenAI API ）

魔搭社区特别推出研习社栏目，包含AI前沿技术解读、模型应用最佳实践、动手做AI应用（AIGC/Agent/RAG）等主题，持续更新，代码实战点击即运行

Chinese-LLaMA-Alpaca-3开源大模型项目正式发布，开源Llama-3-Chinese-8B（基座模型）和Llama-3-Chinese-8B-Instruct（指令/chat模型）

5月更文挑战第2天

元象公司发布了开源多模态大模型XVERSE-V，该模型在图像输入的宽高比方面具有灵活性，并在多项评测中展现出优越性能，超越了包括谷歌在内的多个知名模型。XVERSE-V采用创新方法结合全局和局部图像信息，适用于高清全景图识别、文字检测等任务，且已在Hugging Face、ModelScope和GitHub上开放下载。此外，模型在视障场景、内容创作、教育解题、百科问答和代码生成等领域有广泛应用，并在VizWiz等测试集中表现出色。元象致力于推动AI技术的普惠，支持中小企业、研究者和开发者进行研发和应用创新。

【5月更文挑战第7天】基于检索增强技术（RAG）构建大语言模型（LLM）应用程序实践

百度百科是全民共建的网络百科全书，允许注册用户编辑词条，强调平等、协作与分享。它拥有严格的审核机制，确保内容客观、权威，以参考资料为支撑。编辑者来自各行各业，从学生到专业人士，他们的贡献提升了百科的可信度。新创建的词条若具丰富引用，尤其来自政府网站，其可信度更高。通过用户间的交流与合作，百度百科不断进化和完善。

随着llama3的发布，业界越来越多的针对其中文能力的微调版本也不断涌现出来，我们在ModelScope魔搭社区上，搜集到几款比较受欢迎的llama3中文版本模型，来从多个维度评测一下，其对齐后的中文能力到底如何？ 微调后是否产生了灾难性遗忘问题。

日前，XTuner 团队基于 meta 最新发布的 Llama-3-8B-Instruct 模型训练并发布了最新版多模态大模型 LLaVA-Llama-3-8B， 在多个评测数据集上取得显著提升。

近期开源社区陆续出现了千亿参数规模以上的大模型，这些模型都在各项评测中取得杰出的成绩。今天，通义千问团队开源1100亿参数的Qwen1.5系列首个千亿参数模型Qwen1.5-110B，该模型在基础能力评估中与Meta-Llama3-70B相媲美，在Chat评估中表现出色，包括MT-Bench和AlpacaEval 2.0。

此次发布的是在3天时间内，我们对Llama3-8B模型进行首次中文跨语言训练尝试的结果：OpenBuddy-Llama3-8B-v21.1-8k。

近期， Microsoft 推出 Phi-3，这是 Microsoft 开发的一系列开放式 AI 模型。Phi-3 模型是一个功能强大、成本效益高的小语言模型 (SLM)，在各种语言、推理、编码和数学基准测试中，在同级别参数模型中性能表现优秀。为开发者构建生成式人工智能应用程序时提供了更多实用的选择。

Llama3模型在4月18日公布后，国内开发者对Llama3模型进行了很多训练和适配，除了中文纯文本模型外，多模态版本也陆续在发布中。

我们很自豪地于今天发布OpenBuddy最新一代千亿MoE大模型的早期预览版本：OpenBuddy-Mixtral-22Bx8-preview0-65k。此次发布的早期预览版对应约50%的训练进度。

stable-diffusion-webui是一个便捷的工具，大大降低了复杂AI技术的使用门槛，让更多人能享受到AI驱动的图像生成技术带来的便利与创新可能。

阿里云开发者社区推动云原生技术发展，提供丰富产品（如容器服务、Serverless、微服务架构、服务网格）与学习平台，助力企业数字化转型。开发者在此探索实践，共享资源，参与技术活动，共同创新，共创云原生技术新篇章。一起加入，开启精彩旅程！

记住，关闭防火墙可能会降低系统安全性，请在真正需要的情况下关闭，并确保你在网络环境中采取其他安全措施。

vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。

SWIFT（Scalable lightWeight Infrastructure for Fine-Tuning）是魔搭ModelScope开源社区推出的一套完整的轻量级训练推理工具，基于PyTorch的轻量级、开箱即用的模型微调、推理框架，让AI爱好者用自己的消费级显卡就能玩转大模型和AIGC。

MiniCPM-V 2.0 不仅带来优秀端侧多模态通用能力，更带来惊艳的 OCR 表现。通过自研的高清图像解码技术，可以突破传统困境，让更为精准地识别充满纷繁细节的街景、长图在端侧成为可能。

本文主要关注在Rerank，本文中，Rerank可以在不牺牲准确性的情况下加速LLM的查询（实际上可能提高准确率），Rerank通过从上下文中删除不相关的节点，重新排序相关节点来实现这一点。

中国电信人工智能研究院开源12B参数规模星辰语义大模型TeleChat-12B，相较1月开源7B版本，内容、性能和应用等方面整体效果提升30%，其中，多轮推理、安全问题等领域提升超40%。在C-eval、MMLU、AGIEVAL等国际权威榜单上，排名处于国内同级别参数开源模型的前列，进一步促进大模型开源生态繁荣，助力AI产业加速高质量发展。另据悉，中国电信人工智能研究院将于年内开源千亿级参数大模型。