ollama + qwen2.5-coder + VS Code + Continue 实现本地AI 辅助写代码
本文介绍在Apple M4 MacOS环境下搭建Ollama和qwen2.5-coder模型的过程。首先通过官网或Brew安装Ollama，然后下载qwen2.5-coder模型，可通过终端命令`ollama run qwen2.5-coder`启动模型进行测试。最后，在VS Code中安装Continue插件，并配置qwen2.5-coder模型用于代码开发辅助。
【完全免费】VS Code 最好用的 12 款 AI 代码提示插件！！！
🎉 探索12款免费VSCode AI代码提示插件：Codeium、Codegeex、CodeFuse、TONGYI Lingma、Comate、iFlyCode、Fitten Code、Bito AI、Mintlify Doc Writer、Kodezi AI、aiXcoder、IntelliCode。这些插件提供智能补全、代码生成、注释、优化，支持多种语言，提升编程效率！🚀👩💻👨💻
通义千问API：让大模型写代码和跑代码
基于前面三章的铺垫，本章我们将展示大模型Agent的强大能力。我们不仅要实现让大模型同时使用多种查询工具，还要实现让大模型能查询天气情况，最后让大模型自己写代码来查询天气情况。
【大模型入门系列6】Qwen模型微调实战
本文介绍了使用开源框架LLaMA Factory进行大模型微调的技术学习过程，包括环境搭建、数据准备、模型选择、微调、评估及最终的模型导出与测试。通过阿里云PAI提供的DSW环境，以Qwen1.5-0.5B模型为例，展示了如何利用Web UI界面零代码完成模型微调，并通过对比微调前后模型的性能，验证了微调效果。
在云上搭建CosyVoice环境-保姆级教程
发现个好玩的模型，阿里最近开源的，可以便捷的复刻人声，本文提供全套安装过程。仓库地址：https://github.com/FunAudioLLM/CosyVoice。
通义语音大模型评测：CosyVoice与SenseVoice
随着人工智能技术的不断发展，语音生成和理解模型在各个领域得到了广泛应用。本文将评测两个由FunAudioLLM团队开发的多语言语音模型——[CosyVoice](https://github.com/FunAudioLLM/CosyVoice)和[SenseVoice](https://github.com/FunAudioLLM/SenseVoice)，并结合阿里云开发者社区的相关资源，探讨其在实际应用中的表现。
Cursor + qwen2.5-coder 32b 的配置方式
安装Cursor后，进入设置修改OpenAI基础URL为阿里云的DashScope接口，并添加Qwen2.5-Coder 32B模型。需先访问阿里云百灵控制台申请免费Key。配置完成后，即可使用该模型进行开发和测试。
深入剖析 Qwen2.5 - 32B 模型在 VLLM 上的单机三卡部署与运行
本文深入探讨了Qwen2.5 - 32B模型在VLLM框架上的部署过程，从模型下载、启动命令、资源占用分析到GPU资源分配及CUDA图应用，详述了大模型运行的挑战与优化策略，强调了硬件资源规划与技术调优的重要性。
LangChain+通义千问+AnalyticDB向量引擎保姆级教程
本文以构建AIGC落地应用ChatBot和构建AI Agent为例，从代码级别详细分享AI框架LangChain、阿里云通义大模型和AnalyticDB向量引擎的开发经验和最佳实践，给大家快速落地AIGC应用提供参考。
前端大模型入门（一）：用 js+langchain 构建基于 LLM 的应用
本文介绍了大语言模型（LLM）的HTTP API流式调用机制及其在前端的实现方法。通过流式调用，服务器可以逐步发送生成的文本内容，前端则实时处理并展示这些数据块，从而提升用户体验和实时性。文章详细讲解了如何使用`fetch`发起流式请求、处理响应流数据、逐步更新界面、处理中断和错误，以及优化用户交互。流式调用特别适用于聊天机器人、搜索建议等应用场景，能够显著减少用户的等待时间，增强交互性。
基于NVIDIA A30 加速卡推理部署通义千问-72B-Chat测试过程
本文介绍了基于阿里云通义千问72B大模型（Qwen-72B-Chat）的性能基准测试，包括测试环境准备、模型部署、API测试等内容。测试环境配置为32核128G内存的ECS云主机，配备8块NVIDIA A30 GPU加速卡。软件环境包括Ubuntu 22.04、CUDA 12.4.0、PyTorch 2.4.0等。详细介绍了模型下载、部署命令及常见问题解决方法，并展示了API测试结果和性能分析。
从文案到设计，我用通义版Artifacts生成了365张灵感日历
本文介绍了如何利用通义AI的“代码模式”功能，轻松制作个性化日历。作者通过实例展示了从设计日历样式、推荐每日生活小事到赋予小事新解的过程，强调了AI在创意实现上的强大助力。此外，还探讨了AI代码生成技术对未来创造力的影响，以及通义AI代码模式如何降低创作门槛，提高效率，让每个人都能成为应用开发者。
【项目实战】通过LLaMaFactory+Qwen2-VL-2B微调一个多模态医疗大模型
本文介绍了一个基于多模态大模型的医疗图像诊断项目。项目旨在通过训练一个医疗领域的多模态大模型，提高医生处理医学图像的效率，辅助诊断和治疗。作者以家中老人的脑部CT为例，展示了如何利用MedTrinity-25M数据集训练模型，经过数据准备、环境搭建、模型训练及微调、最终验证等步骤，成功使模型能够识别CT图像并给出具体的诊断意见，与专业医生的诊断结果高度吻合。
大模型进阶微调篇（一）：以定制化3B模型为例，各种微调方法对比-选LoRA还是PPO，所需显存内存资源为多少？
本文介绍了两种大模型微调方法——LoRA（低秩适应）和PPO（近端策略优化）。LoRA通过引入低秩矩阵微调部分权重，适合资源受限环境，具有资源节省和训练速度快的优势，适用于监督学习和简单交互场景。PPO基于策略优化，适合需要用户交互反馈的场景，能够适应复杂反馈并动态调整策略，适用于强化学习和复杂用户交互。文章还对比了两者的资源消耗和适用数据规模，帮助读者根据具体需求选择最合适的微调策略。
通义千问14B开源！内附魔搭最佳实践
9月25日，阿里云开源通义千问140亿参数模型Qwen-14B及其对话模型Qwen-14B-Chat，免费可商用。Qwen-14B在多个权威评测中超越同等规模模型，部分指标甚至接近Llama2-70B。阿里云此前开源的70亿参数模型Qwen-7B等，一个多月下载量破100万，成为开源社区的口碑之作。
llama factory 从数据集起步 跑通 qwen系列开源生成式大模型 微调
`dataset_info.json` 文件用于管理 llama factory 中的所有数据集，支持 `alpaca` 和 `sharegpt` 格式。通过配置此文件，可以轻松添加自定义数据集。数据集的相关参数包括数据源地址、数据集格式、样本数量等，支持 Hugging Face 和 ModelScope 两个平台的数据集仓库。针对不同格式的数据集，提供了详细的配置示例，如 `alpaca` 格式的指令监督微调数据集、偏好数据集等，以及 `sharegpt` 格式的多模态数据集等。今天我们通过自定义数据集的方式来进行qwen2.5_14B_instruct模型进行微调
通义千问7B-基于本地知识库问答
上期，我们介绍了通义千问7B模型的微调+部署方式，但在实际使用时，很多开发者还是希望能够结合特定的行业知识来增强模型效果，这时就需要通过外接知识库，让大模型能够返回更精确的结果。
由通义千问驱动的人形机器人具身智能Multi-Agent系统
申昊科技人形机器人小昊，集成通义千问多模态大模型的具身智能系统，旨在讲解销售、迎宾表演等场景。机器人通过语音、动作等方式与用户互动，利用云端大语言模型处理自然语言，结合视觉、听觉等多模态感知技术，实现流畅的人机对话、目标追踪、展厅讲解等功能。
通义千问7B模型开源，魔搭最佳实践来了
通义千问开源！阿里云开源通义千问70亿参数模型，包括通用模型Qwen-7B-Base和对话模型Qwen-7B-Chat，两款模型均已上线ModelScope魔搭社区，开源、免费、可商用，欢迎大家来体验。
探索大模型部署：基于 VLLM 和 ModelScope 与 Qwen2.5 在双 32G VGPU 上的实践之旅
本文介绍了使用 `VLLM` 和 `ModelScope` 部署 `Qwen2.5` 大模型的实践过程，包括环境搭建、模型下载和在双 32G VGPU 上的成功部署，展现了高性能计算与大模型结合的强大力量。
如何训练属于自己的“通义千问”呢？
大模型的风潮还未停歇，国内大模型的研发也正如火如荼地开展着。你试用过哪些大模型呢？你觉得哪一款产品最适合开发者呢？你有想过训练出自己的大模型吗？这不就来了！ 通义千问开源！阿里云开源通义千问70亿参数模型，包括通用模型Qwen-7B和对话模型Qwen-7B-Chat，两款模型均已上线ModelScope魔搭社区，开源、免费、可商用。点击链接，立即开启模型开源之旅：https://modelscope.cn/models/qwen/Qwen-7B/summary
用通义Qwen大模型和Streamlit构建 ChatPDF 应用（附代码）
本文介绍了如何利用通义千问Qwen大模型构建一个本地ChatPDF AI助手，该助手允许用户上传PDF并与之对话，确保文档隐私安全。项目通过阿里云百炼平台获取Qwen-Long模型，支持多种文档格式。现实现步骤包括导入库、加载环境变量、初始化客户端、编码器、页面与对话管理、文件上传、选择模型、获取AI回答及计算费用，主函数整合这些功能，提供交互体验。
基于阿里云通义千问开发智能客服与问答系统
在企业的数字化转型过程中，智能客服系统已成为提高客户满意度和降低运营成本的重要手段。阿里云的通义千问作为一款强大的大语言模型，具有自然语言理解、对话生成、知识检索等能力，非常适合用来开发智能客服与问答系统。 通过本博客，我们将演示如何基于阿里云的通义千问模型，结合阿里云相关产品如函数计算（FC）、API网关、RDS等，搭建一个功能齐全的智能客服系统。
CosyVoice 与 SenseVoice：阿里FunAudioLLM两大语音生成项目的深度评测
近年来,基于大模型的语音人工智能技术发展迅猛,为自然语音人机交互带来新的可能。通义语音大模型无疑是这一领域的佼佼者。它涵盖了语音理解与语音生成两大核心能力,可支持多种语音任务,包括多语种语音识别、语种识别、情感识别、声音事件检测以及语音合成等
【大模型入门系列3】通义大模型微调实现修改自我认知
本文介绍了如何使用魔搭社区的SWIFT框架对通义大模型进行微调，以满足个性化需求，如修改模型自我认知等。文中详细描述了微调前的环境配置、微调过程及参数设置、微调后的推理验证，以及资源消耗对比。最后，文章还对比了微调与RAG技术的应用场景，并总结了完整的模型微调流程，包括评测、量化导出和部署等步骤。
通义千问开源第二波！多模态来啦！（内含魔搭最佳实践）
近期，通义千问大规模视觉语言模型Qwen-VL上线魔搭社区，Qwen-VL以通义千问70亿参数模型Qwen-7B为基座语言模型研发，支持图文输入，具备多模态信息理解能力。
社区供稿 | 10G显存，通义千问-7B-int4消费级显卡最佳实践
在魔搭社区，通义千问团队发布了Qwen-7B-Chat的Int4量化模型，Qwen-7B-Chat-Int4。该方案的优势在于，它能够实现几乎无损的性能表现，模型大小仅为5.5GB，内存消耗低，速度甚至超过BF16。
【大模型入门系列2】本地win11部署通义千问大模型做RAG验证
本文介绍了如何在本地环境中部署并使用大模型，特别是阿里巴巴云的Qwen1.5-0.5B-Chat模型。首先分析了本地化部署的重要性，包括数据安全、网络稳定性、定制化需求等方面。接着详细描述了环境准备过程，包括更新显卡驱动、安装CUDA、配置Python环境等。随后，文章展示了如何使用ModelScope Library加载模型，并通过Python脚本实现基本的对话功能。最后，探讨了私有化部署大模型的优势，如数据安全、定制化、效率提升等，为未来的探索指明方向。
针对【图像生成 - ComfyUI】使用的深度评测
ComfyUI 是一款支持自定义工作流的图像生成工具，适用于创意设计、游戏开发和电商等多个行业。它能根据项目需求灵活调整图像生成流程，提高创意实现效率，同时具备成本效益和弹性伸缩能力，适应业务量变化。尽管如此，ComfyUI 在技术门槛和数据安全方面仍存在挑战，需注意非专业用户的学习曲线和敏感数据保护。
2023云栖大会 | 阿里云发布通义千问2.0
今天，阿里云正式发布千亿级参数大模型通义千问2.0。在10个权威测评中，通义千问2.0综合性能超过GPT-3.5，正在加速追赶GPT-4。通义千问APP在各大手机应用市场正式上线，所有人都可通过APP直接体验最新模型能力。
通过API调用通义千问时出现DataInspectionFailed的解决办法（玄学版）
在使用qwen-plus API进行长文本翻译时，遇到了DataInspectionFailed错误，提示输入数据可能包含不当内容。尽管确认文本无敏感内容，但误判依然发生。通过将每个分段的字符数从1000降低到700，问题得以解决。建议在处理长文本时，减少每次请求的字符数以避免误判。
基于qwen2和qwenvl的自动批改作业应用！
针对作业批改中常见的问题，如低质量作业、大量简单作业耗时、需初筛异常作业等，开发了一款自动批改作业的应用。该应用通过备份作业文件、获取文档内容、利用AI生成评语，并保存关键信息与日志，简化了教师的工作流程，提高了效率。应用设计简洁，易于扩展，支持图片转文字处理，适合教育场景使用。
【Prompt Engineering 提示词工程指南】文本概括、信息提取、问答、文本分类、对话、代码生成、推理
本文介绍了使用提示词与大语言模型（LLM）交互的基础知识。通过调整参数如温度（Temperature）、最高概率词元（Top_p）、最大长度（Max Length）及停止序列（Stop Sequences），可以优化模型输出。温度参数影响结果的随机性；Top_p 控制结果的多样性；最大长度限制输出长度；停止序列确保输出符合预期结构。此外，频率惩罚（Frequency Penalty）和存在惩罚（Presence Penalty）可减少重复词汇，提升输出质量。提示词需包含明确指令、上下文信息、输入数据及输出指示，以引导模型生成理想的文本。设计提示词时应注重具体性、避免歧义，并关注模型的具体行为
【大模型入门系列4】使用通义千问实现Agent ReAct
本文介绍了LLM Agent的概念及其核心技术ReAct。ReAct框架通过协同推理和行动，使大语言模型在执行任务时能生成推理轨迹和操作计划，增强模型的自主性和可解释性。文中展示了如何使用LangChain框架结合通义千问模型实现ReAct Agent，通过具体示例演示了其在解决数学和时间问题上的应用。
【大模型入门系列5】免费使用PAI-DSW部署Qwen大模型进行推理部署微调验证
本文介绍了如何在阿里云PAI平台上本地部署Qwen大模型进行推理验证。首先，通过PAI平台申请免费试用DSW，选择支持资源包抵扣的GPU类型。接着，使用modelscope下载Qwen1.5-7B-Chat模型并进行推理验证。最后，利用vllm构建与OpenAI API兼容的服务，并通过OpenAI客户端接口进行请求验证，同时提供了微调验证的方法。
智能化AI工具-语言翻译与本地化
在全球化发展的背景下，语言翻译与本地化需求日益增长。无论是跨境电商、国际合作，还是本地化应用开发，都需要高效、准确的翻译解决方案。阿里云通义千问作为一款强大的大语言模型，不仅具备出色的自然语言理解能力，还能够在多语言翻译和本地化场景中发挥重要作用。本博客将详细介绍如何基于阿里云通义千问开发语言翻译与本地化工具，包括产品介绍、程序代码以及阿里云相关产品的具体使用流程。
