如何基于Llama 2搭建自己的大模型?8月26日,4位技术大牛手把手教你

简介: 如何基于Llama 2搭建自己的大模型?8月26日,4位技术大牛手把手教你

如果要问「2023 年最火的动物是什么?」AI 圈外的人可能会回答「熊猫」,并给你列出一长串熊猫的名字。而 AI  圈内的人八成会回答「羊驼」。而且,他们也能给你列出一长串「羊驼」的名字:llama、vicuna、alpaca……得益于 Meta Llama 模型的开源,AI 社区的研究者对生物学羊驼属的英文单词已经如数家珍,每个单词都对应着一个(或一组)基于 Llama 的微调模型。这些模型各有所长,在 Llama 的基础上提升了对话、多模态生成等能力,而且更符合人类对话习惯。不过,由于存在开源协议问题,第一版 Llama 一直不可以商用,这让一些想基于该模型构建应用的从业者持谨慎态度。

就在前几天,Meta 又开源了 Llama 2,性能更加接近 ChatGPT,而且允许商用(日活超过 7 亿需要单独申请)。这意味着未来更多人会加入 Llama 阵营,基于这一模型进行微调,并构建商业应用。有人预言说,大模型的安卓时代就要来了!

在这样一个激动人心的时刻,不少从业者已经摩拳擦掌,准备做出一些成果。不过,在此之前,每个人都需要先把 Llama 2 背后的技术吃透,同时了解其潜在的应用场景。这会让大家在之后的模型、应用构建之路上走得更顺。

为此,机器之心专门设计了「Llama 2 大模型算法与应用实践」论坛。

论坛邀请到上海交通大学清源研究院长聘教轨副教授、生成式人工智能研究组(GAIR)负责人刘鹏飞,老刘说 NLP 技术公众号作者、开源爱好者刘焕勇,北京灵琐科技 CEO、Chinese Llama 2 7B 项目发起人史业民,前智源研究院技术总监苏洋等四位专家带来演讲及实战分享。

论坛为期 1 天,内容包括 Llama 2 算法解读、基于 Llama 2 开发中文大模型、Llama 2 案例解读和应用实践等。

通过本场系统分享,你将系统了解到 Llama 2 背后的技术以及潜在的应用场景,为即将到来的「大模型安卓时代」做好准备。

4 位资深主讲人,做过哪些相关工作?

主讲人:刘鹏飞,上海交通大学清源研究院长聘教轨副教授、生成式人工智能研究组(GAIR)负责人

个人简介:专注于自然语言的预训、生成和评估等研究方向;在自然语言处理和人工智能领域发表学术论文 60 余篇。谷歌学术引用 7000 余次。ACL 会议史上首次实现连续两年获得 System & Demo Paper Award;提示工程(Prompt Engineering)概念最早提出者之一。代表作包括:ExplainaBoard,高考英语 AI,LIMA 等工作。

Google Scholar:https://scholar.google.com/citations?hl=en&user=oIz_CYEAAAAJ

GitHub 个人主页:https://github.com/pfliu-nlp


主讲人:刘焕勇,老刘说 NLP 技术公众号作者、开源爱好者

个人简介:曾就职于中国科学院软件研究所。主要研究方向为领域知识/事件图谱的构建与应用,大模型的数据工程、知识库增强与自动化评估,申请发明专利十余项、论文数篇。近年来在 OGB-Wikikg 2、CCKS 多模态实体对齐、可解释类案匹配等评测中获得多项冠亚军。致力于自然语言处理技术开源共享,在 GitHub 开源项目 60+,收获 star 数超 2W+,创立「老刘说 NLP」技术公众号,具有广泛影响力。

GitHub 个人主页:https://liuhuanyong.github.io/

主讲人:史业民,北京灵琐科技 CEO、Chinese Llama 2 7B 项目发起人

个人简介:本科及博士毕业于北京大学,入选斯坦福大学发布的 2022 年度「全球前 2% 顶尖科学家榜单」,在人工智能领域顶会和学术期刊上发表论文 20 余篇;作为智源研究院 Z-lab 联合负责人,从事大模型相关算法研究与应用探索,参与了智源悟道 3.0 研发,是最大可商用中文指令数据集 COIG、COIG-PC 的发起者、组织者之一,也是音乐预训练大模型 MERT 的作者之一,曾获 CAMEO 蛋白质结构预测年度、季度、月度第一名。

GitHub 项目地址:https://github.com/LinkSoul-AI/Chinese-Llama-2-7b


主讲人:苏洋,前智源研究院技术总监

个人简介:Llama 2 中文开源模型社区贡献者。GitHub 社区活跃用户,国内首个 Llama 2 中文版开源社区贡献者,GitHub 热榜八十行代码实现类似 Midjourney 官方 Describe 开源工具作者,双卡 Finetune Llama 一代 65B 模型,早期 ChatGPT 应用 「hacker」,实现了 ChatGPT 自由接入数据源等工具。

GitHub 个人主页:https://github.com/soulteary

相关文章
|
6月前
|
负载均衡 测试技术 调度
大模型分布式推理:张量并行与流水线并行技术
本文深入探讨大语言模型分布式推理的核心技术——张量并行与流水线并行。通过分析单GPU内存限制下的模型部署挑战,详细解析张量并行的矩阵分片策略、流水线并行的阶段划分机制,以及二者的混合并行架构。文章包含完整的分布式推理框架实现、通信优化策略和性能调优指南,为千亿参数大模型的分布式部署提供全面解决方案。
1600 4
|
6月前
|
存储 机器学习/深度学习 人工智能
大模型微调技术:LoRA原理与实践
本文深入解析大语言模型微调中的关键技术——低秩自适应(LoRA)。通过分析全参数微调的计算瓶颈,详细阐述LoRA的数学原理、实现机制和优势特点。文章包含完整的PyTorch实现代码、性能对比实验以及实际应用场景,为开发者提供高效微调大模型的实践指南。
2880 3
|
6月前
|
机器学习/深度学习 缓存 监控
大模型推理优化技术:KV缓存机制详解
本文深入探讨了大语言模型推理过程中的关键技术——KV缓存(Key-Value Cache)机制。通过对Transformer自注意力机制的分析,阐述了KV缓存的工作原理、实现方式及其对推理性能的显著优化效果。文章包含具体的代码实现和性能对比数据,为开发者理解和应用这一关键技术提供实践指导。
1905 8
|
6月前
|
人工智能 机器人 人机交互
当AI学会“看、听、懂”:多模态技术的现在与未来
当AI学会“看、听、懂”:多模态技术的现在与未来
424 117
|
7月前
|
监控 JavaScript Java
基于大模型技术的反欺诈知识问答系统
随着互联网与金融科技发展,网络欺诈频发,构建高效反欺诈平台成为迫切需求。本文基于Java、Vue.js、Spring Boot与MySQL技术,设计实现集欺诈识别、宣传教育、用户互动于一体的反欺诈系统,提升公众防范意识,助力企业合规与用户权益保护。
|
6月前
|
人工智能 自然语言处理 安全
AI助教系统:基于大模型与智能体架构的新一代教育技术引擎
AI助教系统融合大语言模型、教育知识图谱、多模态交互与智能体架构,实现精准学情诊断、个性化辅导与主动教学。支持图文语音输入,本地化部署保障隐私,重构“教、学、评、辅”全链路,推动因材施教落地,助力教育数字化转型。(238字)
1066 23
|
6月前
|
机器学习/深度学习 存储 并行计算
大模型推理加速技术:FlashAttention原理与实现
本文深入解析大语言模型推理加速的核心技术——FlashAttention。通过分析传统注意力机制的计算瓶颈,详细阐述FlashAttention的IO感知算法设计、前向反向传播实现,以及其在GPU内存层次结构中的优化策略。文章包含完整的CUDA实现示例、性能基准测试和实际部署指南,为开发者提供高效注意力计算的全套解决方案。
1132 10
|
6月前
|
人工智能 文字识别 自然语言处理
从“看见”到“预见”:合合信息“多模态文本智能技术”如何引爆AI下一场革命。
近期,在第八届中国模式识别与计算机视觉学术会议(PRCV 2025)上,合合信息作为承办方举办了“多模态文本智能大模型前沿技术与应用”论坛,汇聚了学术界的顶尖智慧,更抛出了一颗重磅“炸弹”——“多模态文本智能技术”概念。
284 1
|
6月前
|
存储 人工智能 算法
大模型4-bit量化技术详解
本文系统阐述大语言模型的4-bit量化技术,深入解析GPTQ、AWQ等主流量化方法的原理与实现。通过详细的数学推导、代码实现和实验对比,展示4-bit量化如何将模型内存占用降低75%以上同时保持模型性能。文章涵盖量化感知训练、后训练量化、混合精度量化等关键技术,为开发者提供完整的模型压缩解决方案。
1481 7
|
6月前
|
监控 算法 测试技术
大模型推理服务优化:动态批处理与连续批处理技术
本文系统阐述大语言模型推理服务中的关键技术——动态批处理与连续批处理。通过分析传统静态批处理的局限性,深入解析动态批处理的请求调度算法、内存管理策略,以及连续批处理的中断恢复机制。文章包含完整的服务架构设计、核心算法实现和性能基准测试,为构建高性能大模型推理服务提供全面解决方案。
777 3

热门文章

最新文章