免费高效!3步实现Llama3模型远程访问与协作

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: Meta发布了全新的开源大语言模型Llama 3,LM Studio是一款免费的桌面端工具,支持一键安装和运行Llama 3模型,实现本地使用。LM Studio还提供了Local Server功能,便于集成AI功能。通过贝锐花生壳,可轻松实现LM Studio接口的远程访问,无需公网IP或端口映射。

前段时间,Meta全新的开源大语言模型Llama 3发布了!


如果想要快速使用Llama 3,使用免费的桌面端工具LM Studio是个不错的选择,支持一键安装,运行Llama 3模型,实现本地使用。



同时,LM Studio还提供了Local Server功能,可以提供接口调用服务,便于App、应用软件、前端网页集成AI功能。



然而,Local Server功能默认提供的是本地访问地址,为了快速远程调用,开发者们需要解决开发环境的远程访问难题。

在无需公网IP、不用端口映射、不设置路由/网关的情况下,搭配贝锐花生壳花生壳,就可以3步实现LM Studio接口的远程访问。



LM Studio启用Local Server功能后,通过贝锐花生壳实现远程访问的步骤如下:

第一步:在贝锐官网下载花生壳客户端,并注册贝锐帐号,并内网主机上安装登录客户端:



第二步:进入花生壳云端管理平台→点击内网穿透→添加映射→选择“网站应用”开始创建即可;



对于常见的网站应用,目前花生壳提供HTTP和HTTPS两种类型可用。

HTTP:可用于搭建HTTP协议的站点映射,属于非加密访问,建议搭配访问控制提升网站安全性:

HTTPS:用于创建访问安全加密的站点映射,同时花生壳可自动云端部署证书,本地无需额外申请、设置,非常方便。


第三步: 根据提示进行设置,如下图正确填写相关信息后,点击保存,就会自动生成一个外网访问地址。



生成完成后,复制生成的访问地址+接口路径,就可以实现LM Studio的接口远程调用。


目录
相关文章
|
1月前
|
自然语言处理 监控 API
"阿里云ModelScope深度测评:从预训练模型到一键部署,揭秘高效模型开发背后的秘密,开发者必备利器!"
【10月更文挑战第23天】阿里云ModelScope是一款便捷的模型开发、训练、部署和应用平台。它提供丰富的预训练模型,涵盖自然语言处理、计算机视觉等领域,支持一键式模型训练和部署,具备模型版本管理和监控功能,显著降低开发门槛,提高模型应用效率。
63 0
|
2月前
|
机器学习/深度学习 弹性计算 自然语言处理
前端大模型应用笔记(二):最新llama3.2小参数版本1B的古董机测试 - 支持128K上下文,表现优异,和移动端更配
llama3.1支持128K上下文,6万字+输入,适用于多种场景。模型能力超出预期,但处理中文时需加中英翻译。测试显示,其英文支持较好,中文则需改进。llama3.2 1B参数量小,适合移动端和资源受限环境,可在阿里云2vCPU和4G ECS上运行。
114 1
|
2月前
|
机器学习/深度学习 数据采集 算法
目标分类笔记(一): 利用包含多个网络多种训练策略的框架来完成多目标分类任务(从数据准备到训练测试部署的完整流程)
这篇博客文章介绍了如何使用包含多个网络和多种训练策略的框架来完成多目标分类任务,涵盖了从数据准备到训练、测试和部署的完整流程,并提供了相关代码和配置文件。
62 0
目标分类笔记(一): 利用包含多个网络多种训练策略的框架来完成多目标分类任务(从数据准备到训练测试部署的完整流程)
|
3月前
|
弹性计算 网络协议 API
原生Claude3免魔法本地轻松上手,这3步你必须要知道
本文详细介绍了如何在阿里云ECS上部署LobeChat,并通过Cloudflare实现Claude3 API的代理访问。首先准备ECS、Claude3 API密钥及域名,接着通过Docker部署LobeChat,并配置相关环境变量。然后,在Cloudflare上创建站点并部署API代理,最后通过SSH端口映射在本地访问LobeChat。文中提供了具体步骤与示例代码,帮助读者顺利完成部署,体验高效便捷的AI聊天功能。
229 2
|
4月前
|
Linux API 开发工具
LLM大模型部署实战指南:Ollama简化流程,OpenLLM灵活部署,LocalAI本地优化,Dify赋能应用开发
【8月更文挑战第5天】LLM大模型部署实战指南:Ollama简化流程,OpenLLM灵活部署,LocalAI本地优化,Dify赋能应用开发
LLM大模型部署实战指南:Ollama简化流程,OpenLLM灵活部署,LocalAI本地优化,Dify赋能应用开发
|
6月前
|
人工智能 Linux Docker
一文详解几种常见本地大模型个人知识库工具部署、微调及对比选型(1)
近年来,大模型在AI领域崭露头角,成为技术创新的重要驱动力。从AlphaGo的胜利到GPT系列的推出,大模型展现出了强大的语言生成、理解和多任务处理能力,预示着智能化转型的新阶段。然而,要将大模型的潜力转化为实际生产力,需要克服理论到实践的鸿沟,实现从实验室到现实世界的落地应用。阿里云去年在云栖大会上发布了一系列基于通义大模型的创新应用,标志着大模型技术开始走向大规模商业化和产业化。这些应用展示了大模型在交通、电力、金融、政务、教育等多个行业的广阔应用前景,并揭示了构建具有行业特色的“行业大模型”这一趋势,大模型知识库概念随之诞生。
140201 30
|
4月前
|
测试技术 Linux Shell
ChatGPT访问难?ChatGLM+花生壳打造可远程访问的平替方案
ChatGPT虽强大,但访问受限。清华大学开源的ChatGLM提供了一种解决方案:用户可根据需求部署私有化的对话服务,支持中英文交互。与ChatGPT不同,ChatGLM便于定制与训练,并能获取已训练模型。结合贝锐花生壳等内网穿透工具,可轻松实现ChatGLM-webui远程访问,无需固定公网IP或路由配置,适用于测试及实际项目,有效规避了访问难题。
73 3
|
5月前
|
存储 人工智能 自然语言处理
社区供稿 | 源大模型的快速部署与高效推理——GGUF格式模型介绍与使用教程
在人工智能领域,大型语言模型的发展日新月异,它们在自然语言处理、机器翻译、智能助手等多个领域展现出了前所未有的能力。
社区供稿 | 源大模型的快速部署与高效推理——GGUF格式模型介绍与使用教程
|
4月前
|
API
求助:使用阿里的通义模型如何支持运行GraphRAG项目呢?
求助:使用阿里的通义模型如何支持运行GraphRAG项目呢?
103 1
|
7月前
|
机器学习/深度学习 缓存 算法
LLM 大模型学习必知必会系列(十二):VLLM性能飞跃部署实践:从推理加速到高效部署的全方位优化[更多内容:XInference/FastChat等框架]
LLM 大模型学习必知必会系列(十二):VLLM性能飞跃部署实践:从推理加速到高效部署的全方位优化[更多内容:XInference/FastChat等框架]
LLM 大模型学习必知必会系列(十二):VLLM性能飞跃部署实践:从推理加速到高效部署的全方位优化[更多内容:XInference/FastChat等框架]