在无网络资源的8G计算机环境下本地部署一个大型语言模型面临的独特问题。本论文通过实践构建了一套从0开始本地化一个语言模型的方案，解决包括开发环境配置，网络限制，模型格式，内存容量等包含系统陷阱的问题，实现离线交互对话，为类似情况提供信息指南和技术参考。
1.0引言
如今Ai语言模型领域蓬勃发展，而用户需求也相应的多元化，本地化成为一种安全，保护数据的方法，但目前主流仍为网络稳定，高性能硬件方案，本研究则关注了一个广泛但易忽视的问题，在网络不稳，硬件限制的情况下实现个人计算机Ai模型部署。实践者在该过程中同时遭遇网络封锁导致模型获取失败，引擎与硬件不兼容以及内存无法𠄘载过大模型等，针对这一现象记录较少因此记录此过程可为类似探索者提供参考，本研究通过一次完整的实践记录了在受限环境下部署运行一个语言模型的可行路径，本文主要提出一份错误清单，在后续有错误复盘整合。验证不依赖网络手动部署方，在资源有限的情况下成功方法
2.0技术背景
目前大型语言模型是基于transformer架构，依赖上下文理解，通过海量训练数据预测下一个词的能力，模型架构和知识存储在文件中，本地部署则是把AI模型再构建到硬件上，transformer框架密集矩阵运算对设备有较高的算力和内存要求，因此主要任务为选择合适文件，并构建能完整接收，推理，生成文本的完整软件栈
本次部署涉及两种格式，Pytorch格式和GGUF格式，前者应在python环境下，通过pytorch框架和Hugging Face transformers库进行加载运行，兼容性高，后者专门为llama.cpp等引擎设计，算力与速度更高效，但依赖C++环境。
本研究面临的首要约束是缺乏C++环境，因此直接放弃需复杂环境配置的GGUF，转用无依赖的Pytorch及transformers库，个人部署时，Pytorch格式更易上手。
在个人计算机部署中，主要有三种约束1.算力不足，无专用GPU，transformers架构使推理，加载速度严重受限2.内存约束，模型在推理过程中产生的大量激活值积于物理内存中，本实践的8G内存为选择模型的上限3.网络封锁，无法访问资源被迫转为手动搜寻国内网站下载模型和特定工具。
目前，绝大多数本地部署方案默认用户有稳定网络与高性能GPU，同时各种轻量级模型与模型量化的诞生降低内存与算力负担，但最关键的工具链配置复杂，门槛较高，所以该研究针对三个最易受限以及复杂系统环境的问题进行分析，提供一份可在该情况下复现的指南。
3.0方法论
3.1实验环境与约束。本研究全部实践在个人计算机上，此设备决定了部署上限能力。硬件规格：FX503VD品牌，lntel Core it-7300HQ处理器，8GB内存，无独立显卡，使用处理器集成显卡，1TB 希捷机械硬盘（型号：ST1000LM035-1RK172）存储， 操作系统为Windows10专业版，未安装python以及c++环境，受网络限制无法直接访问Git等国际开源平台，仅能使用CPU推理，8G物理内存为上限，模型与依赖库只能通过国内镜像或手动获取，无法安装需要C++环境的复杂引擎。
3.2 环境搭建
1.本研究未采用稍复杂的虚拟环境，因追求方便快捷所以直接使用python解释器并控制版本的方法。最初本研究在日常使用的旧账户中进行，首先安装python的最新版（3.13.0）但从官网下载后，发现依赖库与其发生生态兼容，核心库尚未更新与python版本匹配的预编译包，导致pip install失败。
2.为追求稳定本研究决定使用python3.12.3版本，但在安装时提示系统存在旧版本未清理完全，无法成功安装，问题短时间无法解决，最终采取根本方案，创建一个新账户。同时避免了权限限制和路径混乱。
3.将新账户设定为管理员，确保环境干净，为避免中文路径或空格引发的兼容性问题，本研究在D盘根目录下创建专属文件夹，负责存放项目文件，模型以及脚本。但一定注意脚本文件扩展名以.py结尾Windows环境默认隐藏扩展名，可以在文件管理开启，删掉txt以避免无法找到指定路径。
4.最终系统回归纯净，重新下载python3.12.3成功，并在安装时勾选add python.exe to path，随后在命令提示符中验证python--version与pip--version均得正确版本。
结论：所以在低资源，各方面受限中修复与清理旧环境的复杂性高于创建新环境时，优先选择后者。
3.3 格式转换
1.最初部署方案根据主流建议，选择高效量化模型格式。计划下载DeepSeek-coder-1.3B-instrucr模型的GGUF量化版本，并通过llama-cpp-python命令时，安装进程因缺失C++环境失败。
2.在无C++环境的系统上，GGUF格式核心引擎无法安装，同时搭建C++环境太过复杂，实践者放弃GGUF格式转用依赖少，兼容大的python框架及Hugging Face transformers库作为目标计划，虽然牺牲速度与算力效率但降低复杂度，实现更方便快速部署。
3.4系统调整
1.发现安装时系统因长路径名称限制导致文件操作失败，因为Windows系统默认无法使用长路径，本研究使用通过修改系统注册表，启用长路径支持的方法。随后使用命令提示符显示成功。
2.重启后生效，在网络限制中通过python包管理器安装包安装包含所有依赖库离线完成了torch与transformers等核心库，pytorch检查后版本为2.9.1+CPU
3.5模型选择与成功
1.在环境齐全后下一步是寻找合适的模型，本设备物理内存为8G，而模型一旦加载运行，全部激活值将堆积在其中，所以模型参数应小于1.5B且为pytorch格式，推理速度，回答深度能力较低，但足以低资源运行。
2.本研究首先通过国内开源社区魔塔，选择了一个阿里云大语言模型通义千问Qwen 1.5-1.8B-chat手动下载到特定文件夹确认无误后，在记事本中添加脚本尝试加载，但高估物理内存导致进程崩溃，电脑卡死。随后在魔塔上找到Qwen1.5-0.5B-chat，此模型降低内存工作量更稳定。
3.确定后为明确此模型在CPU上运行以及加载文件，编写一个脚本核心代码为
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
model_path = r‘D:\AI_Project\models\Qwen0.5B-Chat’ # 加载最终确定的0.5B模型
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path,
trust_remote_code=True,
torch_dtype=torch.float32) # 显式指定CPU浮点类型
4.脚本完整的构成了一个对话循环，模型能理解并生成连贯且与输入相关的回复。运行脚本后命令窗成功加载信息，但由于脚本未添加中文编码导致模型输出为英文，添加后可以用中文对话。
结论：成功对话标志着本研究实现了在8G内存，无GPU的约束下成功部署运行了一个大型语言模型。
4.0错误复盘的避坑指南
整个过程是与一系列系统陷阱中反复探索遭遇错误，因实践者发现大多阻力来自操作系统而非AI技术，所以将其归纳为可预防的指南。
1.下载GGUF格式模型后无法安装引擎且乱码，该引擎在windows上依赖C++环境，在缺乏此环境的系统中解决方法较复杂，可以选择依赖较少的pytorch格式。
2.在windows命令提示符中，执行多行代码时频繁出现SyhtaxError易被认为语法错误，实则为历史遗留缺陷，是环境性坑，为避免可以在Windows执行代码时切为单行代码或直接写入.py文件执行。
3.无法打开.py文件，可能误认为python安装失败或扩展名错误，但有可能是windows注册表被中，文件类型关联项被其他软件修改或破坏，可以通过命令行指定python解释器运行，也可直接在命令行创建新文件代替原文件。
4.加载模型时硬盘灯闪，内存磁盘占用率高，易认为程序卡死，但有可能是成功加载过程，这是大模型载入内存以及神经网络初始化的正常表现，硬盘灯太久不动才有可能是卡死。
结论：在个人计算机环境中，AI部署最困难的部分往往是细节陷阱，本实践正是记录该过程，以减少无用和费时间的探索。
5.0结论
本研究完成了一次从零开始部署的实践，精准采用方便快捷的方案，提供类似环境约束下复现具体步骤以及一份避坑指南，让类似探索者将精力聚焦于真正的技术挑战，而非消耗在环境配置的陷阱中。而未来可以以此干净，纯洁的基础进行量化或采用更复杂的格式。
