部署chat wexin需要的服务器配置怎么做？

部署Chat Wexin（假设为Qwen系列模型）所需的服务器配置主要包括以下几个方面：

实例规格：

• Qwen-72B-Chat：建议选择192 GiB内存或以上的实例规格，如ecs.c8i.24xlarge。
• Qwen-7B-Chat：实例规格至少需要选择ecs.g8a.4xlarge（64 GiB内存）。
• Qwen-VL-Chat：实例规格至少需要选择ecs.g8a.4xlarge（64 GiB内存）。

操作系统：

• 对于所有Qwen系列模型，推荐使用Alibaba Cloud Linux 3.2104 LTS 64位镜像。

公网IP：

• 需要分配公网IPv4地址，带宽计费模式选择“按使用流量”，带宽峰值设置为100 Mbps，以加快模型下载速度。

存储：

• Qwen-72B-Chat：数据盘建议设置为300 GiB，以满足模型文件存储需求。
• Qwen-7B-Chat：未明确提及数据盘要求，但需确保有足够的存储空间容纳模型文件。
• Qwen-VL-Chat：系统盘建议设置为100 GiB，以保证模型顺利运行。

安全组规则：

• 需要在ECS实例安全组的入方向添加安全组规则，放行22、443、7860端口，以便访问WebUI服务。

其他配置与注意事项：

• Qwen-72B-Chat：使用Docker部署，需安装bigdl-llm-serving-cpu镜像；下载预训练模型时，建议在tmux session中进行，以防止因ECS断开连接导致下载中断。
• Qwen-7B-Chat：设置环境变量OMP_NUM_THREADS和GOMP_CPU_AFFINITY以优化ZenDNN运行库性能；通过运行web_demo.py启动WebUI服务。
• Qwen-VL-Chat：运行时需预加载libtcmalloc.so.4库；通过运行web_demo_mm.py启动WebUI服务，支持图片问答、图片检测框标注等功能。 综上所述，部署Chat Wexin（Qwen系列模型）的服务器配置应考虑高内存实例（如ecs.c8i.24xlarge或ecs.g8a.4xlarge）、选用Alibaba Cloud Linux 3.2104 LTS 64位镜像、分配公网IPv4地址（带宽100 Mbps）、适当大小的数据/系统盘（如300 GiB或100 GiB）、开放必要端口（22、443、7860），并根据具体模型（如Qwen-7B-Chat、Qwen-VL-Chat）执行相应的环境配置、模型下载、WebUI服务启动等步骤。