Haluki_个人页

2024年08月

• 08.26 17:49:52
  发表了文章 2024-08-26 17:49:52

  Datawhale

  datawhale

2024年07月

• 07.29 11:47:20
  发表了文章 2024-07-29 11:47:20

  Ollama部署本地模型

  Ollama 是一个用于本地部署大型语言模型的平台。首先关闭 ollama 服务，在环境变量中设置 `OLLAMA_MODELS` 为目标模型路径，`OLLAMA_ORIGINS` 为 `"*"`，重启服务和 VSCode。启动服务 `ollama serve`，运行 `ollama run codegeex4`。配置插件接口地址为 `http://localhost:11434/v1/chat/completions`，并在模型名称处填入 `codegeex4` 启用高级模式。可能需优化下载速度并解决其他问题。
• 07.29 11:45:30
  发表了文章 2024-07-29 11:45:30

  向量数据库Milvus

  在实习期间构建了基于Milvus的向量数据库，用于存储和检索大模型问答对信息。遇到的问题包括：vectorFloat类型在JDK<16时不可用；数据结构和索引选择至关重要。流程包括创建数据库、配置Field、匹配与处理数据、计算Embedding并插入数据。Milvus构建涉及HNSW索引，调整索引参数以优化少量数据的查询速度。向量检索技术包括MMR检索，用于提高内容的多样性和相关性，以及单向量和批量向量搜索，用于高效地检索最相似的向量。搜索参数如`metric_type`、`nprobe`等可调优查询性能。
• 07.29 11:40:19
  发表了文章 2024-07-29 11:40:19

  LangChain

  LangChain is an open-source framework that simplifies the development of applications using large language models (LLMs).