使用 PostgreSQL pgvector 的 AI 应用程序中的多模态搜索
大型语言模型（LLM）的发展已拓展至多模态领域，不仅能处理文本，还能解析图像。本文介绍如何构建一个多模态搜索应用，用户可通过上传图片或输入文本来搜索印度菜谱。该应用支持多种LLM服务，如OpenAI及Ollama本地部署模型，并运用pgvector扩展在PostgreSQL中高效存储和检索向量嵌入。我们还展示了如何生成菜谱描述的嵌入并向数据库写入这些嵌入，以及如何通过API接口结合文本和图像查询来获取最相关的菜谱结果。此外，讨论了使用分布式SQL数据库如YugabyteDB增强应用的可扩展性和健壮性。