大型语言模型 （LLM） 已经超越了生成对文本提示的文本响应的重大发展。这些模型现在经过训练，具有高级功能，例如解释图像和从视觉输入提供详细描述。这为用户提供了更大的搜索容量。
在本文中，演示如何构建具有多模式搜索功能的应用程序。此应用程序的用户可以上传图像或提供文本输入，使他们能够搜索印度食谱数据库。该应用程序旨在与多个 LLM 提供商合作，允许用户在 OpenAI 或使用 Ollama 本地运行的模型之间进行选择。然后使用 pgvector 在 PostgreSQL 中存储和查询文本嵌入。
在深入研究代码之前，让我们概述一下每个组件在构建多模式搜索应用程序时所扮演的角色。
构建多模式搜索应用程序的组件
多模态大型语言模型 （LLM）：在大型数据集上训练的模型，能够处理多种类型的数据，例如文本、图像和语音
嵌入模型：一种将输入转换为固定数量维度的数值向量的模型，用于相似性搜索;例如，OpenAI 的 text-embedding-3-small 模型生成一个 1536 维向量
PostgreSQL：适用于各种应用程序的通用关系开源数据库，配备了用于存储和查询 AI 应用程序中的向量嵌入的扩展
pgvector：用于处理向量相似性搜索的 PostgreSQL 扩展
现在我们已经了解了应用程序架构和基础组件，让我们把这些部分放在一起！
生成和存储嵌入
此项目提供实用函数，用于从您选择的提供商处生成嵌入。让我们逐步了解生成和存储文本嵌入所需的步骤。
保存原始数据集的cuisines.csv文件被读取并存储在 Pandas DataFrame 中，以便进行操作。
每个配方的描述都传递给函数，以在 DataFrame 中填充新的列嵌入。然后，此数据将写入新的 output.csv 文件，其中包含用于相似性搜索的嵌入
1
import sys
2
import os
3
import pandas as pd
4
5
# Add the project root to sys.path
6
sys.path.append(os.path.abspath(os.path.join(os.path.dirname(__file__), '..')))
7
from backend.llm_interface import generate_embedding
8
9
# Load the CSV file
10
csv_path = './database/cuisines.csv'
11
df = pd.read_csv(csv_path)
12
13
# Generate embeddings for each description in the CSV
14
df['embeddings'] = df['description'].apply(generate_embedding, args=(True,))
15
16
# Save the DataFrame with embeddings to a new CSV file
17
output_csv_path = './database/output.csv'
18
df.to_csv(output_csv_path, index=False)
19
20
print(f"Embeddings generated and saved to {output_csv_path}")
使用 pgvector，这些嵌入可以很容易地存储在 PostgreSQL 的 type 列中。embeddingsvector
SQL格式
1
CREATE EXTENSION IF NOT EXISTS vector;
2
3
CREATE table recipes (
4
id SERIAL PRIMARY KEY,
5
name text,
6
description text,
7
...
8
embeddings vector (768)
9
);
10
可以使用命令或使用 Pandas DataFrame 提供的函数将生成的 output.csv 文件复制到数据库中。COPYto_sql
1
# Copy to recipes table running in Docker
2
docker exec -it postgres bin/psql -U postgres -c "\COPY recipes(name,description,...,embeddings) from '/home/database/output.csv' DELIMITER ',' CSV HEADER;"
1
# Write the DataFrame to the recipes table table
2
engine = create_engine('postgresql+psycopg2://username:password@hostname/postgres')
3
4
df.to_sql('recipes', engine, if_exists='replace', index=False)
借助存储配方描述的向量嵌入的 PostgreSQL 实例，我们已准备好运行应用程序并执行查询。
多模态搜索应用程序
让我们将应用程序连接到数据库，开始对配方描述嵌入执行查询。
搜索端点通过多部分表单接受文本和图像。
1
# server.py
2
from llm_interface import describe_image, generate_embedding
3
4
...
5
6
@app.route('/api/search', methods=['POST'])
7
def search():
8
image_description = None
9
query = None
10
# multipart form data payload
11
if 'image' in request.files:
12
image_file = request.files['image']
13
image_description = describe_image(image_file)
14
15
data = request.form.get('data')
16
if data and 'query' in data:
17
try:
18
data = json.loads(data)
19
query = data['query']
20
except ValueError:
21
return jsonify({
'error': 'Invalid JSON data'}), 400
22
23
if not image_description and not query:
24
return jsonify({
'error': 'No search query or image provided'}), 400
25
26
embedding_query = (query or '') + " " + (image_description or '')
27
28
embedding = generate_embedding(embedding_query)
29
30
try:
31
conn = get_db_connection()
32
cursor = conn.cursor()
33
cursor.execute("SELECT id, name, description, instructions, image_url FROM recipes ORDER BY embeddings <=> %s::vector LIMIT 10", (embedding,))
34
results = cursor.fetchall()
35
cursor.close()
36
conn.close()
37
38
return jsonify({
'results': results, 'image_description': image_description or None})
39
40
except Exception as e:
41
return jsonify({
'error': str(e)}), 500
虽然此 API 非常简单，但有两个有趣的辅助函数：和 。让我们更详细地了解一下它们是如何工作的。describe_imagegenerate_embedding
# llm_interface.py
# Function to generate a description from an image file
def describe_image(file_path):
image_b64 = b64_encode_image(file_path)
custom_prompt = """You are an expert in identifying Indian cuisines.
Describe the most likely ingredients in the food pictured, taking into account the colors identified.
Only provide ingredients and adjectives to describe the food, including a guess as to the name of the dish.
Output this as a single paragraph of 2-3 sentences."""
if(LLM_ECOSYSTEM == 'ollama'):
response = ollama.generate(model=LLM_MULTIMODAL_MODEL, prompt=custom_prompt, images=[image_b64])
return response['response']
elif(LLM_ECOSYSTEM == 'openai'):
response = client.chat.completions.create(messages=[
{
"role": "system", "content": custom_prompt},
{
"role": "user", "content": [
{
"type": "image_url",
"image_url": {
"url": f"data:image/jpeg;base64,{image_b64}"},
}]}
], model=LLM_MULTIMODAL_MODEL)
return response.choices[0].message.content
else:
return "No Model Provided"
该函数采用图像文件路径，并将 base64 编码发送到用户首选的 LLM。describe_image
为简单起见，该应用程序目前支持在 Ollama 中本地运行的模型，或通过 OpenAI 提供的模型。这个 base64 图像表示伴随着一个自定义提示，告诉 LLM 充当印度菜专家，以便准确描述上传的图像。在使用 LLM 时，清晰的提示构建对于产生预期的结果至关重要。
从函数返回图像的简短描述，然后可以将该描述传递给函数以生成要存储在数据库中的向量表示。generate_embedding
# llm_interface.py
# Function to generate embeddings for a given text
def generate_embedding(text):
if LLM_ECOSYSTEM == 'ollama':
embedding = ollama.embeddings(model=LLM_EMBEDDING_MODEL, prompt=text)
return embedding['embedding']
elif LLM_ECOSYSTEM == 'openai':
response = client.embeddings.create(model=LLM_EMBEDDING_MODEL, input=text)
embedding = response.data[0].embedding
return embedding
else:
return "No Model Provided"
该函数依赖于 AI 生态系统中一类不同的模型，这些模型从文本生成向量嵌入。这些模型也可以通过 Ollama 和 OpenAI 轻松获得，分别返回 768 和 1536 维度。generate_embedding
通过生成从 LLM 返回的每个图像描述的嵌入（以及选择性地通过表单输入提供其他文本），API 端点可以使用 pgvector 中的余弦距离进行查询，以提供准确的结果。
cursor.execute("SELECT id, name, description, instructions, image_url FROM recipes ORDER BY embeddings <=> %s::vector LIMIT 10", (embedding,))
results = cursor.fetchall()
通过连接 UI 并通过图像和简短的文本描述进行搜索，应用程序可以利用 pgvector 对数据集执行相似性搜索。
分布式 SQL 在 AI 应用中的应用案例
让我们来探讨一下如何利用分布式 SQL 来使我们的应用程序更具可扩展性和弹性。
以下是使用 pgvector 的 AI 应用程序受益于分布式 PostgreSQL 数据库的一些关键原因：
嵌入会消耗大量的存储和内存。具有 1536 个维度的 OpenAI 模型占用 ~57GB 的空间，用于 1000 万条记录。水平缩放提供了存储向量所需的空间。
向量相似性搜索是非常耗费计算量的。通过横向扩展到多个节点，应用程序可以访问未绑定的 CPU 和 GPU 限制。
避免服务中断。该数据库对节点、数据中心和区域性中断具有弹性，因此 AI 应用程序永远不会因数据库层而停机。
YugabyteDB 是一个基于 PostgreSQL 构建的分布式 SQL 数据库，与 Postgres 在功能和运行时兼容。它允许您重用为 Postgres 标准版本创建的库、驱动程序、工具和框架。YugabyteDB 具有 pgvector 兼容性，并提供原生 PostgreSQL 中的所有功能。这使其成为那些希望提升其 AI 应用程序水平的人的理想选择。
