MaxCompute SQL AI 实操

简介: MaxCompute SQL AI全新上线,通过AI_GENERATE函数在SQL中直接调用大模型,实现工作总结智能分析,支持内容分类、情感判断与多模态处理,提升数据分析效率。

在企业日常运营中,工作总结统计是一项高频且重要的数据分析任务。传统的数据分析方法往往需要编写复杂的SQL查询、使用多种工具进行数据处理和可视化,耗时耗力。随着大模型技术的发展,MaxCompute SQL AI 全新上线,让数据分析师可以用熟悉的SQL语言直接调用大模型,实现更智能、更高效的数据分析。

本文将以"工作总结统计类数据"为主题,展示如何使用MaxCompute SQL AI功能,通过简单的SQL语句完成工作总结的智能分析,包括工作内容分类、情感倾向分析、关键信息提取等任务,帮助企业快速洞察员工工作状态和业绩情况。


AI_GENERATE是MaxCompute提供的AI Function,用于调用模型结合提示词执行推理任务,支持自然语言生成、复杂逻辑分析、情感分类、多模态理解等场景。用户可通过SQL直接完成非结构化数据的智能处理,无需外部服务依赖。

命令格式

AI_GENERATE在调用LLM大语言模型和MLLM多模态大语言模型时,会有不同的函数签名。

  • 当model_type为LLM大语言模型时,函数签名如下:
STRING AI_GENERATE(
  STRING <model_name> , 
  STRING <version_name>, 
  STRING <prompt> 
  [, STRING <model_parameters>]
);
  • 当model_type为MLLM多模态大语言模型时,函数签名如下:
STRING AI_GENERATE(
  STRING <model_name>, 
  STRING <version_name>, 
  STRING | BINARY <unstructured_data> ,
  STRING <prompt> 
  [, STRING <model_parameters>]
);

参数说明

  • model_name:必填。STRING类型。待使用的模型名。支持模型的model_type为LLM或MLLM。
  • version_name:必填。STRING类型。待使用的模型版本名。如果调用默认version,支持直接输入DEFAULT_VERSION
  • prompt:必填。STRING类型。待输入的模型提示词。STRING类型常量、列名或表达式。
  • unstructured_data:必填(当model_type为MLLM时)。STRING或BINARY类型。需要处理的多模态数据,支持指定为图片STRING类型的URL地址,或图片BINARY类型二进制表示,当指定为BINARY类型时,需要在创建模型时同时指定BINARY类型的输入参数。
  • model_parameters:选填。STRING类型。支持指定模型调用相关参数max_tokens、temperature、top_p,格式为'{"max_tokens": 500, "temperature": 0.6, "top_p": 0.95}'。参数说明如下:
  • max_tokens:设置模型单次调用输出token的最大数量,对于MaxCompute公共模型,默认值为4096。
  • temperature:介于0到1之间的值,用于控制模型输出的随机性。越高的值会导致模型输出的多样化和随机性越高。
  • top_p:介于0到1之间的值,用于控制模型的随机性和多样性,越大的值会导致模型输出的随机性越高。

说明

使用AI Function调用公共模型推理时,需要SET odps.sql.using.public.model=true;打开使用公共模型开关。

返回值说明

返回STRING类型,模型的生成内容结果。

使用示例

  • 示例1:调用模型进行内容生成。
    调用MaxCompute提供的公共模型Qwen3-0.6B-GGUF,直接进行模型调用与内容生成。
SET odps.sql.using.public.model=true;
-- 返回结果。
-- "The capital of China is **Beijing**."
SELECT AI_GENERATE(bigdata_public_modelset.default.Qwen3-0.6B-GGUF,DEFAULT_VERSION,'what is the capital of China');
  • 示例2:调用模型进行情感分析。
    调用MaxCompute提供的公共模型Qwen3-1.7B-GGUF,对网络用户评论数据进行情感分析。
SET odps.sql.using.public.model=true;
SELECT 
    prompt,
    AI_GENERATE(
        bigdata_public_modelset.default.Qwen3-1.7B-GGUF,
        DEFAULT_VERSION,
        concat('请对以下评论进行情感分析分类,输出结果仅限于以下三个选项之一:正面、负面、中性。待分析的评论:', prompt)
    ) AS generated_text
FROM (
    VALUES 
        ('今天天气真好,心情很不错!阳光明媚,适合出去散步。 /no_think'),
        ('今天天气真好,心情很不错!阳光明媚 /no_think'),
        ('科技发展日新月异,人工智能改变生活。 /no_think'),
        ('防控措施很到位,为医护人员点赞! /no_think'),
        ('这个商品质量很差 /no_think')
) t (prompt);
-- 返回结果:
+-----------------------------------------------------+----------------+
| prompt                                              | generated_text |
+-----------------------------------------------------+----------------+
| 今天天气真好,心情很不错!阳光明媚,适合出去散步 /no_think  | "正面"          |
| 今天天气真好,心情很不错!阳光明媚 /no_think              | "正面"          |
| 科技发展日新月异,人工智能改变生活。 /no_think            | "正面"          |
| 防控措施很到位,为医护人员点赞! /no_think            | "正面"          |
| 这个商品质量很差 /no_think                             | "负面"          |
+-----------------------------------------------------+----------------+
  • 示例3:调用模型进行多模态数据处理。
    调用已经创建好的模型PAI_EAS_Qwen25_Omni_3B(PAI-EAS远程模型),并创建好名为image_demo的Object Table,详细步骤参考使用MaxCompute远程模型自动生成电商选品描述,即可调用AI Function。基于图片的URL地址及提示词进行模型调用,实现商品类目打标。
    说明
    当前MC远程模型仅支持配置EAS公网地址,在使用AI Function调用模型时,请参考通过项目管理编辑外部网络地址将EAS公网地址设置可用的MaxCompute外部网络地址。
SELECT
  key,
  AI_GENERATE(
    PAI_EAS_Qwen25_Omni_3B, v1, image_url,
    "从电商商品销售海报中识别并提取商品所属的类目。返回结果仅限于如下六个选项之一:美妆、服装、日用、食品、其他、电子产品,不包含其他文字或信息"
  ) AS item_catagory
  FROM (
    SELECT GET_SIGNED_URL_FROM_OSS(
      'pd_test_model.default.image_demo', key, 604800
    ) AS image_url, key AS key
    FROM pd_test_model.default.image_demo
) Limit 10;
-- 返回结果:
+--------------------+----------------+
| key                | item_catagory  |
+--------------------+----------------+
| alimamazszw-1.jpg  | 食品           | 
| alimamazszw-10.jpg | 电子产品        | 
| alimamazszw-11.jpg | 电子产品        | 
| alimamazszw-12.jpg | 美妆           | 
| alimamazszw-13.jpg | 电子产品        | 
| alimamazszw-14.jpg | 日用           | 
| alimamazszw-15.jpg | 美妆           | 
| alimamazszw-16.jpg | 美妆           | 
| alimamazszw-18.jpg | 日用           | 
+--------------------+---------------+
目录
相关文章
|
机器学习/深度学习 JSON JavaScript
图文讲解 Stable Diffusion API 调用教程
Stable Diffusion 是一个先进的深度学习模型,用于创造和修改图像。这个模型能够基于文本描述来生成图像,让机器理解和实现用户的创意。使用这项技术的关键在于掌握其 API,通过编程来操控图像生成的过程。
|
30天前
|
SQL 人工智能 分布式计算
【MaxCompute SQL AI 实操教程】0元体验使用大模型提效数据分析
【MaxCompute SQL AI 实操教程】0元体验使用大模型提效数据分析
300 3
|
9月前
|
人工智能 自然语言处理 算法
经典大模型提示词工程技术路线概述
本文概述几种经典提示词工程方法,总结关键信息,分析其优势和局限,并分享笔者的一点思考。
824 105
经典大模型提示词工程技术路线概述
|
7月前
|
SQL 缓存 监控
SQL 质量革命:利用 DAS 智能索引推荐修复慢查询全流程
在数据驱动时代,数据库性能直接影响系统稳定与响应速度。慢查询常因索引缺失、复杂逻辑或数据量过大引发,导致延迟、用户体验下降甚至业务受损。DAS(数据库管理服务)提供智能索引推荐功能,通过分析SQL语句与数据分布,自动生成高效索引方案,显著提升查询性能。本文结合实战案例,详解DAS智能索引推荐原理与使用流程,帮助用户快速定位问题并优化数据库表现,实现系统高效运行。
396 61
|
关系型数据库 MySQL Apache
实时计算 Flink版操作报错之mysql整库同步到doris连接器报错,如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
SQL Java 数据库连接
如何使用`DriverManager.getConnection()`连接数据库,并利用`PreparedStatement`执行参数化查询,有效防止SQL注入。
【10月更文挑战第6天】在代码与逻辑交织的世界中,我从一名数据库新手出发,通过不断探索与实践,最终成为熟练掌握JDBC的开发者。这段旅程充满挑战与惊喜,从建立数据库连接到执行SQL语句,再到理解事务管理和批处理等高级功能,每一步都让我对JDBC有了更深的认识。示例代码展示了如何使用`DriverManager.getConnection()`连接数据库,并利用`PreparedStatement`执行参数化查询,有效防止SQL注入。
435 5
|
SQL 存储 关系型数据库
添加数据到数据库的SQL语句详解与实践技巧
在数据库管理中,添加数据是一个基本操作,它涉及到向表中插入新的记录
2096 4
|
存储 测试技术 Apache
阿里云实时计算企业级状态存储引擎 Gemini 技术解读
本文整理自阿里云 Flink 存储引擎团队李晋忠,兰兆千,梅源关于阿里云实时计算企业级状态存储引擎 Gemini 的研究。
127236 4
阿里云实时计算企业级状态存储引擎 Gemini 技术解读
|
SQL 测试技术 数据处理