智能引擎搜索-基于问天引擎的智能搜索推荐算法开发|学习笔记

简介: 快速学习智能引擎搜索-基于问天引擎的智能搜索推荐算法开发

开发者学堂课程【第八届大学生创新创业大赛阿里命题智能弓|擎搜索命题解析智能引擎搜索-基于问天引擎的智能搜索推荐算法开发】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/1014/detail/15075


智能引擎搜索-基于问天引擎的智能搜索推荐算法开发

 

1、命题背景

分别介绍整体的行业背景和问题引擎产品。

(1)行业背景

受疫情催化影响,全球资讯越发依赖线上渠道进行传播,人们通过互联网接决定用户文娱站点获取娱乐信息的诉求相比往年更加强烈。在各大线上文娱站点的入口,用户的搜索行为背后代表着观看内容的倾向,搜索质量的高低将直留存的时间,因此在 AI 时代,如何通过构建智能搜索能力,提升线上用户的平台粘性,成为了众多文娱厂商的重要研究课题。

为了解决这些问题,推出了问天引擎产品

(2)引擎产品介绍

"问天引擎"是阿里巴巴自主研发的大规模分布式搜索引整,支持了淘宝,天猫,菜鸟,优酷等在内的整个阿里巴巴集团搜索业务,也是阿里云开放搜索的基石。问天引擎经过多年的发展,在满足业务高可用、高时效性、低成本等需求的同时,沉淀出自动化运维系统。云上问天引擎作为一站式的搜索开发运维中台,提供基于大数据深度学习在线服务体系( AIOS )生态的灵活定制开发能力、自动化集群管控和运维能力,用户可以根据业务特点,方便地构建搜索服务。

2、命题内容

本次题目围绕文娱网站场景的搜索算法,参赛者们可以通过基于阿里巴巴集团自研的高性能分布式搜索引擎问天引擎(提供高工程性能的文娱智能搜索平台),可以快速迭代搜索算法,无需自主建设检索全链路环境,完成用户检索内容的搜索推荐。

参赛者可从以下方向进行算法模型比拼,更鼓励参赛者基干基础模型做出更多的探索与创新:

(1)基于问天引擎提供的环境,实现文娱领域高质量向量召回模型,通过将 Doc  Query 转换为 embeddina 进行索引构建、搜索查询

(2)基于问天引擎与 PAI 平台,完成文娱领域搜索场景的精排模型,构建完整的搜索链路,输出最优的搜索效果

具体的算法模型比拼会分成两个部分,第一部分是基于问题引擎实现向量召回模型,需要对全部的 Doc 和测试的 Query 做向量化,提交 embedding 结果到问题引擎。第二部分是基于问题引擎和 PAI 平台完成精排模型,是对召回阶段的 topk 做重排序,提交排序模型到问题引擎

3、答题要求

1边界要求:基于问天引擎架构的应用,符合问天引擎 应用规范

2交付要求:参赛者需要根据获取的 Doc  Query-Doc 相关训练集,自行训练向量召回模型及精排模型,我们通过回流数据,建向量索引查询测试(该阶段会做超时限制,防止选手无限制扩大模型复杂度),给出评测指标

3提前学习的技术文档或视频:基于实际作品开发需求,熟悉阿里云问天引擎及 PAI 产品

4、阿里云技术支持社区

https://developer.aliyun.com/learning/topic/internetplus

图片1.png

命题解读

5分钟命题解读:包含命题解读、命题要求、考察要点、解题思路等

学习资料

为赛题提供相匹配技术课程、体系化学习路线提,供参赛者学习

场景动手体验

提供赛题所涉及的云产品试用与云端实验沙箱 环境供参赛者动手实操

提赛前训练营

供针对赛题的专项培训,阿里云专家讲解助力参赛者取得好成绩

如果想了解更多信息可以加入阿里云技术支持社区获取更多的学习资料,或者参加技术训练营。

相关文章
|
3月前
|
机器学习/深度学习 算法 安全
【无人机三维路径规划】基于非支配排序的鲸鱼优化算法NSWOA与多目标螳螂搜索算法MOMSA求解无人机三维路径规划研究(Matlab代码实现)
【无人机三维路径规划】基于非支配排序的鲸鱼优化算法NSWOA与多目标螳螂搜索算法MOMSA求解无人机三维路径规划研究(Matlab代码实现)
232 5
|
3月前
|
机器学习/深度学习 算法 安全
【无人机三维路径规划】多目标螳螂搜索算法MOMSA与非支配排序的鲸鱼优化算法NSWOA求解无人机三维路径规划研究(Matlab代码实现)
【无人机三维路径规划】多目标螳螂搜索算法MOMSA与非支配排序的鲸鱼优化算法NSWOA求解无人机三维路径规划研究(Matlab代码实现)
185 0
|
3月前
|
机器学习/深度学习 算法 调度
14种智能算法优化BP神经网络(14种方法)实现数据预测分类研究(Matlab代码实现)
14种智能算法优化BP神经网络(14种方法)实现数据预测分类研究(Matlab代码实现)
384 0
|
2月前
|
算法 数据可视化 测试技术
HNSW算法实战:用分层图索引替换k-NN暴力搜索
HNSW是一种高效向量检索算法,通过分层图结构实现近似最近邻的对数时间搜索,显著降低查询延迟。相比暴力搜索,它在保持高召回率的同时,将性能提升数十倍,广泛应用于大规模RAG系统。
215 10
HNSW算法实战:用分层图索引替换k-NN暴力搜索
|
3月前
|
算法 安全 定位技术
【创新未发表】【无人机路径巡检】三维地图路径规划无人机路径巡检GWO孙发、IGWO、GA、PSO、NRBO五种智能算法对比版灰狼算法遗传研究(Matlab代码实现)
【创新未发表】【无人机路径巡检】三维地图路径规划无人机路径巡检GWO孙发、IGWO、GA、PSO、NRBO五种智能算法对比版灰狼算法遗传研究(Matlab代码实现)
287 40
|
4月前
|
机器学习/深度学习 算法 文件存储
神经架构搜索NAS详解:三种核心算法原理与Python实战代码
神经架构搜索(NAS)正被广泛应用于大模型及语言/视觉模型设计,如LangVision-LoRA-NAS、Jet-Nemotron等。本文回顾NAS核心技术,解析其自动化设计原理,探讨强化学习、进化算法与梯度方法的应用与差异,揭示NAS在大模型时代的潜力与挑战。
1107 6
神经架构搜索NAS详解:三种核心算法原理与Python实战代码
|
3月前
|
存储 算法 数据可视化
基于禁忌搜索算法的TSP问题最优路径搜索matlab仿真
本程序基于禁忌搜索算法解决旅行商问题(TSP),旨在寻找访问多个城市的最短路径。使用 MATLAB 2022A 编写,包含城市坐标生成、路径优化及结果可视化功能。通过禁忌列表、禁忌长度与藐视准则等机制,提升搜索效率与解的质量,适用于物流配送、路径规划等场景。
|
4月前
|
机器学习/深度学习 并行计算 算法
MATLAB实现利用禁忌搜索算法解决基站选址问题
MATLAB实现利用禁忌搜索算法解决基站选址问题
170 0
|
5月前
|
存储 搜索推荐 算法
加密算法、排序算法、字符串处理及搜索算法详解
本文涵盖四大类核心技术知识。加密算法部分介绍了对称加密(如 AES)、非对称加密(如 RSA)、哈希摘要(如 SHA-2)、签名算法的特点及密码存储方案(加盐、BCrypt 等)。 排序算法部分分类讲解了比较排序(冒泡、选择、插入、归并、快排、堆排序)和非比较排序(计数、桶、基数排序)的时间复杂度、适用场景及实现思路,强调混合排序的工业应用。 字符串处理部分包括字符串反转的双指针法,及项目中用正则进行表单校验、网页爬取、日志处理的实例。 搜索算法部分详解了二分查找的实现(双指针与中间索引计算)和回溯算法的概念(递归 + 剪枝),以 N 皇后问题为例说明回溯应用。内容全面覆盖算法原理与实践
201 0

热门文章

最新文章