统一识别_完成| 学习笔记

简介: 快速学习统一识别_完成

开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第七阶段)统一识别_完成】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/682/detail/11842


统一识别_完成

agg 的结果再进行转换,转换成我们需要的形式

// 3. 聚合

// 结果集格式:mainId, tagsString

把对应的内容先生成出来,先把类创建出来

case class Tags(mainId: String, tags: String)

//这个类命名为 TagsTags 首先接收一个 id, 这个id 对应的是 String

Id改名为 mainId,后面还要再跟上 tags,这个 tags 也是一个 String,这样的话 Tags 对象就生成了。

val grouped = components.groupByKey(component => component.component)  

val aggDataset[(Long,= VertexComponent)] = grouped.reduceGroups(reduceVertex_)

val result = agg.map(mapTags)

Result.show()

(先创建一个方法出来,这个方法命名为 mapTags)

def mapTags(VertexComponent(Long,VertexComponent)):Tags = {

val mainId = getMainId(vertexComponent._2.ids)

// tag1:1, tag2:1, tag3:1

val tags = VertexComponent._2.tags

.map(item => item._ 1 + ”:”+ item._2)

.mkString(“,”)

Tags(mainId, tags)

}

//Tags 对象创建好后,把 Dataset 转换为 DatasetTags, 先拿到agg.map; mapTags里接收Long,= VertexComponent),转换成 Tags 对象,把mapTags放到agg.map 当中,此时最终结果集就产生了,产生 result 后,直接来进行打印,但方法还没有写完,这个方法最重要产生一个 Tags 对象,

第一个对象为 mainId,第二个为 Tags,两个都要进行处理,首先第一个对象为 mainId ,获取 getMainId 后通过  VertexComponent 其中的第二项数据拿到一个 ids ,这样一个 map,把这个map 传进去就有了 mainId

第二个对象为 tags, 这个 tags VertexComponent 当中的 tags 来进行相应的合并,拿到 VertexComponent._2.tags, tags 拼成tag1:1, tag2:1, tag3:1的格式,这个 tags 是一个 Map,里面是String 对应的 Int,这个 String 对应的就是标签,这个 Int 对应的就是标签的权重;这样的话应先对其进行 map, map 拿到一个 item,item 是一个元组,第一项拼上第二项,为item._ 1 + ”:”+ item._2,拼好后, 再进行转换为字符串,使用mkString(“,”)按照逗号来分割进行相应的生成,此时 maptags 写完,

回到最上面点击运行,

2022-11-22 (25).png

此时运行结果出来了,计算的过程是比较慢的,数据没有问题,最终结果也求到了,没有地方是重复的。

相关文章
|
4天前
|
数据采集 人工智能 安全
|
13天前
|
云安全 监控 安全
|
5天前
|
自然语言处理 API
万相 Wan2.6 全新升级发布!人人都能当导演的时代来了
通义万相2.6全新升级,支持文生图、图生视频、文生视频,打造电影级创作体验。智能分镜、角色扮演、音画同步,让创意一键成片,大众也能轻松制作高质量短视频。
1092 152
|
18天前
|
机器学习/深度学习 人工智能 自然语言处理
Z-Image:冲击体验上限的下一代图像生成模型
通义实验室推出全新文生图模型Z-Image,以6B参数实现“快、稳、轻、准”突破。Turbo版本仅需8步亚秒级生成,支持16GB显存设备,中英双语理解与文字渲染尤为出色,真实感和美学表现媲美国际顶尖模型,被誉为“最值得关注的开源生图模型之一”。
1767 9
|
10天前
|
人工智能 自然语言处理 API
一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸
一句话生成拓扑图!next-ai-draw-io 结合 AI 与 Draw.io,通过自然语言秒出架构图,支持私有部署、免费大模型接口,彻底解放生产力,绘图效率直接爆炸。
700 152
|
12天前
|
人工智能 安全 前端开发
AgentScope Java v1.0 发布,让 Java 开发者轻松构建企业级 Agentic 应用
AgentScope 重磅发布 Java 版本,拥抱企业开发主流技术栈。
663 13
|
7天前
|
SQL 自然语言处理 调度
Agent Skills 的一次工程实践
**本文采用 Agent Skills 实现整体智能体**,开发框架采用 AgentScope,模型使用 **qwen3-max**。Agent Skills 是 Anthropic 新推出的一种有别于mcp server的一种开发方式,用于为 AI **引入可共享的专业技能**。经验封装到**可发现、可复用的能力单元**中,每个技能以文件夹形式存在,包含特定任务的指导性说明(SKILL.md 文件)、脚本代码和资源等 。大模型可以根据需要动态加载这些技能,从而扩展自身的功能。目前不少国内外的一些框架也开始支持此种的开发方式,详细介绍如下。
454 5