统一识别_定义类型| 学习笔记

简介: 快速学习统一识别_定义类型

开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第七阶段)统一识别_定义类型】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/682/detail/11839


统一识别_定义类型

了解完图集运算,回到数据集中,做统一用户识别的任务

// (4)统一用户识别

// 需求:有些数据中,有 uuid, 有一些有 mac, 有一些有udid

在数据集中有很多标注ID的东西,假如有个问题,一个用户,

// 场景:拿着手机移动,上午在家里,下午在教室,晚上在宿舍(ip

地址不一样,但 mac 地址一样)

// 情况:用户1,在一个时间点上,汇报了 mac, udid, 另外一个

时间点汇报了 mac, uuid,构建连通图

// 环境:先创建 Vertex, Edge

}

/**...*/

def createTags(row: Row): IdsWithTags = {...}

def genIdMap(row: Row): Map[String, String] = {...}

def getMainId(ids: Map[String, String]): String = {...}

def toGeoHash(longitude: Double, latitude: Double): String

= {...}

}

case class IdsWithTags(mainId: String, ids: Map[String,

String], tags: Map[String, Int])

(定义两个新的 case class)

Case class Vertex(id: String, ids: Map[String, String], tags: Map[String,Int])

// 任何一个顶点都需要 id, String 类型,进行图计算以后还需要再合并数据,整个的 id 列表 ids,对应的是 Map,里面存放[String, String],标签也要合并,此时生成对应的 tags,也是一个 Map,里面为[String,Int]

Case class Edge(src: String, dst: String)

// Edge 中接收一些参数,边“Edge”要表达不同顶点之间的关系,所以必须有两个字段,分别为 src dst,都保持和 id 一样的类型为 Stringsrc 代表这个边的一个顶点的 iddst 代表另一个顶点的 id

相关文章
|
4天前
|
数据采集 人工智能 安全
|
13天前
|
云安全 监控 安全
|
5天前
|
自然语言处理 API
万相 Wan2.6 全新升级发布!人人都能当导演的时代来了
通义万相2.6全新升级,支持文生图、图生视频、文生视频,打造电影级创作体验。智能分镜、角色扮演、音画同步,让创意一键成片,大众也能轻松制作高质量短视频。
1092 152
|
18天前
|
机器学习/深度学习 人工智能 自然语言处理
Z-Image:冲击体验上限的下一代图像生成模型
通义实验室推出全新文生图模型Z-Image,以6B参数实现“快、稳、轻、准”突破。Turbo版本仅需8步亚秒级生成,支持16GB显存设备,中英双语理解与文字渲染尤为出色,真实感和美学表现媲美国际顶尖模型,被誉为“最值得关注的开源生图模型之一”。
1767 9
|
10天前
|
人工智能 自然语言处理 API
一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸
一句话生成拓扑图!next-ai-draw-io 结合 AI 与 Draw.io,通过自然语言秒出架构图,支持私有部署、免费大模型接口,彻底解放生产力,绘图效率直接爆炸。
700 152
|
12天前
|
人工智能 安全 前端开发
AgentScope Java v1.0 发布,让 Java 开发者轻松构建企业级 Agentic 应用
AgentScope 重磅发布 Java 版本,拥抱企业开发主流技术栈。
663 13
|
7天前
|
SQL 自然语言处理 调度
Agent Skills 的一次工程实践
**本文采用 Agent Skills 实现整体智能体**,开发框架采用 AgentScope,模型使用 **qwen3-max**。Agent Skills 是 Anthropic 新推出的一种有别于mcp server的一种开发方式,用于为 AI **引入可共享的专业技能**。经验封装到**可发现、可复用的能力单元**中,每个技能以文件夹形式存在,包含特定任务的指导性说明(SKILL.md 文件)、脚本代码和资源等 。大模型可以根据需要动态加载这些技能,从而扩展自身的功能。目前不少国内外的一些框架也开始支持此种的开发方式,详细介绍如下。
455 5