SegmentFault D-Day 北京:大数据

简介: 很开心在这么冷的天和大家相聚在熟悉的 3W 咖啡聊大数据,感谢北京小伙伴踩着冰渣子来参加本场大数据为主题的 D-Day 活动。此次沙龙由 SegmentFault 家 Adele 主持,这一次选择了一个相对陌生的主题,但仍然吸引了很多对大数据感兴趣的观众,不少业内人士也纷纷赶到现场向大咖提问。

很开心在这么冷的天和大家相聚在熟悉的 3W 咖啡聊大数据,感谢北京小伙伴踩着冰渣子来参加本场大数据为主题的 D-Day 活动。此次沙龙由 SegmentFault 家 Adele 主持,这一次选择了一个相对陌生的主题,但仍然吸引了很多对大数据感兴趣的观众,不少业内人士也纷纷赶到现场向大咖提问。

image.png

Adele 简单介绍了 SegmentFault 的成长历程、行业愿景,产品特性,以及我们举办 D-Day 线下技术沙龙的愿景——让当地的开发者,开发者和大牛之间有面对面的交流机会的愿景后,马上进入分享环节。

image.png


现场回顾

image.png

第一位分享嘉宾是个推技术总监袁凯,分享的议题是《个推 Spark 应用与实践》,主要内容包括 Spark 简介,为什么选择 Spark,以及 Spark 在个推的应用实践:

  • 个推数据处理架构
  • Spark Streaming 部署情况
  • 应用 Spark 的业务举例
  • Spark Streaming 实现热力图

image.png

第二位嘉宾是 @蓝海讯通OneAPM 大数据架构师刘麒贇,刘老师分享的议题是《大数据实时分析利器 Druid 的应用》。不光讲了选择 Druid 的背景,Druid 的基本介绍,以及对 Durid 的展望,还举例说明了 OneAPM 目前基于 Druid 的应用:

  • 利用 Druid 存储查询 Saas 数据
  • OneAPM Druid 集群概况、集群拓扑
  • OneAPM 金字塔结构的 Druid DateSources
  • OneAPM Druid 集群监控方案

image.png

中场休息结束后,接下来为大家分享的嘉宾是 @友盟 数据平台架构师展一楠,议题为《友盟 Spark 和 Elasticsearch 实践》。简单介绍什么是 Elasticsearch,Es的优点,局限,友盟 Es 使用情况后,展老师还结合友盟实例进行分析,包括:

  • 友盟 Hadoop & Spark 使用情况
  • 友盟使用 Spark 的一点不太明显的原因:函数式编程
  • Spark 与 Es 在技术上结合解决的问题
  • 使用搜索引擎后,可能是给自己挖坑

image.png

本场最后一位分享的嘉宾是小米公司研发架构师,负责小米广告平台的架构和数据的欧阳辰,这一次分享议题是《小米大数据技术小实践》,关键词为小米、大数据、技术小实践,比如:

  • 小米大数据技术框架、大数据应用
  • 为何青睐 HBase,HBase 在小米的改进,如何从 MyAQL 平滑迁移到 HBase
  • 小米广告的实时统计


圆桌环节

image.png

四位嘉宾演讲结束后是圆桌环节,本次圆桌由小米公司研发架构师欧阳辰主持,现场来了很多专业的观众,就平台架构选型及个人使用过程的疑问和嘉宾们进行讨论交流。圆桌结束后有些听众意犹未尽,纷纷找嘉宾老师私聊。此次 D-Day 足以见开发者们对大数据这一前沿领域技术的兴趣。后期 SegmentFault D-Day 会对每年前沿技术保持关注,为大家带来更多有趣的技术交流活动。


本场 D-Day 结束,马上就要 12 月了,希望大家带着 D-Day 上 get 的新知识,进入全新的一个月。

干货已出↓↓↓


现场干货整理

嘉宾 Slides:

嘉宾现场速记:

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
C语言
C语言malloc与free实现原理
malloc()的实现很简单。它首先会扫描之前由 free()所释放的空闲内存块列表,以求找到尺寸大于或等于要求的一块空闲内存。(取决于具体实现,采用的扫描策略会有所不同。例如,first-fit 或 best-fito。)如果这一内存块的尺寸正好与要求相当,就把它直接返回给调用者。如果是一块较大的内存,那么将对其进行分割,在将一块大小相当的内存返回给调用者的同时,把较小的那块空闲内存块保留在空闲列表中。 如果在空闲内存列表中根本找不到足够大的空闲内存块,那么 malloc()会调用 sbrk()以分配更多
280 0
C语言malloc与free实现原理
|
数据采集 人工智能 运维
CodeFuse荣获信通院优秀大模型案例及两项荣誉证书
2024 年 1 月 25 日,中国人工智能产业发展联盟智能化软件工程工作组(AI for Software Engineering,下文简称AI4SE)在京召开首届“AI4SE创新巡航”活动。在活动上,CodeFuse 荣获“2023 AI4SE 银弹优秀案例”,并获颁人工智能关键技术和应用评测重点实验室“代码大模型数据集共建单位”与“《智能化软件工程技术和应用要求 第一部分:代码大模型》核心编写单位”荣誉证书。
397 0
|
存储 JSON 前端开发
SpringBoot + Vue前后端分离开发:全局异常处理及统一结果封装
SpringBoot + Vue前后端分离开发:全局异常处理及统一结果封装的实现
1493 0
SpringBoot + Vue前后端分离开发:全局异常处理及统一结果封装
|
机器学习/深度学习 自动驾驶 计算机视觉
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 GhostNet V1 基于 Ghost Module 和 Ghost Bottlenecks的轻量化网络结构
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 GhostNet V1 基于 Ghost Module 和 Ghost Bottlenecks的轻量化网络结构
538 61
RT-DETR改进策略【模型轻量化】| 替换骨干网络为 GhostNet V1 基于 Ghost Module 和 Ghost Bottlenecks的轻量化网络结构
【JAVA进阶篇教学】第九篇:MyBatis-Plus用法介绍
【JAVA进阶篇教学】第九篇:MyBatis-Plus用法介绍
|
NoSQL Java Redis
springboot整合redis
这篇文章介绍了如何在Spring Boot中整合Redis,包括搭建Redis环境、添加依赖、创建实体类、控制器以及配置文件,并说明了在连接Redis时需要启动Redis服务。
springboot整合redis
|
存储 分布式计算 搜索推荐
ES自定义评分机制:function_score查询详解
ES自定义评分机制:function_score查询详解
2185 0
ES自定义评分机制:function_score查询详解
|
存储 编解码 负载均衡
数据分片算法
【10月更文挑战第25天】不同的数据分片算法适用于不同的应用场景和数据特点,在实际应用中,需要根据具体的业务需求、数据分布情况、系统性能要求等因素综合考虑,选择合适的数据分片算法,以实现数据的高效存储、查询和处理。
|
JSON 数据格式
遇到【Unexpected character (‘“‘ (code 34)): was expecting comma to separate Object entries】的解决办法
遇到【Unexpected character (‘“‘ (code 34)): was expecting comma to separate Object entries】的解决办法
遇到【Unexpected character (‘“‘ (code 34)): was expecting comma to separate Object entries】的解决办法